据考证，开原老城清真寺始建于明永乐四年（公元1406年），距今已有610年历史。明朝时，开原是否有回族居民，文献不载；只知道明初镇守开原等地太监有位姓曹的，回族。清朝顺治年间曾复建，规模不大，现存的清真寺是乾隆年间扩建的，距今已有200余年。

据民国十八年《开原县志·卷二·祠庙》记载：老城“清真寺，在东街，清顺治年创建。嗣后，历加修理”。说“创建”不确切，应为“复建”。古刹位置在今开原老城东大街路北。“清顺治年”这个句型颇有问题，定有文字遗漏。按习惯，可说成“清顺治元年”(1644年)，或“清顺治？年”、“清顺治年间”（1644—1661）。老城人就曾说“清真寺再建于顺治四年”。所以概括地说“顺治年间复建”，不失稳妥。

康熙十九年（1680年）曾扩建一次。当时有三位依玛目（即清真寺的金、石、马三位教长），热心倡导集资，奔走各地募捐，并去沈阳北寺求援，描绘建筑图样，动工兴建。回顾历史，金朝就有三户西域回族迁徙到辽北咸平城落户，明初镇守开原等地的太监有位姓曹的，回族。

清真寺坐北朝南，青砖瓦舍，四合院。门前有照壁，占地961平方米。门房五间，中为门楼，东为沐浴室，西为架子房。正房五间，为讲堂（即礼拜堂）也是阿訇办公、住宿之所。东厢房为厅堂，西厢房为大殿与望月楼。望月楼呈尖塔型，又称“邦克楼”。它是两层六角亭阁式建筑，顶端为银月衔星。“伊斯兰教是信真主独一的宗教（信仰真主无形相），并不供奉任何的偶像，望月楼的作用是在伊斯兰教的斋月期间，以见到新月为入斋的第一天（斋月为一个月），斋月圆满后以见到新月为斋月结束，也就是说见到新月，斋月结束，举行一年一度的盛大节日——开斋节。”

 1952年７月，中央慰问团曾来开原，赠清真寺锦旗一面，上绣毛主席书写的“中华人民共和国各民族团结起来！”并赠送刘少奇、周恩来、朱德亲笔题词。可惜刘少奇的题词，在“文革”中遗失。清真寺在“文革”期间，遭到严重破坏。1980年以后，才得以逐步修复。整修了大殿和门房，修复了沐浴室与四周围墙。1984年省宗教局又拨款一万元，翻修了东厅堂。全部工程都按古老造型，青砖到顶，修葺一新。

清真寺每七日，教徒到清真寺礼拜，由宗教师阿訇主持诵经。主要经典为《古兰经》，又称《可兰经》。

    老城清真寺历任阿訇有十几位。已知者有：赵济安、穆成章、丁万全、穆瑞林、王殿辅、王玉珍、刘金全、丁辉文、金沛忱、张恩祥、刘子珍、邸华增、杨松魁等。