根据文献资料和地方史志记载，此寺之肇基者，是晚唐的“断际禅师”。唐大中二年(西元848年)，宣州刺史裴休，迎断际禅师来此，驻锡城中的开元寺，隔年(西元849年)，创建广教寺佛殿，相传所用木材皆是“松萝’，是由黄蘖禅师自安南劝募来的，展现神通而从寺旁金鸡井中运出。之后历代不断修建，扩大寺院规模，最盛时期有房屋千余间，僧人数百，成为江南名刹。抗日战争时，广教寺全毁于兵燹，成为一堆废墟，仅留存“双塔”和“金鸡井”两处古遗迹。
宋太宗曾经赐御书120卷，由僧人惟真建藏经阁贮存。元帝也曾赐当时的广教寺住持“荣佑崖法师”金襕袈裟。由此足见广教寺在中国历代佛教寺院的地位显赫。
“双塔”，是一组较独特的古建筑。建于北宋哲宗绍圣三年(西元1096年)，为仿木楼阁式砖塔结构。外观仿照唐代方形楼阁的形式，内部结构和细部，则以砖代木做成柱、枋、斗拱等，辅以半木结构，在中国现存的宋代古塔实物中，这种既沿袭了唐代四方形平面的建塔风格，又具有宋代建筑特征的塔，仅此一例。
广教寺遗址上，双塔比肩并立于一片平坡地上。双塔东西对峙，东塔稍大，直线距离为26．9米，现高均为17米。双塔的东西轴线略为偏斜，塔身的底层，东塔南北2．66米，东西2．64 米；西塔南北2．33米，东西2．3米。两塔形制相同，平面呈方形，均为7级仿木楼阁式，中间不立塔心柱为空心，可登临。但塔的内部很小，各层之间只能用简单的木梯上下。
双塔底座为白石浮雕，底层为三面开门之外，唯东塔缺东门，西塔无西门。第二层以上均四面开门。双塔外壁装饰朴实无华，四隅亦未施设角柱。券门之上隐出阑额和斗拱，“补间铺作”只设一朵，“角铺作”与“补间铺作”之间，各嵌镶佛像陶砖两块。
双塔的“出檐”的构筑方式在全国极为少见，出檐大体由涩砖、斗拱与水平木檐三者组成，起主要悬挑作用的涩砖，各层檐部用“叠涩砖”，与“菱角牙子砖”，并铺以木斗拱来承托出檐，而斗拱仅用来作为仿木构件的装饰。柱头枕上之壁体砌筑稍为收进，挑出多层的“叠涩砖”，用以形成上一层之平座。再向上，又挑出“平涩砖”若干层，构成再上一层的平座。这些涩砖富有装饰性，使双塔外观更显秀丽典雅。
整个塔身，大部用“莲坛坐佛像”的雕砖砌筑塔面，塔的每一层之每一面，四角均装置有侧脚的圆形角柱。柱上端设阑额，额下有两根兼柱，将壁面划分为三间，都用圆柱型砖条以区隔划分为3间，中间部份砌有圆形拱门，两旁为棂格的方窗，以“宝相花”装饰墙面，并有“贴额”、“腰串”等仿木构部件，体现了庄严肃穆的氛围。
塔的第二层以上的各层塔壁，宽度及层高依层往上而递减。塔壁的墙体大多采用“走砖砌造”的方式，外壁的色彩为红白相间，所有仿木构件，如槏柱、斗拱、阑额、角柱、窗条等均为红色，其它部位则是以白灰粉饰，灰缝间以石灰加黄泥砂浆铺施其间，这说明宋代已使用石灰来砌墙。
第5层在补间铺作两旁正中央的位置上有2根心柱，这种修筑法保存了唐塔的形式。从第6层起，使用“木过梁”承托“干刹”和“顶饰”，但因年久失修，塔顶已全部损坏，木质构件也朽毁无存。
在维修中发现，塔壁墙内，每隔半米之距平放一层长条木板，即为“木骨”，它能使塔体增强拉力，塔身不易裂开，用以加固。几百年前，双塔没有了顶刹，遭受风吹雨打屹然挺立，这“木骨”起了非常重要的作用，中国古代先民在建筑技术上的一大创造。
根据计算，依此双塔建筑要求，而特别烧制的砖型规格就有近百种，有青、灰、红、黄等颜色。相传，建筑双塔所用之砖，全部由广教寺的僧人化缘而来，所以形制色彩各异，筑塔工匠们将各类不同形制规格的砖，巧妙地砌成了精美的艺术建筑。
塔身原砌有多块佛像砖，但只剩东塔第五层的四对佛像迄今尚保存完好。东塔之东面、西塔之西面，第二层各横嵌着北宋文学家苏轼手书的《观自在菩萨如意陀罗尼经》，为阴刻正楷书体刻石，为长方形，四周配镶砖框。刻石署款为“（宋）元丰四年（西元1081年）二月十七日责授黄州团练副使眉扬苏武书赠广教寺院模上人”。两块刻石的后跋上书“（宋）绍圣三年（西元1096年）六月旦日宛陵干明寺椤严讲院行者徐怀义摹刊普劝众生同增善果”。
据考证，由两刻石四周灰缝及砌砖的尺寸得知，其与双塔内壁其它部位的结构以及修建细部手法相当一致，判断刻石应是建塔时砌入的。双塔的建造年代在还没找到确切文字记录之前，由双塔的结构方式、造型风格、以及艺术特色等特点，可推测建造于北宋绍圣三年。
关于广教寺的历代修建情况，记载甚少，且多文简意略、支离破碎。唯从嘉庆二十年（西元1815年）《宁国府志》卷首的“敬亭山图”和上海博物馆收藏的“梅清双塔”画之中可知，当时双塔已没有顶刹。可见几百年来，双塔一直维持没有的顶刹的情况。西元1988年，双塔进行了修缮，由于找不到双塔塔刹的原史资料，所以修筑时，仍然保留了塔刹的残破现状，只有对危及塔体安全的塔身，进行现状加固和部分维修。
“双塔”建筑，在中国佛教建筑遗物中留存甚少，有广州广孝寺双铁塔、浙江杭州灵隐寺双石塔、江苏苏州罗汉院双塔、福建泉州开元寺双石塔、云南昆明大德寺双塔。宣城广教寺双塔，是以“方形平面”及“直井式塔心室”为重要特点，并保留了自汉、晋、南朝及唐、五代传统佛塔的古意，同时，它又是双塔中可登临的最早实例。
