嵩岳寺初建時是作為北魏宣武帝元恪的離宮，至正光元年（西元520年）改名「閑居寺」， 迄今約1,500年。塔就建在寺院的中心。塔的東西方各有千佛殿及定光佛堂，兩面是迴廊，南邊有山門，北方建立大佛殿，成為一個塔院。到隋仁壽二年（西元602年）改名為「嵩岳寺」。北魏時期的嵩岳寺規模宏大，盛極一時。武則天陪同唐高宗游嵩山時，曾把這裡改作行宮，並為該寺塑金佛像。隨著少林寺的興起，嵩岳寺日漸衰微，至今，只空遺古塔聳立在嵩山的幽谷中。
但是研究考古的人，不敢輕慢它。他們到登封，可以不去少林寺、嵩陽書院、中岳廟，卻不能不去嵩岳寺塔「朝聖」，它是研究古塔中極其珍貴的建築。
全塔由基臺、塔身、密檐和塔剎四部分組成。塔基為石製。隨著塔身砌筑作十二邊形，臺高0.85米，寬1.6米。塔前砌有長方形的月臺，塔後以磚砌鋪甬道，與基臺同高。
嵩岳寺塔除了塔剎部分以石雕之外，上下全部用灰黃色的磚和黃泥及糯米汁，層層粘砌而成，塔磚小而且簿，外塗白灰，腰檐以上的磚柱均塗以紅色。這是當時磚塔的特點，並一直流傳到宋代。歷經千餘年的風霜雪雨侵蝕依然堅固，至今完整無損，可知古代建築工藝之高妙。
塔身建於簡樸的臺基上，塔身則用青灰條磚壘砌，全塔呈圓弧狀的拋物線形。總高39.8米。底層直徑約10.6米，內部空間直徑約5米，壁體厚2.5米。塔高41米。塔的形制為南北朝期間少見的密檐式建築，所謂「密檐」，指檐與檐之間的塔身距離很短，各層檐下都各有一個小窗，但多數僅具窗形，並不採納光線，有的只開一個小孔。
塔身內為「樓閣式』，內部以內檐分為十層。外為「密檐式」分為十五層。各層都以磚疊澀做成十五層的塔檐，檐寬逐層收分，層層外挑，檐層逐漸向上縮減與密集，磚磚相疊出檐，直疊到臨界狀態「收磚」，和緩地向上收縮，充滿節奏美感。
磚塔的第一層塔身特別高大，為十二角型，而從第二層開始則改為八角形。十二邊形的特殊造型，有分解風力的優點，但是它比四邊、八邊形的塔容易壘筑，但是後期所建的塔很少採用十二邊形。
塔身中部用挑出的磚疊澀砌一週腰檐，將它分為上下兩段：上段建於疊澀上，為全塔裝飾的重點，高3.73米。比下段稍大。下段為光素白磚面，高3.59米，上下垂直。腰檐以上塔身，各角砌出八角形倚柱，採用方墩柱礎，束蓮柱頭。壁面除四個券門外，每面砌有「阿育王塔」的形象作為塔身的裝飾。
腰檐以下塔身角隅均砌出六邊形倚柱，柱頭飾以磚雕的火焰寶珠與覆蓮，柱下為雕磚的蓮瓣形柱礎，柱間四面有對稱的四門，其餘八面壁外各砌佛龕，龕座上刻有獅子作裝飾，各塔層之間均有壺門、欞窗、雕獸等，雕工手法精巧，造形獨特，為北魏磚雕藝術珍品。
塔中構造採用「厚壁空心式」木板樓層結構，壁體砌到樓層處，以磚疊澀與樓板相互交連，樓板架設在木樑上。塔的東、南、西、北四面設入口，門口寬2.5米。可自下而上直達頂部。在四個正面有貫通上下兩段的門，門上在半圓形拱券上做成尖形券面裝飾，券門通向塔心室。
中央塔心室為正八角形，共有十個八角形塔室，作9層內疊澀磚檐，寬7.6米，底層塔壁厚2.45米。整個塔室上下貫通，呈圓筒狀，上上下下用木扶梯。內部原設置佛臺佛像，供繞塔做佛事之用。
塔頂的塔剎由三部分組成：自下而上由覆蓮式須彌座、七層相輪剎身、剎頂冠以巨型寶珠等組成，塔內為空筒式。此塔剎的形式一直被後來的磚石密檐式塔所延用。塔剎通高4.75米，以碩大的覆蓮承受相輪、寶珠，高約3米多。塔剎為石雕圓柱，呈螺旋形，保留了印度佛塔的風格。
唐宋之前所造的塔中，尚未見到有「地宮」建築。隋代以前的佛塔是直接將舍利容器埋入塔基底下。而上世紀末發掘到嵩岳寺塔地宮，其為「平面方形，四壁微外弧，上作穹隆頂」的結構。是北朝常見的墓室形制，宮室內牆的縫隙間以紅泥黏合，這與甬道、塔體的建築用料相符合，推論可能與塔同時建造。其中一造像刻有「大魏正光四年」的題記，此約為嵩岳寺塔始建的年代。
嵩岳寺塔的結構、造型以及裝飾，可謂古代磚塔建築的開創性嘗試。北魏工匠們其運用了地質、幾何、力學、物理、化學等原理，1500年前僅用磚砌結構，就建成四十多米的高塔，經歷了千多年依然屹立。塔的造型氣勢剛勁雄偉，線條輕快秀麗，剛柔並濟的古塔建築工藝可謂鬼斧神工。它獨特的十二邊形塔造型，更成為中國古建史上的千古絕唱。無論在建築藝術或技術方面，都是中國和世界建築史上的珍品，是密檐式磚砌佛塔的一個經典代表作。
