武当山古名“太和山”。“太和”一词出自《周易﹒干卦﹒彖辞》：“干道变化，各正性命，保合太和，乃利贞。”大意是说，万物的运行变化，只要各自安守本分，保持整体的和谐，就能顺利发展。 “太和”含有“普遍和谐”之意。或许因了这种“天人合一”的灵秀之气，武当山成为修炼之人的理想修炼之地。
“武当”之名最早见于《汉书》。元代刘道明在《武当福地总真集》卷上说：“传记云，武当山，一名太和，一名大岳，一名仙室，中岳佐命之山。应翼轸角亢分野，在均州之南。……地势雄伟，非玄武不足以当，因名之曰武当。”《后汉书﹒王梁传》中说：“玄武，水神之名。”李坚注称：“玄武，北方之神，龟蛇合体。”关于玄武为何人，一种说法认为玄武是黄帝治下的净乐园太子真武。还有一种说法称，大禹继承帝位后，便将父亲鲧封为水神，并在今天的武当山创建玄天庙供奉之，称为“玄武大帝”。“玄”，即“玄天”，北方的别称。《太上说玄天大圣真武本传神咒妙经》中说，隋文帝开皇元年三月三日，玄武降诞于王宫。既长舍家弃国，辞父母下入武当山修道，度世济人，四十二年，功成果满，白日升天，玉帝封为玄武真人。唐贞观二年，封为佑圣玄武灵应真君，宋时真宗避赵玄朗玄字之讳，乃改为“真武大帝”。明朝时，武当山被封为“太岳”、“玄岳”，成为“天下第一名山”。在此修道之人众多，而且兴建了大量宫观。清代后，武当山的影响力下降。
除玄武之外，有众多的修炼者选择在武当山上修炼。明朝任自垣撰写的《敕建大岳太和山志》卷六《集仙记第五》中说：“（在武当山）自黄老设教，神仙至人栖之者众。”“养生之人，多隐其名字，藏其时日，恨山不深，林不密，惟恐闲名落人耳中。是山证道升真者，何可胜记，去古颇远，劫火屡更，多失其名”。现在载于史籍中比较有名的仙师真人有春秋时的尹喜、汉时的戴孟、马明生、阴长生，晋时的谢允、尹轨，南朝的刘虬，唐代的姚简、吕洞宾，五代的陈抟，宋代的孙寂然，元时的张守清，明代的张三丰等。
史书记载的较早于此隐居修炼的是周康王时的大夫尹喜。据记载，尹喜本为函谷关尹，他见紫气东来，料定必有贵人来到。果然不久道家创始人老子李耳驾青牛西去，路过函谷关。尹喜热情接待了老子，并拜老子为师，向老子问道。老子于是住到函谷关，写下了传世修炼之书《道德经》五千文。后来老子西出函谷关，不知所终。尹喜遂挂印辞官，隐居在武当山中开始修炼。不过，《庄子﹒天下篇》、《史记﹒老子传》虽对此已有简略记载，但尚未言及其武当山隐居之事。直到南朝郭仲产的《南雍洲记》中才有：“武当山有石门、石室，相传云尹喜所栖之地”的说法。后人把尹喜在武当山修炼之地的三天门石壁，称为“尹仙岩”。武当山上的牛槽涧、青羊涧，都是太上神化造访尹喜之地。
据葛洪的《神仙记》称，戴孟是汉明帝时人，曾经先后在华山及武当山修炼。在华山得不死之道，可以轻身健行。仙人马明生在武当山修炼之地为五龙宫，内有炼丹池、自然庵等。其弟子阴长生在侍奉马明生二十年后，在青城山得道，后在武当山石室中服用丹药，并造出黄金数万斤以布施天下穷乏之人。此后周游天下。据《元和郡县志》武当县条说：“阴长生于此得仙”。也就是说他在武当山白日飞升，成仙而去。阴长生的弟子鲍靓是《神仙传》的著者葛洪的师父，此二人后来也都得道成仙。
晋代尹喜的弟子尹轨，亦入武当山修道，人称“无上真人”，其门徒众多，在唐朝是颇为显盛。陶弘景《真诰﹒稽神枢》中说，谢允是历阳人，“少英毅，历仕罗邑宰，博览群书，道学尤精”；太康年间，他辞官□入武当山，在一石室中修炼，没有几年就得道成仙。据说南北朝时在此修炼的就超过四百人。
据武当山历代山志及均州旧志载，中国民间流传的八仙之一的吕洞宾亦在武当山修炼过。吕洞宾，唐朝人，原姓李，曾举□士不第。后因武则天篡权，迫害唐皇室子孙，乃入山修行。他先在陕西太华山修炼，后被玉皇大帝敕命为传教祖师。他曾经隐居在武当山的紫气峰修炼。还有一处叫洞宾岩的地方，传说也是吕洞宾隐修较长的地方。
此后五代的陈抟，宋代的孙寂然，元时的张守清等成仙真人都在武当山修行过。
不过，中国人最为熟悉的当属太极拳的鼻祖、明代真人张三丰。《明史》卷二百九十九写道：张三丰丰姿魁伟，大耳圆目，无论寒暑只披件蓑衣“或处穷山，或游闹市”。他在明朝初年来武当山游历并在此隐居，当时武当山上的五龙、南岩、紫霄殿都毁于战火，张三丰和徒弟们就在荆棘中盖了草庐作为修炼之所。一天张三丰对人说：“此山，异日必大兴。”此后张三丰离去。明太祖听说后，派人访寻他却没有找到。后来明成祖即位后，为了感谢神明，特别是真武神在创立基业方面的帮助，除了加封真武，还在武当山上大兴宫观，应了张三丰的预言。而张三丰在游历四川后，再次来到武当山修行，并最终成仙。
由于武当山的不凡之处，历代帝王对其青睐有加。不过，武当山最早的道观始建于唐朝。唐太宗李世民，因均州太守姚简祷雨有应，致使五龙现身降雨，所以下令在武当山修建五龙祠。大历年间（766年～779年）又建太乙、延昌等庙，干宁三年（896年），又更新神威武公庙宋、元、明三朝，均推崇武当真武之神。宋真宗天禧二年（1018年）下诏封真武为“真君”，将“五龙祠”更名为“五龙观”，并开始修建大量庙观，比较具有代表性的主要有五龙观、紫霄宫、威烈观、太上观、佑圣观等。元时，元世祖忽必烈下诏封真武为“玄天上帝”，将“五龙观”更名为“五龙宫”，并继续在武当山大兴土木，修建宫观。明朝永乐年间，明成祖朱棣下令，在武当山建造了九宫九观三十六庵堂七十二岩庙，殿宇房屋二万余间。当时其香火隆盛，无论皇子皇孙、文臣武将，还是黎民百姓，每年都要到武当山朝拜。史书载，明隆庆（1567～1572）时，武当山有道士三百到六百人，道官、道众、军队、工匠等一万余人。因此武当山被称为“天下第一道场”。清朝初期，虽仍有一些知名道士在武当山修炼，但随着人与道越离越远，成仙之事对人们来说也似乎是遥不可及了。清康熙时期维修了一些宫观，但清末到民国时期，大部分宫观被废弃甚至被毁坏。
目前，武当山尚有明代修建的太子坡、磨针井、回心庵、玉虚岩、紫霄宫、太和宫、泰山庙等古建筑遗存。太子坡相传是真武在磨针井受老妇点化后，重新入山修炼居住过的地方。因道观建于陡峻的山坡上，故又名“太子坡”。磨针井是传说中的真武太子在此遇老妇感化的地方。玉虚岩是真武帝修炼和飞升之处。内部供奉着真武像及左右侍从、五百灵官等。关于紫霄宫的来历，在《真武本传妙记》记载了这样一个传说：当仙人紫元君超度真武到武当山修炼时，就告诉他“摘其众峰冲高紫霄者居之”，故武当山的主宫名字为紫霄宫。“紫霄”意指仙气弥漫的天空。
在今武当山南岩宫两仪殿外，存有吕洞宾赞美武当山的一首诗《题太和山》。诗曰：
混沌初分有此岩，此岩高耸太和山。
面朝大顶峰千丈，背临甘泉水一湾。
石缕状成飞凤势，龛纹绾就碧螺鬟。
灵源仙涧三方绕，古桧苍柏四面环。
雨滴琼珠敲石栈，风吹玉笛响松关。
角鸡报晓东方曙，晚鹤归来月半湾。
谷口仙禽常唤语，山巅神兽任跻攀。
个中自是乾坤别，就是原来日月闲。
此是高真成道处，故留踪迹在人间。
古人多少神仙侣，为爱名山去复还。
