提起皇甫謐，人們可能立刻想到他編撰的我國第一部針灸學的專著《針灸甲乙經》，其實除此之外，他還編撰了《歷代帝王世紀》、《高士傳》、《逸士傳》、《列女傳》、《元晏先生集》等書。他一生以著述為業，在醫學史和文學史上都負有盛名，是一個集文、史、哲、醫於一身而尤長於醫學的偉大作家。
皇甫謐出身官僚家庭，曾祖父名叫皇甫嵩，是東漢時期一位名將，領冀州牧，官拜太尉侯。但是到了皇甫謐父親時，家境已經衰落，以致連生活都相當窘迫。因皇甫謐的叔父沒有後代，在皇甫謐父親同意下，將皇甫謐過繼給自己。自此，皇甫謐就隨叔父遷居到新安，皇甫謐的叔父相當溺愛皇甫謐，所以少年時代的皇甫謐沾染了當時官宦子弟的通病，不肯好好讀書，整日吃喝玩樂。到了十七歲，竟「未通書史」，目不識丁，甚至有人認為他天生痴傻，那年，由於家中不善經營，加上皇甫謐揮霍浪費，他叔父家的田產房屋變賣一空。叔母對皇甫謐如此不求上進非常氣憤，常常為他的前途憂慮。
一天，她把貪玩的皇甫謐趕出家門，想要教訓他。誰知他到了外邊弄來了香瓜、甜果之類，洋洋自得地呈獻給叔母，以為如此「孝順」一番，便可平息叔母的盛怒。誰知叔母更加氣憤，接過瓜果，狠狠地摔在地上，流著淚說：「你快二十歲了，還是『志不存教，心不入道』，你要真心孝順父母，就得『修身篤學』。」他很受感動，自此以後，皇甫謐判若二人，與一幫公子哥兒斷絕了來往。拜鄉里有名的學者席坦為師，刻苦學習儒學。
由於家境每況愈下，無錢買書，他就到處借書抄閱，有時為借閱一本書，長途跋涉數十里、數百裡。後來，家中生計無著，他還得耕田勞動，但仍邊耕邊讀，每天帶了書下田，一有空暇就取出書來朗讀。閱讀了大量的典籍和諸子百家著作，學識大進。
正當他在史學上有所成就的時候，42歲的皇甫謐患了風痺病：半邊身子像針刺似地難受，有時痛得起不了身，但他說：「朝聞道，夕死可也。」從此潛心鑽研醫學。在自學了《內經》、《針經》、《明堂孔穴針灸治要》等醫書後，他就在自己身上扎針，有些穴位刺不到就叫兒子進針，就這樣，靠針刺、拔火罐、按摩，他居然治好了自己的風痺病。從此，他更努力鑽研，決心效法古人整理針灸典籍，要把有用的醫術繼承下來。
但是隨著研究的深入，他發現以前的針灸書籍深奧難懂而又錯誤百出，十分不便於學習和閱讀。如周代的《足臂十一脈灸經》和《陰陽十一脈灸經》、戰國時代的《黃帝內經》、東漢初期的《針經》等，雖然對針灸方面的經驗進行了系統的總結，但是「其義深奧」，「文多重複，錯互非一」，加上當時用竹木簡刻書，書被視為秘寶，普通的人是不易得到的，參考書奇缺。值得慶幸的是，當時晉武帝敬他品格高尚、學識豐富，徵召他入朝為官，他不但婉言辭絕了，竟還向皇帝提出了借書的請求，皇上為了表示自己「禮賢下士」，居然送了一批書給他，讓他補充了不少針灸資料。他以三部著名的醫學著作：《素問》、《針經》（即《靈樞》）和《明堂孔穴針灸治要》為依據，加以綜合比較，「刪其浮辭，除其重複，論其精要」，並結合自己的經驗，悉心鑽研，摸清了人的脈絡與穴位，終於寫出了一部為後世針灸學樹立了規範的巨著－－《針灸甲乙經》，簡稱《甲乙經》。
該書共12卷，128篇，內容包括臟腑、經絡、腧穴、病機、診斷、治療等。書中記載了全身穴位649個，穴名349個，對各穴位明確定位，對各穴的主治證、針灸操作方法和禁忌等都做了詳細介紹，保存了大量過去散失掉的資料，並糾正了以前的一些謬誤。此書問世後，唐代醫署就開始設立針灸科，並把它作為醫生必修的教材，當時的醫家王燾評它「是醫人之秘寶，後之學者，宜遵用之」。晉以後的許多針灸學專著，大都是在參考此書的基礎上加以發揮而寫出來的，也都沒有超出它的範圍。直至現在，我國的針灸療法，雖然在穴名上略有變動，而在原則上均本於它。一千六百多年來，它為針灸醫生提供了臨床治療的具體指導和理論根據，對我國針灸學起了承前啟後的作用，是我國現存最早的一部理論聯繫實際、有重大價值的針灸學專著，被人們稱做是「中醫針灸學之祖」，是後世針灸學著作的典範。
此書傳到國外，在國際上聲望也很高，受到各國，特別是日本和朝鮮的重視。公元7世紀，日本設立針灸科，在《大寶律令》中明確規定把《針灸甲乙經》列為必讀的教材之一，所以此書不只是我國最早最系統的針灸專著，在國際醫學交流中也起了很大的作用。
