在古書典籍中，有關「尚方寶劍」的記載，最早出現於《漢書．卷六十七．朱雲傳》曰︰「今朝廷大臣上不能匡主，下亡以益民，皆尸位素餐，孔子所謂‘鄙夫不可與事君’，‘苟患失之，亡所不至’者也。臣願賜尚方斬馬劍，斷佞臣一人以厲其餘。」
據載，西漢成帝時，朱雲是地方縣令，他身高體壯，喜歡結交重義之人，以勇力馳名。當時的丞相安昌侯張禹因病罷官，皇帝賜他高車駟馬、黃金百斤，讓他告老回鄉，又因張禹曾為皇帝的老師，並加封為特進一職，以丞相禮待之，對他極為尊崇。
有一次，朱雲上書求見成帝，當著公卿大臣的面，朱雲說︰「現在朝廷大臣，對上不能輔佐皇上，對下不能有益於百姓，都是佔著職位享受俸祿卻不做事，就像孔子所說，‘不與人格卑陋的人一起侍奉君主’、‘一個人如果擔心失去寵祿，言行就會不合正道，那就沒有什麼事做不出來的。’臣請求陛下賜尚方斬馬劍，斬一奸臣，用以激勵其他官員。」
漢成帝問︰「你要殺誰？」朱雲回答︰「安昌侯張禹。」皇上一聽大怒，說︰「你一個小官竟居小位譭謗上級，在朝廷上污辱我的老師，當死不可赦。」御史推他下殿，朱雲死命的抓住殿前欄杆，欄杆被他拉斷。
朱雲大聲高呼︰「微臣得以和關龍逢（夏桀時大臣，因忠諫被殺）、比干（商紂時大臣，因忠諫被殺）在九泉之下交往，也就滿足了，只是不知道朝廷將要如何？」御史強行將他拿下準備處死。
此時，左將軍辛慶忌摘掉官帽，解下官印，在大殿上叩頭說︰「朱雲一向性情狂直，早已人盡皆知。假如他說的有理，不能殺；說的不對，也應當寬容他。臣願以死相保，請求免他一死。」
辛慶忌不斷叩頭，直到額頭流血，成帝的怒氣才消解，免了朱雲死罪。後來要修治欄杆，成帝說︰「不要換！把舊欄杆稍做修補，用它來表彰直言諫諍的臣子。」這段記載就是歷史著名的「朱雲折檻」的故事，用來比喻直臣冒死進諫。故事中所說的「尚方斬馬劍」，就是指皇帝的御用寶劍。
那麼，為什麼皇帝的御用寶劍稱為「尚方寶劍」呢？
中國古代官制，秦漢時建立以皇帝為中心的三公九卿制。三公分別掌理行政、監察、軍事；九卿則是中央政府各部門的主要行政首長，少府為九卿之一，主掌山海池澤之稅和官府手工業製造，以供應皇室。尚方，為少府的一個屬官。
尚，通「掌」，有主管其事之意。尚方，主要掌管製造、儲藏、供應帝王及皇宮中所用刀劍、衣食及日用玩好器物。秦設置尚方令，漢朝沿置，設有令、丞、員吏、從官等十八人，漢末又分為中、左、右三尚方。魏、晉續置，唐朝稱「尚署」，設中、左、右三尚署。元朝只設置中尚監，到了明朝就廢除了。
「尚方寶劍」就是由「尚方」所鑄造的寶劍，是古代皇帝御用的寶劍，又稱為勢劍、尚方劍、上方劍。古代皇帝派大臣處理重大案件時，常賜以「尚方寶劍」，表示授予持有者全權，享有先斬後奏、便宜行事的特權。
又尚方所制的御用劍，劍刃鋒利，言可斬馬，故又稱為「尚方斬馬劍」。如《漢書．朱雲傳》曰︰「臣願賜尚方斬馬劍。」唐朝顏師古．註：「尚方，少府之屬官也，作供御器物，故有斬馬劍，劍利可以斬馬也。」
