菩提達摩尊者本性剎帝利，本名叫菩提多那，後來遇到般若多羅尊者，改稱達摩。菩提達摩尊者虔誠地信奉佛教精義，慇勤服侍他的師父將近四十年，從來沒有過疏忽與紕漏。直到師父去世以後，他才開始在國內推行教化，遠近學者信徒紛紛慕名前來求學請教，六十多年中，他指引化度了無數信徒。
當時，發生了異見國王污辱佛法僧的事情，尊者知道以後嘆息道：「這個人德行淺薄，該怎樣救一救他呢？」於是讓徒弟波羅提前去宣揚佛法。異見王惱怒地問道：「什麼是佛？」波羅提說：「透徹地瞭解自己的心靈就是佛。」
異見王說：「你瞭解自己的心靈了嗎？」波羅提說：「我已經理解了佛家的覺悟。」異見王說：「佛家覺悟在什麼地方？」波羅提說：「佛家的覺悟在具體的作用。」異見王又問：「是什麼作用？」波羅提便念出一首偈語來回答：「以在為身，處世為人。在眼曰見，在耳曰聞。在鼻辨香，在口談論。在手執捉，在足遠奔。遍現俱該法界，收攝在一微塵。識者知是佛性，不識喚作精魂。「
異見王聽完偈語，領悟了其中道理，對以前的認識感到慚愧，因而問到：」你的理論見解十分機智高明，不知你的師父是誰？「波羅提回答：」我的師父就是大王叔菩提達摩。「
異見王聽後非常驚訝，立即命令親信大臣前去隆重迎請。於是菩提達摩尊者隨大臣來到此地，為異見王懺悔以往的過錯。異見王感激涕零，拜謝菩提達摩尊者的教化指引，從此十分尊崇佛法僧。
有一天，尊者考慮又該出去推行教化了，於是辭別祖師靈塔，告別異見王而離去。異見王準備了大船，率領群臣百姓相送直到海邊。
菩提達摩尊者遠渡重洋，歷時三年，到達南海，這時是梁朝普通八年。廣州刺史肖昂將菩提達摩尊者來到中國的消息報告給梁武帝，梁武帝便派人把尊者一行迎請到金陵。
武帝問題：」我建造寺院，抄寫經卷，其數量無法算清。做這些事情能得到什麼功德？「尊者說：」這些事都是人在凡世間所成就的小事，是為了消除心中煩惱而做的，就像影子跟隨形體而動，雖然有影，但並不是實在而有用的東西。「武帝說：」那麼怎樣做才是真功德？「尊者說：」清淨智慧，超凡無礙，身心自然便會解脫。這種功德，不是靠凡世功夫能修得的。「武帝又說：」什麼是神聖的最高意義？「尊者說：」空闊天地之間並無神聖。「武帝說：」那麼與我對話的是誰呢？」尊者說：「我不認識。」
武帝仍然不明白。尊者知道兩人話不投機，於是返回江北，住進嵩山少林寺。
他面對石壁而坐，整天默然不語。眾人都不知道什麼緣故，說他心如壁立。
當時有位名叫神光的和尚，博覽群書，善談玄妙的理論。聽說菩提達摩尊者來到少林寺，便前來拜訪請教，尊者卻始終面對石壁一言不發，不予理睬。
一天夜晚，天降大雪，神光和尚仍然冒雪堅持站在那裡一動不動。等到天亮時，積雪已經漫過了他的膝蓋。尊都被神光的執著所感動，對他表示慰問，然而仍舊不傳授佛法。
於是神光暗地裡取出利刀，切斷了自己的左臂，獻於尊者面前，以表達自己誓求佛法的決心。尊者明白神光確實是能夠繼承發揚佛道的傳人，於是為他改名叫慧可。神光說：「現在我可以知道各位佛祖的教義了吧？」尊者說：「諸佛法印，匪從人得。」神光說：「我的心靈仍然得不到安寧，請師父為我安撫。」尊者說：「你把心拿來我給你安撫。」神光說：「我尋找過了，但拿不到。」尊者說：「我已經為你安撫過心靈了。」
尊者在少林寺住了九年，打算返回天竺。於是對徒弟們說：「分別的時候快要到了，你們都說說自己學到了什麼。」
徒弟道副說：「如果按我的見解，不過份拘泥於文字，也不過份脫離文字，就可以得到佛法了。」尊者說：「你得到了我的學問的皮毛。」
徒弟尼總持說：「按照我現在的理解，修習就像慶喜見到阿閦佛國一樣，見過一次就不用再見了。」尊者說：「你得到了我的學問的筋肉。」
徒弟道育說：「自然界的地、水、火、風本來就是空泛之物，人自身的色、受、想、行、識實際上也是非分之物，在我看來，沒有哪一種法是可以得到的。」尊者說：「你得到了我學問的骨架。」
最後，慧可上前拜過師父，便依位站在一邊。尊者說：「你得到了我的學問的精髓。」於是，把如來佛祖的最高佛法授與慧可，並傳給他一首偈語：「吾本來茲土，傳教救迷情。一花開五葉，結果自然成。」說完，尊者便坐在那裡逝世了。這時是後魏孝明帝大和十九年。
尊者的弟子們將他安葬在熊耳山，並且在定林寺建築佛塔作為紀念。過了二年，北魏朝宋雲受朝廷派遣出使西域，回國途中經過蔥嶺，遇見了尊者。只見他手裡拎著一隻鞋，悠然自得地獨自走來。宋雲問他到哪裡去，尊者說：「往西天去。」宋雲茫然與他道別。
後來孝莊王即位登基，宋雲把這樁奇遇奏明皇帝，孝莊王命令掘墓察看。掘開墓穴後，只見棺材空著，裡面只剩下一隻鞋。所有的人都萬分驚異。於是，按照孝莊王聖旨，將尊者遣留的那只鞋供奉在少林寺中。後來，這隻鞋被人偷到五臺山華嚴寺。現在已經不知哪裡去了。
