朱舜水像，1872年 ，草川重遠繪
朱舜水之墓在歷代水戶藩主的墓地瑞龍山（位於茨城縣常陸太田市）。為了紀念他不忘故國，墓特地建為明朝式樣。
朱之瑜定居日本時曾反覆強調自己並非想倡明儒學於異域，僅是為了蹈海全節。康熙四年（1665年），他在長崎正準備購地躬耕之際，日本國副將軍（大將軍德川家綱之叔父）、水戶侯德川光國欲興庠序之教（庠序，舊稱，古代指地方學校），派儒臣小宅生順到長崎禮聘朱氏為國師，要朱到江戶（今東京）去講學。朱之瑜竭力謙讓。
但是，當他聽安東守約等人介紹「上公好賢嗜學，宜勿辜其意」之後，答應了德川光國的要求，表示「至若招僕，僕不論祿而論禮」。翌年六月，朱之瑜抵江戶。德川光國親執弟子禮，竭誠盡敬。德川光國認為朱之瑜年高德重，不敢直接稱名稱字，要他取一名號以稱呼。朱之瑜就以故鄉「舜水」為號，意為「舜水者敝邑之水名也」，以示不忘故國故土之情。「舜水先生」之稱始於此時。德川光國欲為建新居，以「恥逆虜之末滅，痛祭祀之有闕，若豐屋而安居，非我志」四次力辭。在德川光國影響下，日本學者、達貴也紛紛詣門求教，或執弟子禮，或聽其講學。從此，朱之瑜往來於江戶、水戶兩地，公開講學。他曾去信遠在柳川的安東守約介紹講學的盛況。
康熙九年(1670年)，日本初造學宮，朱之瑜繪畫圖紙，度量尺寸，親臨施工現場指導，事後撰《學宮圖說》。又造古祭器簋、籩、豆、登等，率學生習釋奠禮，改定儀注，詳明禮節。康熙十一年（1672年），德川光國設置彰考館，由之瑜門生安積覺任主編，聘請之瑜指導，編纂鼓吹「尊王一統」之說的《大日本史》，其影響直至二百年後的「明治維新」。德川光國對朱之瑜敬愛有嘉，就任藩主之際朱舜水也隨同前往江戶，朱之瑜與同為德川光國編撰《大日本史》的安積澹泊、木下道順、山鹿素行結為好友，並對水戶學的思想產生很大影響。
康熙二十一年（1682年）朱之瑜因水土不服而致病，全身遍生疥瘡，臥床不起。明年四月，即顧炎武辭世三月後，朱之瑜在日本大阪逝世，享年83歲，葬在歷代水戶藩主的墓地瑞龍山（茨城縣常陸太田市），為了紀念他不忘故國，墓特地建為明朝式樣，碑文題「明徵君子朱子墓」，私謚「文恭先生」。德川光國率諸朝士臨其葬。朱舜水死前遺言：「予不得再履漢土，一睹恢復事業。予死矣，奔赴海外數十年，未求得一師與滿虜戰，亦無顏報明社稷。自今以往，區區對皇漢之心，絕於瞑目。見予葬地者，呼曰‘故明人朱之瑜墓’，則幸甚。」朱之瑜一直企望中原能有恢復的一天，為此，他滯日期間生活十分節儉，死時居然儲蓄了三千餘金。這是他企圖恢復國家的經費。
其日本學者今井弘濟、安覺濟為他們的中國老師寫下悼文：「嗚呼先生，明之遺民。避難乘槎，來止秋津。寤寐憂國，老淚沾巾。衡門常杜，簞瓢樂貧。韜光晦跡，德必有鄰。天下所仰，眾星拱辰。既見既覲，真希世人。溫然其聲，儼然其身。威容堂堂，文質彬彬。學貫古今，思出風塵。道德循借，家保國珍。函丈師事，恭禮夤賓……」 在他死後週年時，安東守約在祭文中哭道：「嗚呼先生，知我望我。今也既逝，學殖雲墮。有疑誰問？有過誰督？有事誰計？有懷誰告？
朱之瑜死後，德川光國派人整理了他的遺稿、正德五年（1715年）刊行了《舜水先生文集》全28卷。東京大學農學院內至今立有「朱舜水先生終焉之地」（朱舜水先生臨終之地）的石碑。日本漢詩長老小野湖山在青年時代訪水戶謁朱舜水墓時曾作過一首《朱舜水先生墓》：安危成敗亦唯天，絕海求援豈偶然。一片丹心空白骨，兩行哀淚灑黃泉。豐碑尚記明征士，優待曾逢國大賢。莫恨孤棺葬殊域，九州疆土盡腥膻。
清康熙十七年（1678），之瑜長孫毓仁知祖父海外健在，浮海至日本長崎尋覓，未見歸，康熙二十五年復至日本哭祭。
今余姚龍泉山南坡有朱舜水先生故里碑亭。1982年5月，為紀念朱之瑜逝世300週年，日中文化交流協會、日本朱舜水紀念會於龍泉山西坡建朱舜水先生紀念碑，沙孟海書，碑北建舜水亭，周而復題額。
