孔子得不到卫国的重用，打算西游去见晋国的赵简子。到了黄河边，听到窦鸣犊、舜华被杀的消息, 就面对黄河感慨："壮美啊 黄河水，浩浩荡荡多么盛大，我所以不能渡过黄河，也是命运的安排吧！" 子贡问是什么意思。
孔子说："窦鸣犊、舜华两个人，都是晋国有才德的大夫。 当赵简子还没有得志的时候，是依靠这两个人才得以从政的；等到他得志了，却杀了他们来执掌政权。我听说过，一个地方剖腹取胎杀害幼兽，麒麟就不到它的郊 野，排干了池塘水抓鱼，那么龙就不调合阴阳来兴雨了，倾覆鸟巢毁坏鸟卵，凤凰就不愿来这里飞翔。这是为什么呢？君子忌讳伤害他的同类。那些鸟兽对于不义的 行为尚且知道避开，何况是我孔丘呢！"于是便回到老家休息，创作了琴曲《陬zou1操》来哀掉窦鸣犊、舜华两位贤人。随后又回到卫国。不久又去了陈国。
这一年夏天，鲁桓公、厘公的庙堂着火了。孔子在陈国听到了这个消息，就说："火灾一定在桓公、厘公的庙堂吧？"不久证实，果然如他所言。
这年秋天，鲁国重臣季桓子病重乘着辇车望见鲁城，长叹一声说："从前这个国家几乎兴旺了，因为我得罪了孔子，所以没有兴旺起来。"回头又对他的嗣子季 康子说："我要是死了，你一定会接掌鲁国的政权佐国君；你佐国君之后，一定要召回孔子。"过了几天，季桓子死了，季康子继承了他的职位。丧事办完之后，想召回孔子。大夫公之鱼说："从前我们的鲁定公曾经任用过他，没能有始有终，最后被诸侯耻笑。现在你再任用他，如果也不能善终，这会再次招来诸侯的耻笑。" 季康子就派人召回了孔子的徒弟冉求。
冉求离去之后，第二年，孔子从陈国移居蔡国。次年，孔子又从蔡国前往叶地。叶公问孔子为政的道理，孔子说："为政的道理在于招纳远方的贤能，使近处的人归服"。
孔子迁居到蔡国三年，吴国攻打陈国。楚国救援陈国，军队驻扎在城父。听说孔子住在陈国和蔡国的边境上，楚国便派人去聘请孔子。孔子正要前往拜见接受聘礼，陈 国、蔡国的大夫商议说："孔子是位有才德的贤人，他所指责讽刺的都切中诸侯的弊病。如今的楚国，是个大国，却来聘请孔子。如果孔子在楚国被重用，那么我们陈蔡两国掌权的大夫们就危险了。"于是他们双方就派了些服劳役的人把孔子围困在野外。
孔子和他的弟子无法行动，粮食也断绝了。跟从的弟子饿病了，孔子却还在不停的给大家讲学，诵诗、歌唱和弹琴。子路很生气, 问："君子也有困窘的时候吗？"孔子说："君子在困窘面前能坚持节操不动摇，而小人遇到困窘就会不加节制，什么过火的事情都做得出来。"
孔子知道弟子们心中不高兴, 便叫来子路问道："《诗经》上说‘不是犀牛也不是老虎，然而它却排徊在旷野上'，难道是我们学说有什么不对吗？我们为什么会落到这种地步呢？"子路说："大概是我们的德还不够吧？所以人家不信任我们；想必是我们的智谋还不够吧？所以人家不放我们通行。"孔子说："有这样的话吗？仲由啊，假使有仁德的人必定能使人信任，哪里还会有伯夷、叔齐饿死在首阳山呢？假使有智谋的人就能畅行无阻，哪里会有王子比干被剖心呢？"
子路退出，子贡进来见孔子。孔子用同样的话问子贡. 子贡说："老师的学说博大到极点了，所以天下没有一个国家能容纳老师。老师何不稍微降低一些您的要求呢？"孔子说："好的农夫虽然善于耕种，但他却不一定有好的收获；好的工匠虽然精巧的手艺，但他的所作却未必能使人们都称心如意。有修养的人能研修自己的学说，但不一定被世人所接受。现在你不去研修自己的学说，反而想降格来迎合。你的志向太不远大了。"
子贡出去之后，颜回进来见孔子。孔子又同样问他. 颜回说："老师的学说博大到极点了，所以天下没有一个国家能容纳老师。虽然是这样，老师还是要推行自己的学说，不被天下接受又有什么关系呢？一个人不研修自己的学说，那才是自己的耻辱。至于已下大力研修的学说不被人所用，那是当权者的耻辱了。不被天下接纳又有什么关系呢？不被接受，这样才能显出君子的本色！"
孔子听了十分欣慰, 笑道："是这样的啊！ 假使你有很多钱财，我愿意给你做管家。"
于是孔子派子贡到楚国去, 楚昭王调动军队来迎接孔子，才消除了这场灾祸。
楚国得到孔子后，楚昭王想把有户籍登记的七百里地方封给孔子。楚国的令尹子西劝阻他, 担心如果让孔子拥有那七百城土地，再加上那些有才能的弟子辅佐, 他会在楚国称王，于是楚昭王打消了原来的想法。这年秋天，楚昭王死在城父。孔子也从楚国返回了卫国。这一年，孔子六十三岁。
第二年（前484），冉有为季氏统率军队，在郎地同齐国作战，打败了齐国的军队。冉求告诉季康子自己的才能都是从孔子那里学来的。
季康子问："孔子是怎样的一个人呢？"冉有回答说："任用他要符合名分，他的学说不论是传播到百姓中，还是对质于鬼神 前，都是没有遗憾的。我对于军事，虽然有功而累计封到二千五百户人家，而孔子却会毫不动心的。"康子说："我想召请他回来，可以吗？"冉有说："你想召请他回来，只要不让小人从中阻碍他，就可以了。"于是季康子派人带着礼物迎接迎孔子，孔子就回鲁国去了。孔子离开鲁国一共十四年, 又回到了鲁国。但是鲁国最终还是不能重用孔子，孔子也不再要求出来做官了。
孔子的时代，周王衰微，礼崩乐坏，《诗》、《书》也残缺不全了。孔子探究夏、商、西周三代的礼仪制度，编定了《书传》 (《尚书》之传。) 的篇次，上起唐尧、虞舜之时，下至秦穆公，依照事情的先后，加以整理编排。
孔子考察了殷代继承夏代对礼仪制度所作的增减之后说："将来即使经过一百年，那增减的也是可以预知的，因为一种是重视文采，另一种是重视朴实。周代 的礼仪制度是在参照了夏代和殷代的基础上制定的，多么丰富多采呀，我主张用周代的礼仪." 所以《书传》、《礼记》都是孔子编定的。
孔子从卫国返回鲁国之后，就开始订正诗乐，使《雅》、《颂》都恢复了原来的曲调。古代留传下来的《诗》有三千多篇，孔子把重复的删掉了，选取其中合于义的用于礼义教化。三百零五篇诗孔子都能将演奏歌唱，以求合于《韶》、《武》、《雅》、《颂》这些乐曲的音调。先王的乐制度从此才恢复旧观而得以称述，王道完备了，孔子也完成了被称为"六艺"的《诗》、《书》、《礼》、《易》、《乐》和《春秋》的编修。
