鲁定公十二年的夏天，孔子开始清除鲁国的恶臣三桓氏，那就是揽权乱政的季孙氏，叔孙氏，孟孙氏。要解除他们的武装，拆掉他们养军队的三个城市。
他先让子路去劝告季孙氏："邑有城池之固，家有甲兵之藏是最危险的事，臣下其所以会叛变，大多是由此而起，最好把城池拆掉。"季孙氏采纳了他的分析，便自动把城池拆毁。而叔孙氏的力量最弱，不敢反对，也把藏兵的城池拆除了。最后剩下孟孙氏，由于家臣反对，不愿意听命令，鲁定公看他推三阻四，于是亲率大军制裁，可是没有成功。
这件事情最感震惊的是齐景公，担心孔子继续执政，鲁国一定会强大起来，就想了一个歪主意。他们挑选了八十个美貌善舞的女子，三十乘装饰华丽的马车，派人送给鲁定公。并且买通了季桓子。鲁定公听信了季桓子的建议。收下舞女和马车，以后便沈醉在美色和歌舞里，一连三天不处理国事。孔子眼看公权力不张，国君越来越荒唐，于是离开鲁国，开始他国外十四年的流浪生活。
宋国之围
中经过宋国的匡城，师生们忽然被一队士兵给围住了。后来一问，才知道当地人把孔子误认为鲁国的阳虎。因为孔子的模样跟阳虎有点相像，而阳虎在匡城做过很多坏事。尽管孔子和弟子们否认，但是匡城的军民都不相信，也不肯放他们走，弟子们非常紧张。
孔子叫大家不要冲动，并说："文王虽然已经死了，文化道统并没有丧失，现在不都在我们身上吗？上天如果真要灭绝文化道统，就不会让我们能够认知并且负起传承的责任。天意既然不灭绝这个文化道统，那匡城的人又能把我怎么样呢？"
说罢，坐下来和着琴声歌唱，曲音从容不迫，士兵听了便解围而去。孔子师徒只好又折回卫国。
不如归去
有一次，他们经过曹国，宋国，好不容易到了郑国，大家走散了，孔子在城外等弟子到来。这时候，子贡在郑国城里找老师，一个路人说："东门外有一位老人，他的额头像尧，颈像臬陶，肩像子产，腰部以下比禹短三寸，那一副不得志的样子，跟丧家的狗差不多，那大概是你的老师吧！"
后来孔子听到子贡说起来，笑道："胡乱描述我的外貌，倒还不怎么样，把我说成丧家的狗，可真是形容得好啊！"
孔子在陈国住了三年，正好遇着晋楚两国在争强斗胜，并且一再和吴国分别侵犯陈国，孔子实在待不下去，他感叹的说："回去吧！回去吧！留在家乡的那些孩子们，志气都大，只是做事疏略一点而已，他们都很有进取心，也没有忘记自己的初衷，还是回去吧！"
