孔子既然得不到卫国的重用，打算西游去见晋国的赵简子。到了huáng河边，听到窦鸣犊、舜华被杀的消息。就面对着huáng河发出了感慨：“壮美啊huáng河水，浩浩dàngdàng多么盛大，我所以不能渡过huáng河，也是命运的安排吧!”子贡赶上前去问是什么意思。孔子说：“窦鸣犊、舜华两个人，都是晋国有才德的大夫。当赵简子还没有得志的时候，是依靠这两个人才得以从政的;等到他得志了，却杀了他们来执掌政权。我听说过，一个地方剖腹取胎杀害幼shòu，麒麟就不来到它的郊野，排gān了池塘水抓鱼，那么龙就不调合yīn阳来兴雨了，倾覆鸟巢毁坏鸟卵，凤凰就不愿来这里飞翔。这是为什么呢?君子忌讳伤害他的同类。那些鸟shòu对于不义的行为尚且知道避开，何况是我孔丘呢!”于是便回到老家休息，创作了《陬操》琴曲来哀掉窦鸣犊、舜华两们贤人。随后又回到卫国。不久又去了陈国。
这一年夏天，鲁桓公、釐公的庙堂起火烧了起来。孔子在陈国听到了这个消息，就说：“火灾一定在桓公、釐公的庙堂吧?”不久证实，果然如他所言。
这年秋天，鲁国重臣季桓子病重乘着辇车望见鲁城，感慨的长叹一声说：“从前这个国家几乎兴旺了，因为我得罪了孔子，所以没有兴旺起来。”回头又对他的嗣子季康子说：“我要是死了，你一定会接掌鲁国的政权佐国君;你佐国君之后，一定要召回孔子。”过了几天，季桓子死了，季康子继承了他的职位。丧事办完之后，想召回孔子。大夫公之鱼说：“从前我们的鲁定公曾经任用过他，没能有始有终，最后被诸侯耻笑。现在你再任用他，如果也不能善终，这会再次招来诸侯的耻笑。” 季康子就派人召回了孔子的徒弟冉求。
冉求离去之后，第二年，孔子从陈国移居蔡国。次年，孔子又从蔡国前往叶地。叶公问孔子为政的道理，孔子说：“为政的道理在于招纳远方的贤能，使近处的人归服”。有一天，叶公向子路问孔子的情况，子路不回答。孔子听说这件事后就对子路说：“仲由，你为什么不对他说：‘他这个人呀，学习起道理来不知疲倦，教导人全不厌烦，发愤学习时忘记了吃饭，快乐时忘记了忧愁，以致于连衰老将至也不知道’。”
孔子迁居到蔡国三年，吴国攻打陈国。楚国救援陈国，军队驻扎在城父。听说孔子住在陈国和蔡国的边境上，楚国便派人去聘请孔子。孔子正要前往拜见接受聘礼，陈国、蔡国的大夫商议说：“孔子是位有才德的贤人，他所指责讽刺的都切中诸侯的弊病。如今的楚国，是个大国，却来聘请孔子。如果孔子在楚国被重用，那么我们陈蔡两国掌权的大夫们就危险了。”于是他们双方就派了一些服劳役的人把孔子围困在野外。
孔子和他的弟子无法行动，粮食也断绝了。跟从的弟子饿病了，站都站不起来。孔子却还在不停的给大家讲学，诵诗、歌唱、弹琴。子路很生气：“君子也有困究的时候吗?”孔子说：“君子在困窘面前能坚持节操不动摇，而小人遇到困窘就会不加节制，什么过火的事情都做得出来。”
孔子知道弟子们心中不高兴。便叫来子路问道：“《诗经》上说‘不是犀牛也不是老虎，然而它却排徊在旷野上’，难道是我们学说有什么不对吗?我们为什么会落到这种地步呢?”子路说：“大概是我们的德还不够吧?所以人家不信任我们;想必是我们的智谋还不够吧?所以人家不放我们通行。”孔子说：“有这样的话吗?仲由啊，假使有仁德的人必定能使人信任，哪里还会有伯夷、叔齐饿死在首阳山呢?假使有智谋的人就能畅行无阻，哪里会有王子比gān被剖心呢?”
子路退出，子贡進来见孔子。孔子对子贡说：“《诗经》上说‘不是犀牛也不是老虎，然而它却徘徊在旷野上’。难道是我们的学说有有什么不对吗?我们为什么落到这种地步呢?“子贡说：“老师的学说博大到极点了，所以天下没有一个国家能容纳老师。老师何不稍微降低一些您的要求呢?”孔子说：“好的农夫虽然善于耕种，但他却不一定有好的收获;好的工匠虽然jīng巧的手艺，但他的所作却未必能使人们都称心如意。有修养的人能研修自己的学说，但不一定被世人所接受。现在你不去研修自己的学说，反而想降格来迎合。你的志向太不远大了。”
子贡出去之后，颜回進来见孔子。孔子说：“回啊，《诗经》说‘不是犀牛也不是老虎，然而它却徘徊在旷野上’。难道是我们的学说有什么不对吗?我们为什么落到这种地步呢?”颜回说：“老师的学说博大到极点了，所以天下没有一个国家能容纳老师。虽然是这样，老师还是要推行自己的学说，不被天下接受又有什么关系呢?一个人不研修自己的学说，那才是自己的耻rǔ。至于已下大力研修的学说不被人所用，那是当权者的耻rǔ了。不被天下接纳又有什么关系呢?不被接受，这样才能显出君子的本色!”孔子听了欣慰的笑着说：“是这样的啊，姓颜的小伙子!假使你有很多钱财，我愿意给你做管家。”
于是派子贡到楚国去。楚昭王调动军队来迎接孔子，这才除了这场灾祸。
楚国得到孔子后，楚昭王想把有户籍登记的七百里地方封给孔子。楚国的令尹子西阻止说：“大王派往各侯国的使臣，有像子贡这样的吗?”昭王说：“没有。”子西又问：“大王的左右辅佐大臣，有像颜回这样的吗?”昭王说：“没有。”子西又问：“大王的将帅，有像子路这样的吗?”昭王回答说：“没有。”子西还问：“大王的各部主事官员，有像宰予这样的吗?”昭王回答说：“没有。”子西接着说：“况且我们楚国的祖先在受周天子分封时，封号是子爵，土地跟男爵相等，方圆五十里。现在孔丘讲述三皇五帝的治国方法，申明周公旦、召公奭辅佐周天子的事业，大王如果任用了他，那么楚国还能世世代代保有方圆几千里的土地吗?想当年文王在丰邑、武王在镐京，作为只有百里之地的主，最终能统治天下。
现在如让孔丘拥有那七百城土地，再加上那些有才能的弟子辅佐，这不是楚国的福音啊。”昭王听了，担心孔子在楚国称王，就打消了原来的想法。这年秋天，楚昭王死在城父。
于是孔子从楚国返回了卫国。这一年，孔子六十三岁，是鲁哀公六年(前489)。
第二年(前484)，冉有为季氏统率军队，在郎地同齐国作战，打败了齐国的军队。季康子对冉求说：“您的军事才能，是学来的呢?还是天生的呢?”冉有回答说：“我是从孔子那里学来的。”季康子又问：“孔子是怎样的一个人呢?”冉有回答说：“任用他要符合名分，他的学说不论是传播到百姓中，还是对质于鬼神前，都是没有遗憾的。我对于军事，虽然有功而累计封到二千五百户人家，而孔子却会毫不动心的。”康子说：“我想召请他回来，可以吗?”冉有说：“你想召请他回来，只要不让小人从中阻碍他，就可以了。”于是季康子派人带着礼物迎接迎孔子，孔子就回鲁国去了。孔子离开鲁国一共经过十四年又回到鲁国。