孔子被稱為“萬世師表”、“至聖”，他開創的儒家思想更是影響了中國兩千多年，成為中國的最主流思想，在古代封建時期，在儒家“仁者愛人”、“義之所向”、“修齊治平”、“內聖外王”等思想薰陶下，出現了一個個的明君、名臣，對中國歷史的程序起到了巨大影響。時至今日，依然有人大力推崇儒家思想。
宋景公聽信了桓魋的讒言，派人追殺孔子一行人等，孔子帶弟子連夜逃出宋國，然而桓魋仍不罷休想要將孔子趕盡殺絕。那天孔子正在大檀香樹下講學，桓魋帶兵在暗處團團保衛了孔子，眼看孔子正要走投無路，正在絕望之時，天空飛下來一片烏鴉，黑壓壓的，專門攻擊這些士兵。這些士兵本就敬重孔子，只因要聽從上級命令不得以從來圍剿，如今天上降下烏鴉兵更使他們相信了孔子乃是天上的神仙之說，便紛紛離開了。據說這些烏鴉一直對孔子盡忠職守，守衛著孔子的安全，就連孔子死後也一直守在樹林的外面，不讓外人前來叨擾孔子的安寧。而且孔子的弟子們也在墓地的地面上鋪上了很多烏沙和硃砂，還有很多硫磺，而蛇對這些東西深惡痛絕，因此蛇也自然離這裡遠遠的了。
另外還有一種說法是，孔林處於地殼斷裂帶上，時不時有石頭互相摩擦的聲音，而鳥兒聽覺敏銳，受不了這個聲音，也就自然離得遠遠的，據說那兒不只是烏鴉，而是其他任何鳥兒都不落。
當然這樣的說法終歸有一些牽強，其實之所以“上不落烏鴉”是因為孔林中的樹木大多是楷樹和檜柏，烏鴉不喜歡在這樣的樹上棲息；至於說“下不招蛇”是因為孔氏家族在修建孔林過程中，使用了大量的硃砂和硫磺，蛇最害怕聞到這種味道，所以對孔林避而遠之。