相传商朝有个小诸侯国——孤竹国，它的辖区在今卢龙县西，迁安县东。孤竹国国君的长子叫伯夷，三子叫叔齐。
孤竹君想立三子叔齐为继承人。等到孤竹君死后，叔齐不当国君而让位给长兄伯夷。伯夷对叔齐说：“让你继位是父亲的命令。”于是他出走了。叔齐也不肯当国君，也出走了。孤竹国只好让国君的次子继承君位。伯夷和叔齐都不肯当国君的政治原因是因为对商纣王的统治不满，不与之合作。当初，伯夷为逃避商纣王曾隐居于渤海之滨，以等待出现清明的政治。孟子曾说“伯夷，圣之清者也”。因此夷齐庙又称“清圣庙”。后来，听说周文王在西方强盛起来，伯夷高兴地对叔齐说：“我听说周文王是善于招贤纳士的人，我们何不归附到他那里去呢？”叔齐也说：“我也听说西方有个似乎是行人道的人，咱们试探着去看一下吧！”兄弟二人所敬仰的是实行禅让制的神农、虞夏时代，所以他们对周文王所施行的仁政倾心向往。二人经过一番商量，便长途跋涉来到现在陕西省歧山县东北的歧山之南。周武王听说伯夷、叔齐来见父亲文王，便派周公旦去迎接。周公旦与伯夷、叔齐见面后便盟誓说：“给你们二人加封的奉禄为二等，封与此相当的官位”。说完便用牲口的血涂在盟书上，埋在盟坛之下，向神表示忠信。伯夷、叔齐二人相视而笑，说：“嘻，奇怪，这不是我们所说的人道啊！”于是二人想躲避周武王。三人通过在路中所见所闻，已经了解到周武王正在制造舆论，争取民心凭借武力，准备灭亡商朝了。这使他们大失所望。当二人到达西周的时候，周文王早已去世，周武王已继位11年了。周武王用车载着他父亲周文王的棺材，号称周文王东行伐纣。伯夷牵信武王的马劝阻说：“你父亲死了，不去安葬，而动用武力去打仗，这能称得上是孝吗？你是纣王的臣子，以臣子身份无能为力征杀国君纣王，能称得上是仁吗？”周武王左右的人听了很生气，想杀死伯夷。周武王的谋士姜太公劝阻说：这是讲义的人，不能杀，便将伯夷扶走来，让他走了。等到周武王讨灭了商纣王，天下由周朝统一时，伯夷、叔齐二人以武王所做所为为耻辱，决定不吃周朝的粮食，归隐到首阳山上，采野菜为食。周武王听说他们二人都是不记旧怨前仇的人，就想求得他们的谅解，派人去请他们出山，并主动要把天下让给他们。可是他们二人仍不放弃“隐居来追求气节，做忠义的事来达到理想”，坚持不改变志向，拒绝了周武王的请求。有一天，他们二人正在山间采野菜充饥，碰到一位妇人对他们说：“你们为了坚守志节，不吃周朝的粮食，那你们现在采摘的野菜也是周朝土地上生长的草木啊!”二人从妇人的话中受到启示，于是绝食。绝食7天后快要死了，他们唱了一首歌，歌词说：“登上那首阳山啊，采食山上的野菜充饥。用暴虐代替暴虐啊，还不知道错在你自己。神农、虞舜、夏禹的盛世，忽然间都已消逝无迹，我们的归宿在哪里？哎呀，我们要死了，商朝的天命已经衰息。最终二人饿死在首阳山上。周武王很钦佩他们的气节，按将军的规格把他们二人安葬在首阳山下”。
伯夷、叔齐不食周粟饿死的气节曾受到许多人的称赞。孔子说：“人民到现在还称赞他们。”司马迁说：“让国饿死，天下人都称颂。”唐代宰相诗人韩愈曾作“伯夷颂”赞美二人。然而鲁迅却把二人作为道家表象加以批判和讽刺，以古讽今，针对当时中国一部分知识分子面对黑暗和国民党反动统治而逃避斗争，加以批判。毛泽东主席曾说：“韩愈写过《伯夷颂》，颂的是一个对自己国家的人民不负责任，开小差逃跑，又反对武王领导的当时的人民解放战争，颇有些‘民主个人主义’思想的伯夷，那是颂错了。”鲁迅和毛泽东主席的话无疑是正确的。但从中国文化总体上考察，伯夷、叔齐让国的故事，对形成谦恭、谦让、忠孝、廉洁、崇尚气节等民族传统还是有过重大作用的。后人为了纪念他们，在滦河东岸建一座夷齐庙。今卢龙、迁安仍流传着夷齐庙的栋梁是一根巨大鱼骨做的传说。