汉孝文帝即位以后，认为太尉周勃亲自率兵诛灭吕氏宗族，功劳最大；陈平打算把右丞相的尊位让给周勃，于是以生病为由请求辞官。孝文帝刚刚即位，觉得陈平病得很奇怪，便询问原因。陈平说：“高祖在位之时，周勃的功劳比不上我。到了诛灭吕氏宗族的时候，我的功劳就比不上他了。我愿意将右丞相之位让给周勃。”于是孝文帝任命绛侯周勃为右丞相，位次列在第一位；陈平则调任左丞相，位次列在第二位。孝文帝又赏给陈平黄金千斤，增加食邑三千户。

过了不久，孝文帝就对国家大事颇为熟悉了，在上朝的时候询问右丞相周勃：“全国一年判决的案件有多少起？”周勃谢罪说：“我不知道。”孝文帝又问：“全国一年的钱粮收支又有多少？”周勃又谢罪说自己不知道，急得汗流浃背，惭愧得不能作答。于是皇上又用同样的问题问左丞相陈平。陈平答道：“有主管人负责。”皇上问：“主管人是谁？”陈平说：“陛下如果想问刑狱的事，可以向廷尉询问；如果想问钱粮的事，可以向治粟内史询问。”皇上说：“如果每件事都有各自的主管人，那么你主管的又是什么呢？”陈平谢罪说：“微臣诚惶诚恐！陛下不知道我才能低下，让我勉强占据宰相之位。作为宰相，对上要辅佐天子，调理阴阳，顺应四时，对下则要抚育万物，使其适时生长，对外要镇抚四夷与诸侯，对内则要亲附百姓，使朝中的公卿大夫都能胜任自己的职责。”孝文帝听了以后便连连称赞。右丞相周勃感到十分惭愧，退朝以后责备陈平说：“平时你怎么不教我回答这样的问题！”陈平笑道：“你身居右丞相的职位，难道不知道自己的职责吗？况且陛下询问长安城内盗贼的数量，你也打算勉强回答吗？”于是周勃知道自己的才能与陈平相比差得太远了。不久以后，绛侯周勃称病，请求辞去右丞相之职，陈平便专任丞相之职。

孝文帝二年（前178年），丞相陈平逝世，谥号为献侯。他的儿子共侯陈买继承了侯位。陈买在位二年便去世了，他的儿子简侯陈恢继承了侯位。陈恢在位二十三年去世，他的儿子陈何继承侯位。陈何在位二十三年，由于霸占他人妻子而犯法，被判处死刑，其封国也被废除。

当初陈平曾经说过：“我经常使用阴谋诡计，而这正是道家所禁忌的。我的后人如果被废黜，那也就彻底完了，最终不会再度兴起，这是因为我使用阴谋诡计积祸太多的缘故。”尽管后来他的曾孙陈掌依靠与卫氏的亲戚关系而身居显贵的地位，希望继承陈氏原来的封号，但始终没有实现。

太史公说：丞相陈平年轻的时候，就非常喜好黄帝、老子的学说。当年他在砧板上为乡里分割祭肉的时候，其志向就已经非常远大了。后来，他在楚、魏之间徘徊，最终归附高帝。他经常使出奇谋妙计，解救纷繁复杂的危难，消除国家的祸患。到了吕后执政时期，形势多有变故，但陈平还是能够自免于祸患，并且安定汉室，终生保持荣耀的名声，号称贤相，这难道不是善始善终吗！若非足智多谋，有谁能够做到这一点呢？