光武帝亲自来到严光居住的馆舍，严光睡着不起来，光武帝就进了他的卧室，摸着严光的腹部说:“唉呀，子陵，就不能出来帮着我治理天下吗?”严光又假装睡着不讲话了，过了好一会儿，才睁开眼睛，看了好一会儿，说:“过去唐尧那样显著的品德，巢父、许由那样的人听说要授给官职，尚且跑到溪边去洗耳朵。读书人本各有志，何以要到强迫人家做官的地步?”光武帝说:“子陵，我贵为天子，难道还不能让你做出让步?”于是便上车，叹息着离开了。

后来，光武帝又请严光到宫里去，谈说过去的交往1旧事，两人在一起相处好多天。他们同吃同住，很多大臣内侍都进谏光武帝，说严光过于器张，不知礼节。但严光自己却毫不在乎。有一次光武帝随意地问严光:“我比过去怎么样?”严光回答说:“陛下和过去比仅仅有那么一点点进步而已。”说完话便睡倒了。严光和皇帝相处，还是像对待昔日的故人一样，丝毫没有看重他的赫赫地位，睡熟了便把脚压在光武帝的肚子上。第二天，太史奏告，有客星冲犯了帝座。光武帝笑着说:“我的老朋友严子陵与我睡在一起罢了。”光武帝想授予严光谏议大夫的职务，但他坚决不肯屈意接受，而后，又回到了隐居的地方，在富春山过着耕种生活，后人把他垂钓的地方命名为严陵濑。

很多人挤破脑袋想得一功名，就像《儒林外史》中的周进、范进一样，在功名面前悲伤得要死，高兴得发疯。其实这是不知名利为虚，而生命为本的道理，因为虚名而害身伤性，实乃本末倒置。谈泊名利，完全将荣辱权位视如无物的人才是真正的智者。