胡广在宫中机要任职十年，出任济阴郡太守，以举荐官吏不实，遭免职。又担任汝南郡太守，后被召入朝廷，担任大司农。顺帝汉安元年，胡广升任司徒（丞相）。质帝驾崩，胡广代替李固担任太尉，兼领尚书职事。以定策拥立桓帝有功，受封为育阳县安乐乡侯。胡广以有病，奏请辞去职务。桓帝又拜胡广为司空（御史大夫），允许胡广以司空位退休，告老还乡。不久，桓帝以特进位征召胡广，拜为太常，升任太尉，因为日食，胡广被免去太尉。之后，胡广又担任太常，升任太尉。

桓帝延熹二年，大将军梁冀被杀，胡广与司徒韩演、司空孙朗在保卫宫殿时没有尽到责任，受到减死罪一等的处罚，被剥夺爵位、封土，贬为庶人。后来，桓帝又拜胡广为太中大夫、太常。延熹九年，桓帝拜胡广为司徒。

灵帝即位，胡广与太傅陈蕃一起，兼领尚书职事，恢复原来的封邑。胡广以有病，请求退休。此时，陈蕃被杀，灵帝诏令胡广代替陈蕃，担任太傅，兼领尚书职事。

当时，胡广已经八十岁，依然精神矍铄。继母还在世，胡广早晚间向继母问候起居，手中不握拐杖，口中不言年迈。及至继母去世，胡广在服孝期间，极尽哀伤，一应礼仪，毫无欠缺。胡广性情温和，做事谨慎，为人谦逊，待人恭敬有礼，遇事练达，掌握分寸，对朝廷的典章制度，了然于胸。虽然胡广没有凛然正气，却对施政中的过失多有补救。京师人传言：“万事不理问伯始，天下中庸有胡公。”胡广与李固一起定策拥立桓帝，没有坚持原则，胡广还与中常侍丁肃结为姻亲，因为这些事情，受到当时人非议。

胡广在三公位上三十余年，服侍过六位皇帝，受到皇帝信任，得到的赏赐非常丰厚，每次以有病请辞职位，退休还乡，不到一年，就又被皇帝召回京师，恢复或升任职务。胡广一生中，一次担任司空，两次担任司徒，三次担任太尉，还担任过太傅。胡广推荐的人才，都是天下名士。胡广与原太傅陈蕃、李咸并称三司，每次朝会，陈蕃等都会称病，以回避胡广，当时人以此赞美胡广。胡广享年八十二岁，灵帝熹平元年在任上去世。灵帝派五官中郎将持符节，带着皇帝的策书，赏赐胡广太傅、安乐乡侯印绶，赐予东园制造的棺椁，由宫中谒者护理丧事，在原陵，赏赐胡广墓地，谥号为文恭侯，灵帝拜胡广族中一人为郎中。胡广的旧属，从朝中公、卿、大夫、博士到议郎以下，有数百人穿着缞绖丧服参加葬礼，直至入土安葬。东汉建武以来，人臣受到的礼遇，还没有人超过胡广。

西汉年间，杨雄依据《虞箴》，撰写《十二州二十五官箴》，其中有九箴已经缺失。后来，涿郡人崔骃与儿子崔瑗、临邑侯刘 ，增补十六篇，胡广续作四篇，文辞典雅。之后，胡广又编写篇目，做注解，名曰《百官箴》，共计四十八篇。胡广著有诗、赋、铭、颂、箴、吊及为古文训诂等文章，留存有二十二篇。

熹平六年，灵帝追思胡广，赞赏胡广品行嘉美，诏命画工画出胡广及太尉黄琼的图像，悬挂在宫中。灵帝又诏令议郎蔡邕为图像撰写颂辞。以下补录蔡邕的辞颂：

“岩岩山岳，配天作辅。降神有周，生申及甫。允兹汉室，诞育二后。曰胡曰黄，方轨齐武。惟道之渊，惟德之薮。股肱元首，代作心膂。天之烝人，有则有类。我胡我黄，钟厥纯懿。巍巍特进，仍践其位。赫赫三事，七佩其绂。奕奕四牡，沃若文辔。衮职龙章，其文有蔚。参曜干台，穷宠极贵。功加八荒，髃生以遂。超哉邈乎，莫与为二！”

评论如下：封赏爵位，任命职务，是朝廷用人的大事，犹如生死对人生是一件大事。得到官位俸禄，希望保持下去，是出仕为官的学子时时关心之事。按照能力授予官职，是学子得以出仕做官的常例。受到物质诱惑，并非本人意愿；坚持正道直行，又会违背世俗；回避艰难，背弃义理；丧失操守，失去道义。总而言之，选择平坦的道路，较容易成功，踏上险途，则容易颠覆。古人对于接受官职非常慎重，在岔路口会犹疑不决。如果志向和行为与利益毫无瓜葛，面临人生选择，不考虑生死去就，后人又有何谴责？

古人以安逸为训，难道说的是以上诸公？赞辞如下：邓、张作傅，无咎无誉。敏正疑律，防议章句。胡公庸庸，饰情恭貌。朝章虽理，据正或桡。