灵帝建宁二年，灵帝下诏，派谒者冯禅前去招降汉阳郡小股羌寇。段颎认为，正是春耕农忙时节，百姓布满山野，即使有羌人投降，朝廷也拿不出多余的粮食抚恤。这些羌人，早晚间还会沦为贼寇。不如乘羌人虚弱之际，乘势予以重击，彻底平定羌乱。当年夏天，段颎拔营进军，距离羌人聚集的凡亭山四五十里，派出田晏、夏育率领五千人，占领山顶。羌人倾尽全力来攻，高声喊道：“田晏、夏育在吗？湟中县的归义羌人现在何处？今天要决一死战。”汉军战士看到羌寇来势汹汹，心中恐慌。田晏等激励战士，与羌人殊死大战，终于击退羌寇。羌寇崩溃，向东逃窜。之后，在射虎谷重新聚集，分兵把守各个谷口上下门户。段颎下定决心，在此地一举歼灭叛羌，不再让羌人有逃跑的机会。段颎派出一千人，在西县伐木，编造栅栏，宽二十步，长四十里，用以防止羌人逃窜。又派遣田晏、夏育等，率领七千汉军，口中衔枚，趁夜色登上西山，扎下营寨。汉军挖掘堑壕，距离叛羌有一里左右。段颎又派遣司马张恺等，率领三千汉军，登上东山。羌寇察觉，奋力攻打田晏等，阻断汲水的道路。段颎亲自率领步骑沿着河岸进攻，羌寇败走。段颎与张恺等，控制东西二山，遥相呼应，纵兵猛攻羌寇，羌寇逃散。段颎穷追猛打，在深山峡谷中，一直追至射虎谷上下山的通道。汉军沿途不断击败羌人，斩杀羌人君长以下一万九千人，缴获马牛驴骡、毡裘庐帐，各种物资不计其数。冯禅等招降四千羌人，将他们安置在安定郡、汉阳郡、陇西郡。东羌平定下来。

在平定羌人叛乱中，段颎一共参与战事一百八十次，斩杀三万八千六百余人，缴获马、牛、羊驴骡骆驼共计四十二万七千五百余头，所花费军资，共计四十四亿，汉军战死者，有四百余人。灵帝封段颎为新丰县侯，享受食邑一万户。在行军作战时，段颎爱惜士卒，每当士卒有患病者，段颎一定会亲自探视，亲手为受伤的士卒包裹创伤。在边郡十余年，段颎没有一日在床上睡过安稳觉，与将士们同甘共苦。因此，将士们也愿意效力，效命于沙场。

灵帝建宁三年春天，朝廷征召段颎。段颎率领秦地胡人步骑五万余人，骑着西域送来的汗血宝马，带着一万余俘虏，返回京师。灵帝下诏，派大鸿胪持符节，在镐城慰问段颎。大军抵达京师，灵帝拜段颎为侍中，后转任执金吾、河南郡大尹。有贼寇盗挖冯贵人的墓冢，因为在段颎管辖的地域，段颎获罪，被贬为谏议大夫，后又转任司隶校尉。

段颎阿谀逢迎宫中宦官，得以保住富贵。之后，段颎又勾结中常侍王甫，诬陷中常侍郑飒、董腾等，导致郑飒、董腾等人被杀。灵帝增加段颎食邑四千户，加上此前受封的食邑，共计有一万四千户。

第二年，段颎代替李咸担任太尉。当年冬天，段颎患病，被免去太尉，又担任司隶校尉。几年后，段颎改任颍川郡太守，受朝廷征召，拜为太中大夫。

灵帝光和二年，段颎代替桥玄，担任太尉。在位一个月，碰上日食，段颎自我弹劾，有关官员同时弹劾，灵帝下诏，收回段颎的太尉印绶，交予廷尉署治罪。当时，司隶校尉阳球弹劾王甫，王甫被杀，牵连到段颎。在狱中，段颎受到严刑拷打，饮鸩酒自杀。家属被流放至边郡。中常侍吕强上疏，为段颎鸣冤，说段颎立有军功。灵帝下诏，让段颎的妻子儿女返回原籍。

段颎（字纪明）与皇甫威明、张然明，均为当时人称颂的东汉名将，名声显赫，京师人称三人为“凉州三明”。

赞辞如下：山西多猛，“三明”俪踪。戎骖纠结，尘斥河、潼。规、奂审策，亟遏嚣凶。文会志比，更相为容。段追两狄，束马悬锋。纷纭腾突，谷静山空。