十一月，有异星出现在张六星旁。

刘想要进攻宛县，来到小长安聚，与甄阜、梁丘赐交战。当时天降浓雾，汉军大败。刘秀单骑逃走，遇到妹妹刘伯姬，与她共乘一匹马奔驰。向前行进，又遇到姐姐刘元，刘秀催促她上马，刘元挥手说：“快跑吧，你们无法救我，我们不能都死！”这时追兵赶到，刘元和她的三个女儿都被杀死。刘的弟弟刘仲和刘姓宗族同死的有几十人。

刘再次收拢兵众，退守棘阳。甄阜、梁丘赐乘胜把辎重留在蓝乡，率领精兵十万向南渡过潢淳水，临近沘水，在两条河之间扎营，断绝身后的桥梁，以示必死的决心。新市、平林两军见到汉军屡次战败，而甄阜、梁丘赐的军队要大举进攻，都想解散离去，刘十分担心。正逢下江兵五千多人抵达宜秋，刘立即带着刘秀和李通亲自到他们营中说：“我们希望见下江军的一位贤能的将领，来商议大事。”众人推举王常。刘见到王常，以联合作战的好处劝说他。王常深为省悟说：“王莽残酷暴虐，百姓思念汉朝。现在刘姓家族复兴，就是真正的天下共主。我确实想献身效命，辅佐成就大业。”刘说：“如果事业成功，我怎么敢独自享受呢！”于是他与王常结成很深的交情后离去。王常回来，把他的计划全部告知其他将领成丹、张卬。成丹、张卬仰仗自己强大的兵力说：“大丈夫既然起事，就应当自己做主人，为什么受别人的控制呢！”王常于是慢慢向他们分析说：“王莽苛刻残酷，接连丧失民心，民众歌唱吟咏怀念汉朝，已经不是一天的事情了，所以我们才能趁机起事。民众所怨恨的，就是上天要铲除的；民众所盼望的，就是上天要赐予的。做大事，一定要向下顺应民心，向上符合天意，大功才能成就。如果仰仗着强大和勇猛，感情用事为所欲为，即使得到天下，也一定会再失掉它。以秦朝、项羽的势力，尚且被消灭，何况是现在我们这些在荒野聚集起来的平民呢！如果也这样做，那是走向灭亡之道路。现在南阳刘姓家族起兵，我观察来和我们商议的这几个人，都有深谋远虑，是王公之才，与他们合作一定能成就大功，这是上天派来保佑我们的！”下江兵的众将领虽然倔强而缺少见识，然而向来尊敬王常，于是都道歉说：“如果没有王将军，我们几乎要陷于不义的境地了！”他们立即率军与汉军、新市兵、平林兵联合。于是各部同心协力，士气更加高昂。刘用丰盛的酒食犒赏军队，订立盟约，让士兵休整三天，把军队分为六部。十二月晦日，军队在夜里秘密行动，攻下蓝乡，把敌军的辎重全部缴获。