熊文燦還是有些頭腦的，他命令徐之龍不要貿然救援英德，防止半途被闖軍伏擊。他一面通知廣西巡撫鄭茂華，從賀縣、懷集由陸路向連州運糧，一面讓廣東總兵陳謙、游擊陳鵬集結廣州、肇慶的兵馬，收復英德縣。
廣東明軍大舉在三水集結，準備沿北江北上英德。熊文燦知道此事嚴重，集結的官軍多達上萬，規模快要趕上澄邁會戰了。王瑾在湖廣還有大仗要打，不能在這裡和陳謙硬碰硬，他只留下劉文炳虛守英德，自己帶著主力悄然北上。
直到明軍的主力抵達北江和湟水交匯處的洸口，重新打通了和徐之龍部的聯繫，劉文炳才逃之夭夭。一支幾百人的小隊伍，逃走之後明軍自然沒地方去找他們，陳謙沿著水路一路北上，將被闖軍占領過的府縣全部「收復」，上報大捷不提。
經過了這一番折騰，廣東藩庫的經費大量消耗，讓熊文燦自掏腰包他又不認頭。廣東明軍士氣大衰，連州瑤變更熾，廣東明軍暫時無力再出兵湖廣了。熊文燦命令陳謙、陳鵬和徐之龍會合，先將瑤變徹底鎮壓下去。
廣東方面的威脅暫時解除，但王瑾剛一返回郴州，就得知了一個壞消息：劉弘才和郝尚久被打敗了。
楊嗣昌的兵力雖強，但是追不上闖軍，終歸無用，這事自然不是他幹的，劉弘才和郝尚久是遭到了祖寬的突襲。關寧軍抵達武昌之後，領了軍餉，乘船而進，速度極快，比王瑾預計的時間更早地抵達了衡州。
劉弘才和郝尚久並不是在毫無防備的情況下被襲擊的，他們見明軍來了援兵，一開始打算轉移，只是慢了一步，轉移途中發現明軍速度太快，只能改為就地抵抗。他們只有區區兩千人，又怎是祖寬的對手。祖寬僅以一千兵馬就擊潰了闖軍。劉郝二將各自帶傷，跑出幾十里之後收攏殘兵，僅餘半數。
祖大樂和祖寬的部隊配屬了一批方孔炤轄下的湖廣步兵和銃炮部隊，總兵力超過五千。初戰告捷，僅損失百餘人，就打垮了困擾楊嗣昌許久的闖軍，關寧諸將極為得意，當即投入了對衡州城的攻擊當中。可這一次，他們吃了癟。
關寧軍的第一波攻擊十分猛惡，有之前湖廣明軍攻城的經驗，他們很清楚城防的薄弱環節，直接攻上了城頭，連孟長庚都被打傷了。可是當守軍拼死堵住缺口之後，關寧兵便生動形象地展示了什麼叫「一鼓作氣，再而衰，三而竭」。攻擊一次比一次無力，最終無功而返。
楊嗣昌也並非真正的無能之輩，做督師是為難他，做個巡撫的本領他還是有的。這段時間他已經嘗試了各種攻城辦法，但衡州城一直巋然不動。
闖軍發了不少抄家財，手上金銀財寶很多，又借明軍的威名讓城內士紳出了些錢糧，對守城士兵的犒賞很大方。再加上糧道未絕，積儲豐沛，由田虎這種水平的主將帶著孟長庚、吉慶玉、孫可望等經驗豐富的闖軍骨幹守城，不要說楊嗣昌，就是皇太極來了也沒那麼容易破城。
湖廣明軍沒有攻城重炮，這讓已經習慣了有紅夷大炮配合的關寧軍很不適應，也不願再用人命去往城牆上填。楊嗣昌已經讓熊文燦從廣東調運紅夷大炮來，但是從廣東到湖廣的交通線遲遲沒有打通。
鑑於這種情況，楊嗣昌決定自己帶著羅安邦、楊世忠繼續圍困衡州，由陳上才部引導關寧軍先去攻打衡州，打通與廣東的聯繫。
祖大樂和祖寬沒有意見，王瑾的主力也不過幾千人，和王瑾決戰可比強攻衡州這樣的堅城容易得多。在衡州大營休整一段時間之後，祖大樂、祖寬、陳上才所部官軍約六千人南下郴州。
郴州不能再守了，留的人少了，抵擋不住如此之多的明軍，留的人多了，主力被盡數牽制在此，死守就成了守死。黃色俊、劉文煌、劉新宇、閻可義、李荊楚等人都主張在郴州城外設伏打擊明軍，如果在北方，這種思路是非常正確的，而現在湖廣闖軍只此一支機動兵力，不要說吃敗仗，就是大一些的傷亡也是難以承受的。
以少量老兵組織大量民兵的模式可以伏擊湖廣本地部隊，但用來伏擊關寧軍恐怕會被反殺。如果老兵投入得太多，闖軍又損失不起。祖大樂和祖寬都是王瑾的熟人，他們是不會輕敵的。就算闖軍伏擊得手，也沒有一口氣將這支敵人全部殲滅的實力，雖然能殺傷不少敵人，自己也會付出很大的代價。湖南饑民雖多，卻難以迅速形成戰鬥力，不像北方那樣有大量的資深流寇可以迅速以老帶新。
王瑾決定撤到一個更有利的地形再抵抗，他自己帶著主力部隊向倉禾堡轉移，讓黃色俊、劉新宇去接應劉弘才和郝尚久，到倉禾堡會齊。劉文煌則留在郴州等待劉文炳從回來，接上劉文炳之後立刻撤回井岡山。劉文煌和劉文炳關係向來不錯，這兩位看名字簡直就是親哥倆。
明軍占領郴州之後，根本沒理會退向井岡山的隊伍，直奔倉禾堡而來，根據他們掌握的情報，這裡是流寇的老巢，流寇的主力、家眷和戰利品都在這裡。
祖大樂和祖寬殺向倉禾堡，陳上才則被派來進攻香花嶺，守衛香花嶺的是閻可義、劉新宇、郭子奴指揮的大約兩千闖軍。
這一戰闖軍大量動員民兵補充部隊，又是保衛家園，又是在山地據險防守，民兵也能和關寧軍對抗。香花嶺礦工起義最早，和官府仇怨最深，知道失敗之後一定被報復，抵抗意志非常堅決。王瑾迅速將部下的十一個大隊每個都擴充到近千人，總兵力過萬。這樣的軍隊不能拉出去決戰，卻足以堅守已經被修成了堡壘的倉禾堡和香花嶺。
由於地形複雜，明軍不熟悉地形，人數也少，不可能完全封鎖，所以就算打輸了，部隊也可以轉移，不會像在郴州那樣，一旦城破就是全軍覆沒。
陳上才過去鎮壓過小規模的礦工暴動，並未把香花嶺守軍放在眼裡。然而他的第一次攻擊被輕易打退了，他這才意識到，守衛礦山的是真正的流寇，而不是一般的亂民。
閻可義是經驗豐富的軍官，劉新宇的成長也很快，充任軍官的又都是闖軍老兵。在他們的組織下，原本就比一般農民更有紀律的礦工，已經成為了一支可以和明軍正面對壘的力量。