就在第10集团军全线激战，殊死搏斗之际，第29集团军却正踏入杀阵。在第3师团渡江全力进犯后，第116师团也用一部兵力在水面机动，在滨湖区多点突破。第44军多面受敌，阵线支离破碎。
第29集团军在日军调转主攻方向后转入守势，但因部队原先已经与日军纠缠交错，所以在日军骤然加强兵力后的进攻下立即被突破。孙连仲司令长官赶紧电令第29集团军暂时放弃滨湖区，撤守石门至澧县间之澧水防线。王缵绪总司令部署集团军向澧水方面转进集结，以第44军驻守澧县及各渡口，第73军主力据守石门。
王缵绪总司令与王敬久总司令在治兵及指挥作战上高下立判。王敬久带领的是第10集团军，在鄂西会战时，由于张昊在常德北侧把日军打得落花流水，日军第3师团与第13师团没有能够合兵一处围攻第10集团军，所以参加常德保卫战时，第10集团军保持着完整建制与战斗力。但是第10集团军这次面对三个日军师团的强攻，第10集团军并没有出现混乱局面，而是因势利导，采取灵活机变方式，与日军周旋，顽强顶住了日军的强攻，使日军不得前进一步。
反观29集团军在鄂西会战时，就被日军打残一个军，这次在熟悉地点，早就建构好了防御工事的情况下，被日军攻打后，立即失去了信心。不仅不动脑子进行反击，而且还试图把嫡系撤下，保存实力，导致战局全面被动。
1943年11月13日，王缵绪总司令以第44军久战疲乏，扩张解释孙连仲司令长官先前给他的相机撤退命令，率领其嫡系第44军部撤过澧水。却命令非嫡系第73军撤往石门坚守，73军孤军作战，有全军被日军歼灭危险。
第73军汪之斌军长匆匆率部撤到石门后，大吃一惊。这个湘西防务的中枢，居然没有象样的防御工事，统帅部电令中的“国防工事”，只是一条20公里多的散兵壕。而此时第44军逃过澧水，更使石门侧翼依托尽失，成为无险可守的绝境。73军汪之斌军长只好下令抢挖野战工事，背对澧水急忙布防，作无望之斗。以暂5师坚守石门，第77师与第15师则在外围展开，阻击野战。日军以两个完整师团集中于石门一隅，第73军抵挡不住，被日军打得千疮百孔。
14日，日军对石门发动总攻，除正面强攻外，并以一部经第44军原防线越过澧水，抄绝第73军退路，石门右翼被突破，战况危急。此时统帅部慌了手脚，军令部次长刘斐不与第6战区沟通，越过第6战区，直接电告王缵绪总司令，准许第73军突围。14日晚间，汪之斌军长率部开始渡过澧水撤出石门，留下暂5师死守石门，掩护全军渡河，但此时日军已经绕攻到石门后方，所以第73军在涉水突围时遭到日军截击，一片混乱，建制被打散，两个师全都失去掌握，各自分散夺路突围。汪之斌军长率领军部退往慈利，收容部队。
15日黄昏，暂编第5师最后撤出石门，日军已经在澧水对岸严阵以待。暂5师在渡河时立即遭到围攻，师部被截击，部队大乱，彭士量师长亲自指挥残部奋力冲突，在南岩门口被日军飞机扫射击中，壮烈殉国，暂5师在撤退中伤亡殆尽，成为悲剧。
石门方面的作战失利，其实只要第6战区能贯彻原定作战方针，就可以避免。统帅部瞎指挥有责任，王缵绪在指挥上的责任更大。
《孙子》计篇说：“将者，智、信、仁、勇、严也。”要求将领必须具备多谋善断，赏罚有信，爱护士卒，英勇果敢，明法审令等品质。后人称之为“五德”。《孙子》九变篇中又指出，“将有五危，必死可杀，必生可虏，忿速可侮，廉洁可辱，爱民可烦。凡此五者将之过也，用兵之灾也。”
王缵绪之为将至少在常德保卫战这一仗中，犯下的过错很大。
石门失守之后，第29集团军虽竭力抵抗，但日军以第3师团为主力，冲过石门缺口，横渡澧水，直扑第29集团军侧翼。第44军的第150师防线被冲得支离破碎，第161师则被节节击退。为避免被切散。王缵绪总司令轻易放弃澧水门户，意图自保，但覆巢之下，第44军首当其冲，自食恶果。王泽浚军长在战线过长，突破口过多的情况下，无从坚持防线，抵挡不住，只好后撤。而第73军已经脱离主战场，此时奉令急开慈利重整布防。
17日，日军在打开石门缺口之后，大胆突进，在洞庭湖滨待命达半个月之久的攻城“奇兵”第116师团以一部由陆路协同第3师团打开出路，确定可以在常德会师之后，立即全师渡过洞庭湖。此时横山勇以第39师团牵制第10集团军，第3师团与第13师团为正面攻击主力，加上独立混成第17旅团及第58师团一部，齐头并进，直取慈利，第116师团则自湖面侧击第44军右翼。第68师团水运直取汉寿，直接在常德侧翼登陆。
此时在整体态势上，国军第一线兵团防线已遭突破，不仅第29集团军全军已经淹没在日军三个主力兵团的洪流之中，第10集团军与逼近慈利的第74军也因侧翼曝露而处境危殆，除了与第10集团军正面胶持的第39师团之外，第116师团也已顺利登陆，随时可以窜入国军腹地。日军只要集中主力，钻隙蹈瑕，要重创在平原上已被切散的国军野战军，并非难事。
慈利失守后，第13师团马不停蹄向南猛进，久未露脸的第68师团也被证实已经从三仙湖越过湖面，在常德东南的汉寿登陆。第10集团军当面的第39师团则显出守势，似乎满足于掩护南路攻击部队的侧翼。最明显的则是第116师团，这个师团在第3师团攻陷澧县之后，立即由澧县渡过澧水，笔直地向常德狂奔，局面豁然开朗。
渡过澧水之后，第11军抓紧机会，甩开北面勇猛善战的第10集团军，猛烈攻击第44军，希望在王耀武的第100军与第74军赶到之前越过沅江，一鼓作气拿下常德。此时原定水上机动的第116师团已经完全登陆，3个联队兵分三路，尾追第44军，直指陬县、临澧。穿过这个缺口，就到了常德。横山勇在右翼使用第3师团与第13师团，抵御第74军的进援部队及第44军的残部，左翼第68师团则于安乡登船，直趋汉寿，构成常德南面的包围圈。为了及早赶到常德，第11军甚至在桃源用上了伞兵。21日傍晚，日军在桃源猛烈轰炸，随后空投近一个中队的伞兵，当地驻防的第44军独立团没见过这种阵仗，日军并辅以一个步骑混成的旅团钻隙向桃源突进，第44军独立团势单力薄，不支后逃。于是第3师团主力与第116师团第109联队乃得以排山倒海之势，猛扑主力在陬市的第150师。
常德成为孤城，只有余程万57师在驻防。