1941年，在明斯克战役、斯摩棱斯克战役、基辅战役和布良斯克-维亚兹马战役等东部战线的几次大规模包围战中，古德里安都出现过。古德里安和他的第二装甲集群功不可没。没有装甲部队迅速突破和渗透到苏军后方，切断苏军的退路并封闭包围圈，德军不可能包围和歼灭数百万苏联军队。单就这些成功的大规模包围战而言，古德里安就已经拥有封帅的资格。
然而，1941年的战争不仅未能提拔古德里安，反而被降级并调任预备役，失去了对军队的指挥权。古德里安被降级而不是升职，理由是希特勒必须让一些人为莫斯科战役的失败来“买单”，而这些人就正是一开始坚持进攻莫斯科的那些人，其中就有古德里安。为了说服希特勒进攻莫斯科而不是南部的基辅，古德里安专门从前线赶回来寻找希特勒本人，劝他改变主意，但是最终失败。在希特勒眼中，古德里安是“莫斯科”的坚定派系，与布劳西奇、博克同属一派，古德里安就这么失去了希特勒的信任。
随后，在冬季的苏军反攻中，古德里安与希特勒就德军撤退发生了严重的冲突。新上任的中央军元帅克鲁格与古德里安的关系也很差，最终古德里安被解除职务，这次解职彻底结束了他作为前线指挥官的职业生涯。这位最著名的装甲将军整整一年都没有活动。等到再度复出担任装甲兵总监的时候已经是1943年。而古德里安的职务只是负责训练以及重组装甲师，他不能出兵指挥作战，没有军事功绩的的的脸，很难再有晋升的机会。
当古德里安成为东线陆军的总参谋长时，东线的战局已是不可逆转，希特勒也将唯一的装甲预备队转移到了西线。古德里安这个总参谋长其实就是有名无实的虚职罢了。鉴于前线军情每况愈下，再加上德军军官暗杀希特勒，希特勒不可能再提拔任何人为元帅了。古德里安还再担任参谋长一职的时候也与希特勒相处的不愉快，时而发生非常激烈的争执，双方之间都缺乏必要的信任。