1961年，吴芝圃被降为河南省委第二书记，此前他担任河南省委第一书记。不久后，他又被调任中南局书记处书记，分管文教工作。
​​通知送到他手上时，吴芝圃正在省委办公楼里收拾抽屉。他把第一书记的印章用红布包好，放在桌子正中间，又把自己常用的那支钢笔插回笔筒。秘书站在门口，不知道该说什么。吴芝圃抬头看了他一眼：“新来的同志到了没有？到了就把这些交过去，别等我。”

秘书应了声刚要挪步，吴芝圃又指了指桌角摞得整整齐齐的笔记本：“这些也一并交过去，都是这两年跑各县摸的灾情和生产底数，新来的同志接手用得上。”

他脸上没什么多余表情，心里却翻涌得厉害。没人比他更清楚，这次职务调整，是中央给河南工作纠偏的信号。作为前两年主持全省工作的一把手，大跃进期间的高指标、浮夸风，还有因此给河南百姓带来的深重苦难，这个责任，他推不掉，也没想推。

前几年风潮最盛的时候，他不是没察觉到下面报的数字有水份，可大环境推着人往前冲，他自己也跟着头脑发热，产量越报越高，运动越搞越急。等到信阳等地的灾情彻底瞒不住，他亲眼看到村里的浮肿病人、荒芜的田地，心里像被针扎一样疼。从那时起他就打定主意，只要能把局面挽回来，自己受什么处分都认。

降为第二书记的那大半年，他比当第一书记的时候跑得还勤。重灾县、公社、生产大队，他一个一个走，抓粮食调运，抓生产自救，从前拍脑袋定的规矩，不合实际的就推翻重来。身边有人劝他，说已经不是一把手了，不用这么拼，他只摇摇头：“错是我犯下的，补窟窿的事我不能躲。”

调任中南局的通知来得不算突然。他收拾赴任的行李，除了几件换洗衣物，大半箱都是工作笔记和写了又改的检讨书。到广州上任后，分管文教战线，他照样沉下心干事。那几年中南几省的中小学调整复课、文化单位精简整编，桩桩件件他都盯到一线，没因为是降职安排就有半分松懈。

他还总把自己的教训摆到台面上。给中南局的干部讲理论学习课，他不照本宣科，总拿自己在河南的经历当反面例子，说干工作不能光凭一腔热情，脱离实际的瞎指挥，最后遭殃的都是普通老百姓。当时的中南局第一书记陶铸很看重他这股实诚劲儿，后来中央有意调他去北京工作，陶铸硬给留了下来，说吴芝圃理论功底深，又有实打实的教训，留在这培训干部最合适。

吴芝圃自己从没为职务高低抱怨过一句。晚年他常跟身边的工作人员念叨，自己这辈子为党为人民做过些有益的事，但犯的错误更重，最对不起的就是河南的父老乡亲。直到1967年在广州病逝，他留下的文字里，翻来覆去都是对当年工作失误的反思，没一句为自己开脱的话。

各位读者你们怎么看?欢迎在评论区讨论。