因为他对太子刘奭十分失望。
事情的起因是身为太子的刘奭向汉宣帝的一次进言。当时，汉宣帝以外儒内法的思想治国，刑罚较为严厉，而刘奭“柔仁好儒”，对父亲的做法不以为然。在一次陪父亲用膳时，他委婉地劝说道：“陛下持刑太深，宜用儒生。”
意思是说，陛下用刑太严苛了，应该多重用儒生，施行仁政。
太子这番“纯任德教”的建议，与汉宣帝奉行的治国之道完全背道而驰，因此遭到严厉驳斥。汉宣帝直接点明了汉朝立国的根本：“汉家自有制度，本以霸王道杂之，奈何纯任德教，用周政乎！且俗儒不达时宜，好是古非今，使人眩于名实，不知所守，何足委任？”
这番话的意思是：汉朝自有其制度，是德政与法治并用的，怎么能只靠德教，像周朝那样治国呢？况且那些俗儒不通晓时务，喜欢厚古薄今，只会让人分不清名与实，搞不清该坚守什么，这样的人怎能委以重任？
训斥完太子后，宣帝忧心忡忡地叹息：“乱我家者，太子也！”。他预见到，如果让这个过于理想化、崇尚儒术的儿子继承大统，很可能会败坏江山。
尽管汉宣帝看到了问题，但他并未废黜刘奭，因为太子是汉宣帝和发妻许平君所生，许平君早年被霍显毒害，汉宣帝对她怀有愧疚之情，不忍心废黜他们唯一的孩子。
汉宣帝在国之根本这件大事上也优柔寡断了一回，结果真的让汉帝国走向了衰落。
刘奭这个人，“好儒”并不是他的主要问题，他的主要问题是优柔寡断，耳根子特别软，别人说什么就是什么。这样的人不适合当皇帝，只适合去景区卖票，这样没钱的人说几句好话也能进景区游玩。
汉元帝登基后宠信宦官，导致皇权式微，他连自己的老师萧望之都保护不了，被宦官陷害服毒自杀，西汉也由此从“昭宣中兴”的强盛，开始滑向衰落的深渊。