公元1141年，岳飞遇难。韩世忠立刻交出兵权，闭门谢客，从此不再谈及军事，也不和旧部有任何联系。从此，他就在杭州，在赵构的眼皮子底下隐居了，经常骑着一只小毛驴，号称“清凉居士”，带着一两个童子，在杭州附近的山水间流浪。
韩世忠心里清楚，赵构留着他这条命，不是念旧情，是拿他当个活招牌给天下人看。岳飞死了，韩世忠还活着，还活得挺自在，这就叫皇恩浩荡。所以他每天出门，路线都差不多，灵隐寺、飞来峰、九里松，转一圈就回。毛驴走得慢，他从不催，嘴里也不哼曲，就眯着眼看山看水。两个童子，一个叫韩安，一个叫韩平，都是跟了他十几年的亲兵，嘴严，手也稳。三个人出门，带的不过一壶水、几块饼，连把防身的短刀都不带。韩世忠知道，他越是像个废人，赵构就越放心。
有一回，他在灵隐寺后山碰见几个书生，围在冷泉亭边上议论朝政。一个说岳飞死得冤，一个说秦桧误国，声音不小。韩世忠牵着驴从旁边过，听见了，连眼皮都没抬一下。韩安忍不住，攥了攥拳头，韩世忠拿手里的竹杖在他背上轻轻敲了一下。韩安松了手。三个人就这么走过去了。走出半里地，韩世忠才说了一句：“嘴是别人的，命是自己的。”韩安点头，再没吭声。
日子就这么过了大半年。杭州城里认识韩世忠的人不多，他穿一身灰布袍子，头戴方巾，跟个乡下老财主没什么两样。偶尔有旧部远远认出来，也不敢上前，只拱拱手就避开。韩世忠要的就是这个。可他不找事，事却来找他。
那年秋天，韩世忠带着两个童子去天竺寺上香。回来的路上，经过一片竹林，听见里头有人喊救命。韩安先站住了，回头看韩世忠。韩世忠从驴背上下来，把缰绳递给韩平，自己往竹林里走了几步。就看见三个壮汉围着一个中年妇人，那妇人怀里抱着个包袱，衣服扯破了，嘴角带血。三个壮汉一看有人来，其中一个满脸横肉的拔出一把短刀，冲韩世忠晃了晃：“老东西，滚远点。”
韩世忠没动。他看了看那妇人，又看了看那三个人，问了一句：“你们是哪营的？”
三个人一愣。满脸横肉的那个说：“什么哪营的？你少管闲事。”
韩世忠说：“你们手上拿刀的架势，是刘光世旧部的路子。刘家军散了以后，你们没去投张俊，也没去投杨沂中，跑到杭州来劫道。你们是觉得杭州没人认得你们？”
三个人脸色变了。满脸横肉的那个往前走了一步，刀尖对着韩世忠：“你到底是什么人？”
韩世忠没理他，转头对韩安说：“把牌子给他们看看。”
韩安从怀里摸出一块铜牌，扔在地上。满脸横肉的那个捡起来一看，手就开始抖。牌子上就四个字：韩府亲卫。他抬头再看韩世忠，扑通一声跪下了。另外两个也跟着跪了。韩世忠看着他们，说：“刘光世当年带兵，虽然不怎么样，也没教你们劫掠百姓。你们倒好，跑到天子脚下来撒野。”
三个人磕头如捣蒜，说是因为裁军没了粮饷，家里老小饿得不行，才走了这条路。韩世忠没骂他们，只说：“把刀留下，滚。再让我在杭州看见你们，就不是跪一下能了的事。”三个人连滚带爬跑了。
那妇人过来道谢，韩世忠摆摆手，让她赶紧走。韩安捡回铜牌，低声问：“老爷，这事要不要跟临安府打个招呼？”韩世忠摇头：“你当临安府不知道？他们知道，只是懒得管。刘光世的人，张俊的人，杨沂中的人，散在杭州城里的没有一千也有八百。只要不出人命，府衙就装瞎。”
韩安不说话了。韩世忠骑上驴，继续往回走。可这事没完。
过了三天，韩世忠正在院子里晒书，院门外来了两个人。一个穿着绿袍，是临安府的通判，姓吴。另一个穿着便服，但韩世忠一眼就认出来，那是赵构身边的御前走马承受，姓何。韩世忠把书放下，让韩安看茶。吴通判先开口，说天竺寺那边的事，府衙已经知道了，三个逃兵也抓到了，请韩世忠放心。韩世忠说：“我一个老百姓，有什么不放心的。”吴通判笑了笑，没接话。何承受一直没开口，临走的时候才说了一句：“官家让我带句话，清凉居士在杭州住得惯，就多住些日子。西湖的鱼，比淮河的鱼肥。”
韩世忠拱拱手，说：“替我谢官家。西湖的鱼确实肥，就是刺多。”
何承受走了以后，韩世忠在院子里站了很久。韩安问：“老爷，官家这话是什么意思？”韩世忠说：“意思是，他知道我见过那三个逃兵了。他在告诉我，杭州城里什么事都瞒不过他。也是在告诉我，只要我老老实实骑着驴看山水，他就让我在西湖边上吃鱼吃到死。”
韩安说：“那咱们以后还出门吗？”
韩世忠笑了，那是他大半年来第一次笑：“出门。为什么不出门？明天去钱塘江边上看潮。你多带两块饼，江边风大，容易饿。”
第二天一早，韩世忠又骑着那头小毛驴出了门。毛驴脖子上挂了个铃铛，走起来叮叮当当响。韩世忠坐在驴背上，眯着眼，嘴里哼了两句秦少游的词，声音不大，哼到一半就停了。韩安跟在后面，看见韩世忠从怀里摸出那块铜牌，在手里掂了掂，然后一扬手，扔进了路边的水塘里。铜牌落水，扑通一声，连个水花都没溅起来。韩世忠没回头，毛驴也没停，叮叮当当继续往前走。