胡琏与粟裕的第一次真正照面，是在1946年底的宿北战役。
当时国民党徐州"绥署"副主任吴奇伟指挥胡琏的整编第十一师和戴之奇的整编第六十九师共六个半旅，从宿迁向新安镇、沭阳进攻。
胡琏通过情报分析，判断山东共军极有可能南下与华中会合，届时共军将有十余万之众，应当小心面对。他把想法告诉戴之奇，戴之奇却嘲笑他："你顾虑太甚，多疑岂能决断？那陈毅怎么敢不顾自己老巢南下？"
结果戴之奇轻敌冒进，一头钻进粟裕布下的包围圈。危难之际，戴之奇向胡琏呼救，两部其实只相距一公里多，但胡琏一方面担心有埋伏，另一方面也怪戴之奇自作自受，只派出少量部队象征性救援。
孤立的整编第六十九师不久被全歼，戴之奇举枪自尽。
这一仗，胡琏见识了粟裕的胃口和手段，也埋下了"恐粟"的种子。

1947年5月，孟良崮战役打响。与胡琏同为黄埔四期学员的张灵甫，率领国民党"五大主力"之首的整编第七十四师，被粟裕指挥的华东野战军全歼于孟良崮。张灵甫战死，胡琏在不远处目睹了这一切。张灵甫死后，同在山东战场的胡琏感觉到了巨大的压力，他开始用尽全力琢磨粟裕的用兵之道，明白生死存亡的时候，知彼很可能能救命。
但琢磨归琢磨，真轮到他自己上阵，情况并没有好到哪里去。
1947年7月中旬，国民党军队从山东抽调七个整编师西援，正面仅留下整编第九、十一、二十五、六十四等四个整编师。粟裕决心集中内线兵团的全部兵力围歼南麻地区的胡琏整编第十一师，以创造孟良崮之役后再歼国民党军一等王牌主力的战绩。
胡琏也非等闲之辈，他花了二十多天在南麻修筑了一系列巧妙的防御工事，其中有大量的子母堡。
7月17日，华野二、六、九纵向南麻发起进攻，七纵负责阻援。战斗异常激烈，胡琏的整编十一师依托密集地堡群逐堡顽抗，华野进攻部队伤亡惨重。
胡琏在绝望之中，率领司令部全体人员焚香跪拜，企求老天爷保佑。
说来也巧，就在此时，天降大雨，一下就是七天七夜，华野部队的炸药被雨淋失效，食品弹药运不上来。
到了7月21日，黄百韬的整编第二十五师突破七纵阻援阵地，援军逼近。粟裕权衡再三，为避免陷入两面受敌的被动局面，于21日黄昏下令撤围。
南麻战役，华野四个纵队伤亡两万余人，仅歼灭敌军一个团，打了一个消耗仗。粟裕在8月4日给中央军委的电报中引咎自责，称自己"五内俱焚"。
战后胡琏却神气透了，大发狂言："我的十一师可不是张灵甫的七十四师，想吃掉我，得有一副铁嘴钢牙好胃口！"蒋介石兴奋至极，论功行赏，将胡琏吹捧为"常胜将军"。
南麻撤围后，粟裕又盯上了驻守临朐的李弥整编第八师。华野二、六、九纵围攻临朐，七纵阻援。不料又遇倾盆大雨，山洪暴发，弥河陡涨，部队行动受阻。
二纵五师将城墙炸开大口，突入城内七个连，但因两侧火力点未肃清，很快被敌军火力封锁，大部伤亡。
国民党援军又至，粟裕不得不再次下令撤出战斗。南麻、临朐两战，华野歼敌一万四千余人，自身伤亡二万一千五百八十六人，
四个纵队元气大伤，部队里有人发牢骚："运动战运动战，南麻吃亏还不算，临朐又来搞一套，一下打成烂葡萄。"
粟裕在9月3日的干部大会上讲话，承认七月份作战"不是败仗，也不能算胜仗，只是打了个平手仗、消耗仗"。
南麻、临朐之后，粟裕并未放弃对胡琏的围歼。1947年9月，华野三纵和八纵在曹县土山集一带再次包围胡琏。八纵撕开两道口子，三纵突击部队直插国军阵地纵深。眼看要崩盘，胡琏不慌不忙组织突击队反扑，硬是拖慢了华野的节奏，撑到天亮援军赶到，再次逃脱。
这是胡琏第二次从粟裕的包围圈中死里逃生。

真正让胡琏尝到死亡滋味的，是1948年底的淮海战役。当时黄维的第十二兵团被中野和华野合围于双堆集，蒋介石急令胡琏空投战区指挥。胡琏百般不情愿，但军令难违，被硬塞进了包围圈。
兵败如山倒，胡琏和黄维各自乘坐一辆坦克突围。黄维的坦克没开出几公里就出了故障，很快被解放军俘虏。胡琏的旧坦克却一路驰骋，沿路解放军看到还以为是战利品，根本没有盘查阻拦，一直开到涡河北岸油料耗尽。
改为步行后，胡琏背部被弹片击中，卫士在江边发现一条木船，手忙脚乱上船后拼命逃生。医护人员抢救时，从他背部取出大小弹片三十二块，其中有几块与心、肺仅一指之隔。
双堆集战役后，胡琏元气大伤，"恐粟"心理达到了顶点，晚年在台湾对粟裕绝不不提。

1949年10月，金门战役爆发。
胡琏率第十二兵团增援金门，与叶飞兵团登陆部队在古宁头激战。此战解放军登岛部队九千余人全军覆没，胡琏给华野制造了一个大麻烦。
1979年，粟裕视察福州军区，来到曾经熟悉的地方，指着茫茫大海对几位老部将说："胡琏乃悍将谋才，古宁头之恨难消啊！"
能得到粟裕这样的认可，在国民党将领中实属不易。
毛泽东对胡琏的评价更是广为人知："十八军之胡琏，狡如狐、勇如虎。宜趋避之，以保实力，待机取胜。"
而胡琏对粟裕的评价，流传最广的则是那句感叹："土木不及一粟，甚悲矣！"