这位戴着瓜皮帽，双目无神，无精打采的老人祖孙三代都是封疆大吏。他的祖父正是三十岁出任河南巡抚，后担任总督的琦善。鸦片战争时，琦善时任两广总督、钦差大臣，与英方谈判，割让土地，让道光皇帝震怒，将其革职锁拿、查抄家产。他的父亲恭镗，历任乌鲁木齐都统、西安将军、黑龙江将军、杭州将军，也是晚清名副其实的封疆大吏。
他的弟弟正是后来武昌起义时弃城出逃的湖广总督瑞澄。与祖父、父亲、弟弟不同，他是通过科举之路一步步走出来。他十七岁中举人，二十八岁中进士，在朝考时更是夺得一等第一名。在当年八旗子弟里，他的科举成绩极为耀眼。
他正是甲午战争期间，大胆上书痛斥中枢重臣的瑞洵。甲午战败，翰林院官员大多沉默避祸，瑞洵直接上疏弹劾军机大臣，直言庙堂用人失策，朝野震动，在翰林群体中以 敢言出名。
在沙俄不断拉拢蒙古王公、鼓动分离暗流时，他多次上奏警示朝廷，主张阿勒泰单独设治（科阿分治），防范领土丧失。这份远见在晚清边疆官员中十分难得。
光绪三十年，瑞洵遭政敌构陷，被革职下狱，一度身陷囹圄，原本前途光明的他，政治生涯就此基本终结。时人感慨：琦善家族两代都遭遇官场重挫。
兄长瑞洵坚守边疆、主张抗俄，亲弟弟瑞澄身为湖广总督，武昌起义率先弃城逃走，兄弟二人一守一逃，后世经常放在一起对比。