公元前86年，辅佐朝政一年多的金日磾病逝，霍光掌握了汉朝政府的最高权力。霍光与同为辅政大臣的金日磾和上官桀都有联姻关系，上官桀之子上官安娶了霍光长女为妻，生有一女上官氏，两家结为姻亲，关系密切，每当霍光休假外出或沐浴时，上官桀经常代替他处理国家政务。
说起金日磾，字翁叔。大汉时期匈奴族政治家。初为匈奴休屠部太子，兵败为霍去病所降，进入长安。，赐姓为金。封为御马监，迁侍中、驸马都尉、光禄大夫，平定马何罗叛乱。公元前87，汉武帝刘彻病重时，随霍光、上官桀等人接受顾命，辅佐太子刘弗陵，封为秺侯。
元狩二年（公元前121年）春天，汉武帝派遣骠骑将军霍去病，率领骑兵一万，自陇西出发北击匈奴，越过焉支山一千余里，切断匈奴右臂，执浑邪王子，缴获了休屠王的祭天金人。
元狩二年（公元前121年）夏天，经居延及小月氏攻祁连山浑邪、休屠二王，使他们遭到惨重打击。同年秋，匈奴单于因浑邪王屡为汉军所破，伤亡数万，怒不可遏，欲召诛浑邪王。浑邪王便说服休屠王共同降汉。
而休屠王因其部损失不大，估计单于不会杀他，后又中途反悔，浑邪王便杀了休屠王，其众四万余人降汉。汉武帝封浑邪王为列侯。
金日磾因父亲被杀，无所依归，便和母亲阏氏、弟弟今伦随浑邪王降汉，被安置在黄门署饲养马匹，时年仅十四岁，可以说金日磾就是匈奴的叛徒，可是叛徒的好处是背叛了一次他就对打败自己的人非常的忠心，可以说金家自从是投降了汉朝姓了金以后可以说到了汉朝灭亡这金家是满面忠烈。
而汉武帝刘彻一次在宫中宴游欢乐之极，诏令阅马助兴。当他看到一个体形魁伟、容貌威严、目不斜视的青年（金日磾）牵着膘肥体壮的骏马从殿上走过时，感到很惊讶，就问起这个牵马人的情况。
当汉武帝刘彻得知金日磾为休屠王之子后，就封他为御马监。之后，升迁为侍中、驸马都尉、光禄大夫。
金日磾亲近汉武帝以后，不曾有过失，汉武帝很信任宠爱他，赏赐累积千金，汉武帝外出，他就随侍车驾；在宫中，金日磾就侍候身边。一些贵戚在私下怨恨后说道：“陛下不知道在哪得到一个匈奴小儿，反倒十分看重他。”汉武帝听说后，不以为意，反而更加厚待他金日磾。
金日磾的母亲教诲两个儿子，很有规矩，汉武帝得知后很赞许。他母亲病死后，汉武帝刘彻下诏在甘泉宫为她画像，题名“休屠王阏氏”。
金日磾每次看见画像都下拜，对着画像涕泣，然后才离开。金日磾的两个儿子都被汉武帝刘彻所宠爱，是汉武帝刘彻逗乐子的弄儿，常在皇上身边。有一次，弄儿从后面围住汉武帝的脖子，金日磾在前面，看见后生气地瞪着他。弄儿一边跑一边哭着说：“爹爹发火了。”
汉武帝对金日磾说：“翁叔，干嘛生朕弄儿的气！”后来弄儿长大，行为不谨慎，在殿下与宫女戏闹，金日磾正好看见，厌恶他的淫乱，于是杀了弄儿。这个弄儿就是他的长子。汉武帝刘彻得知后大怒，金日磾叩头告罪，把为什么杀弄儿的情况一一说出。汉武帝刘彻很哀伤，为弄儿掉泪，后因此对他很看重。