霍去病和霍光是同父异母的兄弟关系，霍去病是霍光的哥哥。霍去病的父亲，刚开始是跟霍去病的母亲偷偷生下的霍去病，但是之后，并未给霍去病母亲任何名分，而是跟霍去病的母亲断了联系，并娶了霍光的母亲为妻。不过霍去病功成名就后，并未为难自己的生父和同父异母的弟弟霍光，而是尽自己所能给霍家人提供了莫大的帮助。正因为如此，霍光才得以踏上仕途。

霍光（约前133年－前68年），霍去病同父异母的弟弟，大概比霍去病小七八岁。公元前141年前后，霍去病的父亲霍仲孺在平阳公主府当差，不小心搞大了公主女仆卫少儿的肚子，却不敢负责，办完差事回老家另外娶了个老婆，几年后生了个儿子，就是霍光。而此时，卫少儿早已生下霍去病。更牛的是，因为卫少儿的妹妹卫子夫及弟弟卫青被汉武帝看中，几年后卫家便飞黄腾达，所以霍去病虽是私生子，却没受苦，反而得到良好的培养，并于17岁就扬名立万，成为汉武帝对付匈奴的重要将领。公元前121年，官拜骠骑将军的霍去病才知道自己的父亲是平阳侯国的霍仲孺。按霍去病的脾气，应该是不鸟这个老爸的。但大汉是以孝治国的，作为国之大将，装装样子总是要的。所以就在这一年，他在出击匈奴的路上，顺便到平阳侯国认了一下父亲，为之购买了大量田地房屋和奴婢后离去。一次偷情，竟然捡来个“孝顺”的将军儿子，敢风流却不敢负责任的霍仲孺的喜悦心情可以想象。不过，从霍去病和霍光的长相看，霍仲孺也应该是个美男子，是有泡妞资本的。霍去病的冷酷之帅就不用说了。历史记载，霍光身高七尺三寸（约1.7米），算不上高大威猛，但皮肤白皙，眉目疏朗，尤其是胡须很美，在当时来说，那是极美的。

正是在这一年，凯旋归来的霍去病顺路把弟弟霍光带到了长安“发展”。时年，霍光大概十一二岁。少年得志的霍去病个性峭拔凌厉，做事锋芒毕露，我行我素，想做什么，就做什么，绝不拖泥带水，绝不看任何人的颜色。霍光却完全不同。霍光像极了卫青（当然，虽然他也喊卫青舅舅，但显然和卫青没有丝毫血缘关系），极其谨言慎行，甚至连每走一步的长度都是一样的，到了门槛，先迈左脚还是右脚，每次也都是一样的！比如，《汉书》就记载：霍光每次出入殿门，止步、前进都有固定的落脚之处，时间久了，不免引起殿中值班人员的注意，于是有好事者在他日常的止进之处暗中做下记号，到了霍光入殿的时候留心观察，果然丝毫不差。已经无法确定，他这种谨慎是本身性格使然，还是环境逼迫他故意这样表现的。笔者猜测，更多的应该是环境问题，尤其是和霍去病的突然去世有关。在上篇关于卫青霍去病的文章中已分析，不管霍去病是怎么死的，都应当与汉武帝有着极大的关系。霍去病的死因，虽然历史上没有任何记载，但作为跟随霍去病生活的霍光，显然是明了的。这让他变得极其谨慎，学习对象由恣意任性的哥哥转而向谨言慎行的卫青。不得不处死霍去病的汉武帝应当持同样的态度。他喜欢像极自己的霍去病，但作为君主，他更希望大家都像卫青那样。所以，或许出于内疚，武帝开始重点培养霍去病的弟弟霍光，但培养方式却已完全不同于霍去病。不管怎样，霍光成为完全不同于霍去病的人。要知道，晚年的汉武帝是极其暴躁多疑的，但霍光侍奉他二十多年，竟未曾犯过一次错误。《汉书》是这样记载的：“光出则奉车，入侍左右，出入禁闼二十余年，小心谨慎，未尝有过，甚见亲信”。在汉武帝身边二十余年，居然“未尝有过”，可见霍光为人之谨慎，为官之精到。汉武帝对霍光极其满意。所以，当他决心立幼子刘弗陵为储君时，就已暗示让霍光辅政了，令人画了《周公辅成王朝诸侯图》赐给霍光。

不得不说，霍光和他哥哥一样，都没啥文化，却一个极有军事天赋，一个极有政治天赋。霍去病从不看兵书，却打得匈奴满地找牙。而从汉武帝赐《周公辅成王图》，也可以看出霍光的文化知识有限。据史书记载，当汉武帝命黄门画者绘《周公辅成王图》并赐给霍光时，霍光竟搞不懂，问身边的人，是皇帝想让我学画画，还是皇帝认为我喜欢画？我该怎么回？搞笑的是，他身边也没人向他说明，就这样稀里糊涂过去了。两年后，汉武帝眼看不行了，赶紧派人喊霍光他们来。霍光听武帝说要死了，那是哭得不行不行的，当然也忘不了问一句谁接班。武帝有气无力地蔑视了霍光一眼：“不早告诉你了，立弗陵，你当周公！”后来霍光通过咨询博学之人，终于搞明白《周公辅成王图》背后的典故，知道自己牛了。不过，都当辅政大臣了，他依旧没心思去多读点书，哪怕是和帝王将相有关的历史典故。所以当后来废刘贺时，只能问手下可有先例可循。田延年就援引了伊尹的例子。霍光如获至宝，立即进宫逼只有十四五岁的皇太后，也就是他外孙女下懿旨废了刘贺。可人家伊尹没废太甲啊，只是让他去反思了。