霍去病从小生活在奴婢群中，生活十分艰苦。但他勤奋好学，小小年纪就精通了骑马、射箭、击刺等各种武艺。
后来，霍去病的姨母卫子夫被汉武帝看中，并被立为皇后。卫氏家族从此平步青云。到十六七岁时，霍去病已经长成了一个相貌奇伟、性格坚毅、智勇过人的青年。汉武帝很赏识他，派他做了保卫皇帝安全的侍中官。
这时，西汉王朝与匈奴的斗争已达到白热化程度。匈奴屡次入侵，汉武帝一改以前的和亲政策，开始了对匈奴的反击战争。霍去病的舅舅卫青几次领兵攻打匈奴，立下赫赫战功。
公元前 123年春，汉武帝再次组织对匈奴的反击战争。这年，霍去病刚刚18岁。他听说舅舅又要出征，便跃跃欲试急不可耐地向汉武帝请战。汉武帝见他少年英武，就答应了他的请求，任命他为骠姚校尉，由卫青挑选了800名骁勇矫捷的骑兵归他指挥。
霍去病率领 800骁骑一往无前地向北奔去。莽莽草原，人迹全无。他们不知不觉地走了好几百里，将近黄昏，忽然发现前方远处有一片黑点。霍去病判断应是匈奴的营帐，当即命部下衔枚而行，以迅雷不及掩耳之势杀了过去。匈奴兵根本没想到汉军会这么远地杀来，顿时一片混乱。霍去病身先士卒，首先闯入匈奴营帐， 800骁骑个个勇猛无比，把匈奴兵杀得四散逃窜。
这次战役，霍去病功居第一，其他各路有胜有负。卫青将战争的经过报告了汉武帝。汉武帝对霍去病大加赞赏，说：“剽姚校尉霍去病，以 800骁骑斩杀匈奴兵2028人，并杀死匈奴单于的祖父籍若侯产及相国、当户等将官多人，生擒单于的叔父罗姑比，出奇制胜，勇冠全军。以2500户封霍去病为冠军侯。”
河西地区即今天的河西走廊，在黄河以西，祁连山、合黎山之间，地势低平，是汉朝通向西方的黄金通道。原来这里由月氏人居住，后来被匈奴侵占，成了匈奴浑邪王、休屠王的领地。汉武帝想与大月氏及西域各国取得联系，以便共同对付匈奴，于是发动了河西战役。
公元前 121年春天，汉武帝任命霍去病为骠骑将军，率领精骑一万人，从陇西（今甘肃省临挑县）出发，攻打匈奴。在霍去病的指挥下，汉军所至，势如破竹，穿过五个匈奴王国，转战六日，越过焉支山（今甘肃省山丹县境内）一千多里，在皋兰山（今兰州黄河西）与匈奴发生激战。霍去病率部勇猛异常，横冲直撞，阵斩匈奴折兰王、卢侯王，活捉了匈奴浑邪王的儿子及相国、都尉等，歼敌8900多人，并且缴获了匈奴体屠王的祭天金神像。汉军大获全胜。汉武帝非常高兴，下令增封霍去病食邑2000户。
这年夏天，汉武帝决定乘势全部扫除匈奴在河西地区的势力，打通进入西域之路，于是发动了第二次河西战役。
这次战役，以霍去病、公孙敖率领的几万骑兵为主力，从北地郡（在今甘肃环县）出发，另派李广、张骞率一万多人从右北平出发，攻击匈奴左贤王，策应西征的主力军。霍去病与公孙敖出塞后，分兵前进，公孙敖由于中途迷失方向，而未能参加战斗。霍去病与公孙敖联系不上，只好孤军深入，越过居延海（今内蒙古额济纳旗北），穿过小月氏部落，抵达祁连山。匈奴被他神妙莫测的战术搞得晕头转向，祁连山麓一战，被打得大败。这次战役，总计接受匈奴单桓王、酋涂王及相国、都尉等2500人投降，俘虏了王母、单于阏氏、王子。相国、将军、当户、都尉等 120多人，歼灭匈奴兵30200人。
汉武帝加封霍去病食邑5400户。从此，霍去病的声望日益显赫，地位日益尊贵，几乎与舅舅卫青相当了。
两次河西战役之后，汉朝完全控制了河西地区，这对匈奴是一个很大的打击。匈奴人非常惋惜，他们悲伤地唱道：“亡我祁连山，使我六畜不蕃息；失我焉支山，使我妇女无颜色。”
匈奴伊稚斜单于对于浑邪王、体屠王的屡次战败，非常恼火，派使者征召他们，准备治罪。浑邪王新失爱子，本来就够心烦的了，又闻单于将要加罪，于是与休屠王商量，决定向汉朝投降，并派使者来与汉朝接洽归降事宜。当时负责藩属事务的大行李息，正在黄河边上筑城，见到浑邪王派来的使者，马上派人向中央报告。
汉武帝得到这一消息，很高兴，认为这样可以分化匈奴，减弱匈奴的力量，但是又担心其中有诈，于是派霍去病带领一万骑兵。前往河西，见机行事。
霍去病还没有到达河西，情况就发生了变化。体屠王听信部下的谗言，不想投降了。浑邪王骑虎难下，痛恨休屠王的背信弃义，于是一不做二不休，他率兵冲入体屠王的营帐，杀死了休屠王，收编了休屠王的部队，然后列队迎接汉军的到来。
霍去病渡过黄河，与浑邪王遥遥相望。浑邪王的部下很多。本来意志就不坚定，现在看到汉军阵容严整，心存疑惧，纷纷逃走。霍去病望见浑邪王阵营人群骚动，当机立断，亲率几名精骑飞马驰人浑邪王营帐，与浑邪王谈判，下令将私自逃跑的匈奴将士8000人全部杀死。这样才把匈奴军队稳住了。然后，霍去病派轻车快马先把浑邪王送往长安拜见汉武帝。接着，他把四万多匈奴降兵编队列阵，带回长安。
在河西战役期间，汉武帝特地从京城送来一坛美酒，霍去病没有独自享用，而是将酒倒入泉水中，让全军将士饮用，后来，此泉就称为酒泉，当地也就以泉命名。
汉武帝隆重地接见了浑邪王，封他为漯阴侯，食邑一万户。匈奴小王呼毒尼等四人也被封侯爵。汉武帝把这五侯连同他们的部众分别安置在陇西、北地、上郡、朔方、云中等地，保持他们原来的生活和风俗习惯，号称“五属国”。浑邪王旧地设置武威、酒泉两郡，连同后来设置的张掖、敦煌二郡，被称为“河西四郡”。霍去病受降有功，加封食邑1700户。
从此，匈奴的军事力量大大削弱，不得不退到遥远的大沙漠以北地区。汉朝西部的威胁彻底解除，通往西域的道路完全畅通了。
匈奴主力虽远逃漠北，但仍未放弃对汉朝边境的掠夺。公元前 120年秋，匈奴骑兵万余人又突入定襄、右北平地区，杀掠汉朝边民一千多人。汉武帝决定远征漠北，彻底消灭匈奴军队。
公元前 119年，汉武帝调集10万骑兵，随军战马14万匹，步兵辎重队几十万人，由卫青和霍去病各领五万骑兵，分东西两路向漠北进军。卫青从定襄出塞，北进1000多里，与匈奴伊稚斜单于所率主力相遇，经过激战，大败匈奴单于，斩获 19000多人，一直追到真颜山赵信城才胜利班师。
汉武帝原来的计划是由霍去病专力对付匈奴单于，所以给他配备的全是经过挑选的精兵强将。霍去病率军从代郡出发，大胆地重用匈奴降将赵破奴、复陆支、伊即轩等，在大沙漠地带纵横驰骋，行军两千多里，越过离侯山，渡过弓闾河，与匈奴左贤王相遇。汉军发动猛攻，左贤王大败而逃。这次战役，活捉匈奴屯头王、韩王等三人以及匈奴将军、相国、当户、都尉等83人，歼敌七万名。匈奴左贤王部几乎全军覆灭。霍去病率军追至狼居胥山（今蒙古境内德尔山）。为庆祝这次战役的胜利，霍去病在狠居胥山积土增山，举行祭天封礼，又在姑衍山（狼居背山附近）举行祭地禅礼，并登临瀚海（今贝加尔湖），刻石记功，然后凯旋还朝。
霍去病因功加封食邑5800户，并与大将军卫青一起被拜为大司马。
从此以后，匈奴向北向西迁到更偏远的地方去了，长城内外一片和平气象，人民安居乐业。
霍去病一生曾四次领兵出塞攻打匈奴，共歼敌11万多人。他平时少言寡语，战场上却勇猛无比。他是一位军事天才，汉武帝常常劝他学习孙吴兵法，他却说： “为将须随时运谋，何必定拘古法呢？”他是凭借战场上的直觉指挥战斗的，随机应变，闪电式行动，使他百战百胜，成为名扬后世的一代名将。
霍去病屡立战功，获得了高官厚禄，但他把个人的享受搁在一边，一心以国家利益为重。河西战役胜利后，汉武帝为了奖励他的卓越战功，特意命人在长安为他建造了一座豪华住宅，叫他去看看是否满意。霍去病谢绝了汉武帝的好意，气概豪壮地说：“匈奴未灭，何以家为！”这句传诵千古的名言就是霍去病光辉一生的写照。
但是霍去病少年显贵，平步青云，没有统帅下级兵士的经历，因而缺乏对士卒的关心。他率军出征时，汉武帝派负责朝廷膳食的太官给他送去数十车酒肉，等到班师时，车上仍装有吃剩下的酒食，但士兵们许多却饿着肚子。在塞外时，士兵常常因缺粮而士气不振，可他却修建球室踢球。
公元前 119年那次出征时，飞将军李广跟随卫青，因为公孙敖刚刚失去了爵位，卫青想让他同自己一起正面与单于作战立功，所以调整了战斗序列。被调到东路的李广与赵食其在沙漠中迷失了道路，没有参加战斗，卫青派人责问二人迷路的原因，并让他们到大将军处听候传讯，李广说：“我的部下无罪，迷路的责任在我。”他又对部下说：“我与匈奴大小作战七十余次，好容易有机会跟着大将军直接与单于作战，但大将军把我调到了东路，本来路途就远，又迷了路，天意如此呀。况且我已经六十多岁了，实在不能再去面对那些刀笔小吏。”说完就自刎了。赵食其的结果与苏建一样，交纳赎金后，贬为平民。李广的儿子李敢当时正在霍去病军中，因父亲的死而怨恨卫青，动手打伤了卫青，卫青没有追究此事，并隐瞒了起来。但霍去病年青气盛，对此事耿耿于怀，两年后，在甘泉宫陪汉武帝狩猎时，用箭将李敢射死。事后，汉武帝隐瞒了真相，说李敢是被鹿撞死的。
公元前 117年，霍去病因病去世，年仅24岁。对于这位青年名将的过早离去，人们都感到无比的悲痛和惋惜。汉武帝特地命人在自己的茂陵旁边为霍去病修建了一座形状象祁连山的坟墓，并发动陇西、北地等五郡的匈奴人民，身穿黑甲，把霍去病的灵柩从长安护送到墓地安葬。
霍去病的墓至今仍然矗立在茂陵旁边，墓前的“马踏匈奴”的石像，象征着他为国家立下的不朽功勋。
