劉邦結束楚漢相爭、建立西漢後，大部分因襲了秦朝的制度，軍事制度也不例外。徵兵制度大體上與秦制相同，只是免役範圍稍微放寬：服役的年限從漢初的17歲，逐漸放寬到20歲、甚至23歲，而退役方面年齡超過56歲，就可以免受徵召。除了爵位高低可以給予個人免役或全家免役的優待外，甚至還制定了可以納錢免役的辦法。漢初平時軍務的處理，仍與秦制一樣，依循太尉、郎中令等三公九卿的制度來運作。戰時則由皇帝任命武官為「將軍」領軍出征，根據各種軍事行動賦予不同的「將軍」銜，其中以「大將軍」最為尊貴，他們擁有「金印紫綬」，位比三公。奉命出征的將軍可以開設「幕府」(或稱「莫府」)，自選僚屬來協助作戰，處理戰場上的大小事情。在西漢前期，主力軍隊是常駐長安的南北衙軍。南軍的任務是保衛宮門，稱作「衛士」，平時駐紮在長安城南的未央宮，故稱南軍，士兵來源為各郡國的正卒。北軍則駐紮在長安城北，士兵由三輔地區(即長安週遭地區)的正卒充任，拱衛京師，兵額可能比南軍更多，是漢初皇室平定內亂的主力。漢武帝時，隨著與匈奴間的戰事越演越烈，武帝便進行了一系列的軍事改革。首先為了滿足長期遠征的兵力需求，他大量招募士兵來組建軍隊，如當時名將李廣旗下的「勇敢」，就是一支由楚地劍客所組成的。這些應募的士兵大多終身為兵，沒有明確的服役年限，才會出現「十五從軍征，八十始得歸」的詩句。（《漢樂府詩?十五從軍征》）募兵以外，武帝也利用大量的刑徒惡少年「謫兵」的方式，來彌補軍隊數量的不足，更因推動重農抑商政策，武帝時謫兵範圍還包括了部分的商人家庭。此外，武帝還大規模的擴充了南北軍，組建出一批更專業化的部隊。在南軍的部分增設了「期門」、「羽林」等部隊，「期門」是由西北地區善射的子弟所充任，負責陪皇帝遊獵；「羽林」則是從西北地區中選拔出武技優秀的子弟擔當。這兩支部隊都是父死子繼，世代為兵的職業軍人。北軍則增設了八個校尉，如「中壘」、「步兵」、「射聲」、「越騎」等。他們分別負責各專業兵種的訓練，如射聲校尉統領弓弩部隊、越騎校尉負責整訓體格較好的騎兵部隊等。其中最為重要的就是武帝所組建的騎兵兵團，當時雖然還沒有馬蹬，但由於兵器與裝甲的改良，出現了具備衝鋒陷陣能力的重騎兵，使漢軍能夠擁有足以與遊牧的匈奴帝國匹敵的武裝力量。