首先让我们来看《资治通鉴》对于玄甲军的记载：“秦王世民选精锐千馀骑，皆皂衣玄甲，分为左右队，使秦叔宝、程知节、尉迟敬德、翟长孙分将之。每战，世民亲被玄甲帅之为前锋，乘机进击，所向无不摧破，敌人畏之。行台仆射屈突通、赞皇公窦轨将兵按行营屯，猝与王世充遇，战不利。秦王世民帅玄甲救之，世充大败，获其骑将葛彦璋，俘斩六千馀人，世充遁归。”这段文字虽然很短，但玄甲军的战斗力和作用可见一斑。李世民几乎每战都身先士卒，他自己一身玄甲，率领着骑兵如同黑云一般压向敌阵，声势迫人，加上玄甲军本身的精锐，几乎是无坚不摧的。
古代作战，常选精锐的战士作为先锋突击，称为选锋。玄甲军也可以认为是选锋的一种。玄甲军不同于东汉的幽州突骑，他并不由单一地区或者单一部族的兵员组成，玄甲军是从李世民所统帅骑兵中选拔出来的精锐，组成应该非常复杂，而且玄甲军担负的作战任务很重，每战必当先锋，伤亡也不在少数，估计应该是不断选拔补充，保持一定的兵员定额。对于玄甲军的组成、训练和装备情况，基本可以通过对唐初骑兵分析得出。
从东汉末年开始，北方强悍的游牧民族逐渐进入中原，经过五胡十六国和南北朝的混战，到了隋唐时期，骑兵的发展达到了中国历史上的有一个高峰。在这个时代，重甲骑兵一度成为主流。所谓重甲骑兵，又称甲骑具装，骑兵和战马均披很厚的盔甲。隋朝继承了南北朝的传统，在军队中，重甲骑兵依然占了很大比重，作为旧朝的一员，李渊的唐军大概也受了一些影响。
但是这里还有一个变数，即隋朝和北边的突厥进行了大规模的骑兵交战。突厥的骑兵是以机动性著称的轻骑兵，隋朝的骑兵与突厥屡次交锋，出于适应敌人特点的需要，隋朝的骑兵受到了对方的影响，发生了一定程度的变化，又向轻骑兵的方向转变。李渊作为并州的军政长官，正担负着防御突厥的责任。他在与突厥的交战过程中，首先仿效突厥建立了一支精锐的轻骑兵。《资治通鉴》中如此记载：“渊选善骑射者二千人，使之饮食舍止一如突厥，或与突厥遇，则伺便击之，前后屡捷，突厥颇惮之。”这支骑兵能够在机动性上与突厥匹敌，应当是轻骑兵无疑。这部分骑兵，可以看做玄甲军最初的基础。李渊太原起兵之后，从突厥购买了良马2000匹，还借来了小部分突厥骑兵，西突厥部落氖反箬鸵猜柿觳肯碌钠锉
