段志玄是齊州臨淄縣人。父親段偃師，仕隋任太原郡司法書佐。跟隨高祖起兵，任官至郢州刺史。志玄姿質(zhì)魁武，少時不務正業(yè)，多次觸犯法令。大業(yè)末年，隨父客居太原，因剽勇果決，為群惡少年畏服，受到秦王賞識。

　　高祖起兵時，率千余人隨從，授職右領大都督府軍頭。隨同攻下霍邑、絳郡，進攻永豐倉，都做先鋒前驅(qū)。歷任左光祿大夫。跟從劉文靜抵御屈突通于潼關。文靜遭桑顯和襲擊，其軍即將潰敗，志玄率領精騎馳赴敵陣，連殺十余人，身中流矢，忍痛不言，橫擊自如，敵眾混亂，大軍乘勢進擊，唐兵氣勢重振。屈突通敗走，志玄與諸將跟蹤追獲于稠桑，因功多，授職為樂游府車騎將軍。

　　隨同征討王世充，深入敵陣，因馬跌倒被敵擒獲。由兩賊騎夾持其發(fā)髻，將渡洛河時，志玄突然踴身騰起，兩騎全都落馬，志玄奪其馬奔回，追騎數(shù)百名不敢逼近。攻破竇建德、平定東都后，遷任秦王府右二護軍。隱太子曾用金帛引誘他，而他拒絕不受。秦王即位后，歷任左驍衛(wèi)大將軍，封為樊國公，享受實封九百戶。下詔派他率兵到青海奪取吐谷渾牧馬，因逗留不進，被免官。不久又復職。

　　文德皇后下葬時，志玄與宇文士及領兵守衛(wèi)章武門。太宗夜間派遣使者到兩將軍處，士及開門接納使者，志玄拒絕說“：軍門不可夜開?！笔拐吣贸鍪衷t，志玄說：“夜里不能分辨真假?！辈挥杞蛹{。

　　天亮后，太宗感嘆道：“這才是真將軍，周亞夫怎能與他相比？”后來改封為褒國公，歷任鎮(zhèn)軍大將軍。

　　貞觀十六年(642)生病，太宗臨視，哭著說“：應給您的兒子五品官銜?！敝拘殿^道謝，并請求給予同母兄弟，太宗便拜志感為左衛(wèi)郎將。到去世時，太宗哭得很傷心。贈予輔國大將軍、揚州都督，陪葬于昭陵，謚為壯肅。