段志玄的父亲段偃师，曾任太原郡司法书佐。段志玄身材伟岸，器宇轩昂，但是为人无赖，屡次违反法纪。
611年（大业七年），隋炀帝远征高句丽，段志玄时年十四岁，应募从征。后来，段志玄随父亲客居太原，得到李世民的赏识。
迫擒屈突617年（大业十三年），唐高祖李渊在晋阳（今山西太原）起兵反隋。段志玄募兵千余人，被授为右领大都督府军头，并担任先锋，夺取霍邑（今山西临汾）、绛郡（今山西新绛），攻打永丰仓（在今陕西大荔），累功至左光禄大夫。
后来，段志玄随刘文静到潼关抵御屈突通。刘文静被桑显和偷袭，军营溃散。段志玄率领二十余骑冲阵，连*数十人，身中流失，仍三次冲入敌阵。最终，唐军军心大振，桑显和大败。不久，段志玄与诸将追擒屈突通，因功授乐游府骠骑将军。
屡建功勋621年（武德四年），秦王李世民东征王世充。段志玄在作战时马倒被擒，敌军两将抓着他的发髻，要将他带走。在渡洛水时，段志玄纵身跳起，将二人拉坠马下，夺得马匹驰归。数百人在后面追赶，但是都不敢逼近。不久，王世充、窦建德相继被平定，段志玄因功升任秦王府右二护军。
626年（武德九年），太子李建成欲谋害李世民，以重金贿赂段志玄，企图诱其归顺。段志玄拒不接受，并将此事告知李世民，后与尉迟敬德等人发动玄武门之变，诛*李建成、李元吉。不久，李世民登基，是为唐太宗，段志玄迁任左骁卫大将军，封樊国公
634年（贞观八年），段志玄被任命为西海道行军总管，率领边军与契�、党项等部落兵马征讨吐谷浑。吐谷浑大败，段志玄率军追击八百余里，到达青海湖三十余里时不敢再追，致使吐谷浑驱赶着牧马逃走。唐太宗大怒，罢免其官职，后又让他官复原职。[
晚年生活637年（贞观十一年），唐太宗封功臣为世袭刺史，段志玄为金州刺史，改封褒国公。638年（贞观十二年），升任右卫大将军。640年（贞观十四年），又加镇军大将军。
642年（贞观十六年），段志玄患病。唐太宗前往探视，并打算封其子为五品官。段志玄请求将官职封给弟弟段志感，唐太宗遂封段志感为左卫郎将。不久，段志玄病逝，终年四十五岁，赠辅国大将军、扬州都督，谥号庄肃（一作忠壮），并陪葬昭陵。
轶事典故长孙皇后出葬时，段志玄与宇文士及分别统领兵马守卫肃章门。太宗在夜晚派遣使者到达他们两人驻所，宇文士及开门放行，段志玄则闭门不让使者进来，并道：“军门夜晚不能开。”使者道：“我有皇帝的手敕。”段志玄道：“夜间难辨真伪。”使者无奈，只好等待到天明。太宗听说后，称赞道：“这是真正的将军，周亚夫也不过如此。”
人物评价李世民：司徒赵国公无忌、……故辅国大将军扬州都督褒忠壮公志元、……故徐州都督胡壮公秦叔宝等：或材推栋梁，谋猷经远，纲纪帷帐，经纶霸图；或学综经籍，德范光炜，隐犯同致，忠谠日闻；或竭力义旗，委质藩邸，一心表节，百战标奇；或受�琶硖茫�辟土方面，重氛载朗，王略遐宣。并契阔屯夷。劬劳师旅，赞景业於草昧，翼淳化於隆平。
吕温：褒公虎臣，先运而臻。谒帝太原，许唐以身。拥剑驾气，腾风跃云。积忠累仁，光有厥勋。建旄北伐，细柳宵屯。风谧霜凝，严扃达晨。天子之使，驻车军门。安众秉威，此真将军。����桓桓，克壮有闻。
刘�d：敬德夺槊陷阵，鼓勇王师，却赂报恩，竭忠霸主。然而奋拳负气，非自全之道；文皇告诫之言，可为功臣*石。叔宝善用马槊，拔贼垒则以寡敌众，可谓勇矣。知节志平国难，拜隼�h则致命辅君，可谓忠矣。而并晓世充之猜贰，识唐代之霸图，可谓见几君子矣。志玄中镝不言，竟安师旅。公谨投龟定议，志助储君。皆所谓猛将谋臣，知机识变。有唐之盛，斯实赖焉。
后世地位643年（贞观十七年），唐太宗将二十四位功臣的画像挂在凌烟阁，段志玄位列第十。
668年（总章元年），段志玄等三十六位太原元从、西府旧臣被唐高宗评为**等功臣。
705年（神龙元年），唐中宗追封前代功臣二十五家，段志玄也在其中，“所食实封，并依旧给”。
779年（大历十四年），唐代宗评定前代功臣，段志玄与李孝恭、尉迟敬德等人同列第二等二十四人之内。
780年（建中元年），段志玄与裴寂、刘文静等三十四人被定为功臣上等。
家庭成员父亲
段偃师，隋末为太原郡司法书佐，随唐高祖起兵，官至郢州刺史。
兄弟
段志感，曾任左卫郎将。
儿子
段瓒，袭封褒国公，官至左屯卫大将军。
段��，曾任朝邑令。
段��，曾任宣州长史。
孙子
段怀简，段瓒之子，袭封褒国公，官至太子詹事。
段怀昶，段��之子，曾任德州参军。
段怀晏，段��之子。
段怀皎，段��之子。
段怀本，段��之子，曾任礼部郎中。
史籍记载《旧唐书·卷六十八·列传第十八》
《新唐书·卷八十九·列传第十四》
《资治通鉴·卷一百八十四·隋纪八》
《资治通鉴·卷一百八十八·唐纪四》
《资治通鉴·卷一百九十一·唐纪七》
《资治通鉴·卷一百九十四·唐纪十》
墓葬纪念段志玄墓
段志玄墓是昭陵陪葬墓之一，位于陕西礼泉县九�旧健�
段志玄碑
段志玄碑立于唐朝贞观十六年（642年），现存于昭陵碑林**室。碑额以篆书阳刻“大唐故右卫大将军扬州段公之碑”，碑文以楷书书写，共32行，满行65字，漫漶过半。
文艺形象 小说形象古典小说《说唐全传》中，段志玄作段志远，是开唐四老将之一，封定国公，征辽东时在凤凰山被盖苏文*死。
民间形象《兴唐传》等隋唐评书中，段志玄作段志贤，原为隋朝大将，与花公吉、花公义、马三保、殷开山、刘弘基同守金堤关，都使大刀，号称“六口大刀镇金堤”。贾柳楼四十六友反山东，程咬金斧劈花公义，秦叔宝*挑花公吉，夺取金堤关，段志玄四人投奔潼关大帅魏文�N，李渊起兵时献潼关归降，封开国公。