据史书记载，程咬金“少骁勇，善用马槊。”(《旧唐书·程知节列传》)隋朝末年，隋炀帝杨广统治残暴，骄奢荒淫，连年大兴土木，不断对外用兵，繁重的徭役、兵役使得田地荒芜，民不聊生，最终爆发了大规模的农民起义。起义后，义军相继发展到百余支之多，每支义军少则数百人多至10余万，但规模都不是很大，同时也没有政治目标，基本上是流动作战，四处抢掠。程咬金为此聚集乡里豪杰共保乡里，以备义军。由此可见他的出身应是地主阶级。
经过七个年头战争磨练，农民起义军由小到大、由弱变强，逐渐克服地域观念，散而复聚，走向联合。至大业十三年左右，在全国范围内形成了三支强有力的起义军，即：翟让、李密领导的瓦岗军，窦建德、刘黑闼领导的河北义军和杜伏威、辅公柘领导的江淮义军。到了此时，程咬金这种地方的自保势力已经无法维持下去，最后投奔了瓦岗军李密部。
瓦岗军原为东郡韦城(今河南浚县东南)人翟让所创，曾多次粉碎隋王朝的进剿。大业十二年(616年)，曾参加杨玄感起兵的隋贵族后裔李密来到瓦岗寨，李密长于谋略，使瓦岗军取得了一系列胜利，翟让遂主动推李密为主，上其号魏公。李密掌握大权之后，政治野心逐日暴露。为保住个人独揽大权，他拉拢重程咬金、秦叔宝等新归附的人，以二人为“内军”骠骑。“内军”是李密从军中挑选的8000个“勇士尤异者”，隶属四位骠骑将，又分为左右两队，主要任务是保护李密。李密对内军十分满意，常说：“此八千人可当百万。”(《旧唐书·程知节列传》)此后程咬金改名为程知节，大业十三年(617年)十月，正在瓦岗军新老势力矛盾逐渐尖锐化之际，李密抢先下毒手，设计斩杀了翟让，独掌大权。
唐武德元年(618年)九月，隋洛阳守将王世充挑选精锐兵马2万余人，马2000余匹，屯兵通济渠(今河南孟县境内)南，在渠上架起三座桥，以便与瓦岗军决战。李密在邙山南麓摆阵迎战王世充，程知节领内马军，与李密安营在北邙山(今河南洛阳市北)上，单雄信则领外马军，安营在偃师城(今河南偃师东)北。王世充部队到达后，立即派出数百骑兵攻打单雄信。李密遂派程知节和裴行俨前去支援。裴行俨率先冲向敌阵，结果中流矢坠马。程知节前去营救，立杀数人，王世充军稍退，他乘机抱起裴行俨撤退。由于载了两个人，程知节的战马负担过重，被王世充军追上。程知节不忍将裴行俨丢下，结果被一槊刺中，“刺槊洞过”，程知节回身折断其槊，将执槊之敌斩于马下，王世充军不敢追赶，二人这才返回本军。此战，由于李密指挥不利，瓦岗军包括程知节和裴行俨在内，共十余员骁将遭受重创，实力大损。不久，李密战败降唐，瓦岗义军失败。
瓦岗军失败后，程知节和许多将领因走投无路，而降于王世充。王世充得到程知节后，接遇甚厚。虽然如此，但是二人皆不满王世充多诈。程知节曾对秦叔宝说：“世充器度浅狭，而多妄语，好为咒誓，乃巫师老妪耳，岂是拨乱主乎？”(《旧唐书· 程知节列传》)秦叔宝亦有同感，于是两人开始找机会离开王世充。
武德二年(619年)闰二月十九日，王世充率部进犯唐朝谷州(治新安，今属河南)，王世充任命程知节为将军，还任命秦叔宝为龙骧大将军。王世充与唐军交战于九曲(今河南宜阳西北)。程知节、秦叔宝、吴黑闼、牛进达等都带兵上阵，率几十个亲信骑马向西跑了一百来步，然后下马向王世充行礼，说道：“荷公接待，极欲报恩。公性猜贰，傍多扇惑，非仆托身之所，今谨奉辞 。”(《旧唐书· 程知节列传》)随即投奔投奔唐军。王世充慑于二人的威名，不敢追逼。
武德九年六月，李建成在夜宴酒中下毒，致使李世民心中暴痛，吐血数升。时突厥郁射设率数万骑兵入塞，围攻乌城(今山西盂县西北)。李建成乘机推荐李元吉代李世民督诸军北征，李渊命其率右武卫大将军李艺等前去救援。李元吉奏请抽调秦王府勇将程知节、尉迟敬德、段志玄和秦叔宝等随军，以消弱李世民实力，然后乘机将其除掉。李世民得知李建成欲於为李元吉饯行时杀害他，遂与文臣武将商议，决定先发制人。四日清晨，李世民率程知节等伏兵玄武门内(长安太极宫北面正门)，伏杀太子李建成、齐王李元吉，夺取了皇位继承权。初七，李渊立李世民为皇太子。十二日，李世民封赏功臣，程知节拜太子右卫率。七月，程知节迁右武卫大将军。八月初八，李渊退位。初九，李世民即皇帝位，是为唐太宗。十月，唐太宗大封功臣，程知节食实封七百户。
经过七个年头战争磨练，农民起义军由小到大、由弱变强，逐渐克服地域观念，散而复聚，走向联合。至大业十三年左右，在全国范围内形成了三支强有力的起义军，即：翟让、李密领导的瓦岗军，窦建德、刘黑闼领导的河北义军和杜伏威、辅公柘领导的江淮义军。到了此时，程咬金这种地方的自保势力已经无法维持下去，最后投奔了瓦岗军李密部。
瓦岗军原为东郡韦城(今河南浚县东南)人翟让所创，曾多次粉碎隋王朝的进剿。大业十二年(616年)，曾参加杨玄感起兵的隋贵族后裔李密来到瓦岗寨，李密长于谋略，使瓦岗军取得了一系列胜利，翟让遂主动推李密为主，上其号魏公。李密掌握大权之后，政治野心逐日暴露。为保住个人独揽大权，他拉拢重程咬金、秦叔宝等新归附的人，以二人为“内军”骠骑。“内军”是李密从军中挑选的8000个“勇士尤异者”，隶属四位骠骑将，又分为左右两队，主要任务是保护李密。李密对内军十分满意，常说：“此八千人可当百万。”(《旧唐书·程知节列传》)此后程咬金改名为程知节，大业十三年(617年)十月，正在瓦岗军新老势力矛盾逐渐尖锐化之际，李密抢先下毒手，设计斩杀了翟让，独掌大权。
唐武德元年(618年)九月，隋洛阳守将王世充挑选精锐兵马2万余人，马2000余匹，屯兵通济渠(今河南孟县境内)南，在渠上架起三座桥，以便与瓦岗军决战。李密在邙山南麓摆阵迎战王世充，程知节领内马军，与李密安营在北邙山(今河南洛阳市北)上，单雄信则领外马军，安营在偃师城(今河南偃师东)北。王世充部队到达后，立即派出数百骑兵攻打单雄信。李密遂派程知节和裴行俨前去支援。裴行俨率先冲向敌阵，结果中流矢坠马。程知节前去营救，立杀数人，王世充军稍退，他乘机抱起裴行俨撤退。由于载了两个人，程知节的战马负担过重，被王世充军追上。程知节不忍将裴行俨丢下，结果被一槊刺中，“刺槊洞过”，程知节回身折断其槊，将执槊之敌斩于马下，王世充军不敢追赶，二人这才返回本军。此战，由于李密指挥不利，瓦岗军包括程知节和裴行俨在内，共十余员骁将遭受重创，实力大损。不久，李密战败降唐，瓦岗义军失败。
瓦岗军失败后，程知节和许多将领因走投无路，而降于王世充。王世充得到程知节后，接遇甚厚。虽然如此，但是二人皆不满王世充多诈。程知节曾对秦叔宝说：“世充器度浅狭，而多妄语，好为咒誓，乃巫师老妪耳，岂是拨乱主乎？”(《旧唐书· 程知节列传》)秦叔宝亦有同感，于是两人开始找机会离开王世充。
武德二年(619年)闰二月十九日，王世充率部进犯唐朝谷州(治新安，今属河南)，王世充任命程知节为将军，还任命秦叔宝为龙骧大将军。王世充与唐军交战于九曲(今河南宜阳西北)。程知节、秦叔宝、吴黑闼、牛进达等都带兵上阵，率几十个亲信骑马向西跑了一百来步，然后下马向王世充行礼，说道：“荷公接待，极欲报恩。公性猜贰，傍多扇惑，非仆托身之所，今谨奉辞 。”(《旧唐书· 程知节列传》)随即投奔投奔唐军。王世充慑于二人的威名，不敢追逼。
武德九年六月，李建成在夜宴酒中下毒，致使李世民心中暴痛，吐血数升。时突厥郁射设率数万骑兵入塞，围攻乌城(今山西盂县西北)。李建成乘机推荐李元吉代李世民督诸军北征，李渊命其率右武卫大将军李艺等前去救援。李元吉奏请抽调秦王府勇将程知节、尉迟敬德、段志玄和秦叔宝等随军，以消弱李世民实力，然后乘机将其除掉。李世民得知李建成欲於为李元吉饯行时杀害他，遂与文臣武将商议，决定先发制人。四日清晨，李世民率程知节等伏兵玄武门内(长安太极宫北面正门)，伏杀太子李建成、齐王李元吉，夺取了皇位继承权。初七，李渊立李世民为皇太子。十二日，李世民封赏功臣，程知节拜太子右卫率。七月，程知节迁右武卫大将军。八月初八，李渊退位。初九，李世民即皇帝位，是为唐太宗。十月，唐太宗大封功臣，程知节食实封七百户。
