张伯行自幼即聪敏好学，受父亲、祖父的影响，品德也很高。十三岁时就通读了四书五经。
康熙二十年（1681年），张伯行考中了举人，
康熙二十四年（1685年），中殿试三甲八十名，赐进士出身。
康熙三十一年（1692年），补授内阁中书，从此步入仕途。后来，张伯行遇父丧归乡，建立请见书院，并讲解宣传儒学。
仪封城北原有堤，康熙三十八年（1699年）六月因遭大而被冲垮，伯行招募民工用口袋装土来堵塞。河道总督张鹏翮巡视黄河后，上疏推荐张伯行能够治理河务。皇上命他以原来的官衔到河工任职，督修黄河南岸堤二百余里，以及马家港、东坝、高家堰各工程。
赈济灾民康熙四十二年（1703年），张伯行被授为山东济宁道。适逢灾荒之年，便从家乡运来钱和粮食，并缝制棉衣，用来解救百姓的饥寒。 康熙帝命令按各道救济灾民，张伯行便拿出仓谷二万二千六百石有余赈济所属汉上、阳谷二县。山东市政使责备他独断专行，准备上疏弹劾，伯行说：“皇上有旨救灾，不能说是独断专行。皇上如此重视民间疾苦，应该以仓谷为重呢？还是以人命为重？”布政使只好停止弹劾事。
天子赏识康熙四十五年（1707年），张伯行被任命为江苏按察使，这是 巡抚的属下。按照当时的官场旧例，新任的**要给巡抚、总督等上司送礼，以示尊敬，也表示请求以后关照提拔，这大概需要白银四千两。但张伯行秉性耿直，从不巴结上司，对此**风气深恶痛绝，他说："我为官，誓不取民一钱，安能办此！"拒绝送礼。不但如此，在任内他还尽力革除当地弊病，整顿吏治，因而得罪了总督和巡抚，常受到他们的排挤。
康熙四十六年（1708年）正月，康熙帝南巡到达江苏，在苏州谕令总督和巡抚举荐贤能的**。在举荐的名单中康熙皇帝没有看到已闻名朝野的张伯行，就对总督、巡抚申斥道："朕听说张伯行居官清廉，是个难得的国家栋梁之才，你们却不举荐！"说完又转向张伯行：“朕很了解你，他们不举荐你，朕举荐你。将来你要居官而善，做出些政绩来，天下人就会知道朕是名君，善识英才；如果贪赃枉法，天下人便会笑朕不识善恶。”于是，提拔张伯行为福建巡抚，赐予“廉惠宣猷”的匾额。
治理闽浙张伯行上疏请求免去台湾、凤山、诸罗三县因灾荒而欠交的赋税。因为福建的米价很贵，张伯行请求动用国库的钱五万购买湖广、江西、广东的米平价出售。建鳌峰书院，置学舍，拿出自己的藏书，搜罗前代文人的文集刊印成《正谊堂丛书》，用来教学生。
福建百姓祭祀瘟神，张伯行命令毁掉这些瘟神的偶像，改祠堂为义学，祭祀 朱熹。民间多尼姑，有人卖贫苦人家的女子，以致削发为尼者成百上千，张伯行命令这些人家赎回自己的女子，为她们选 择配偶。有家境贫穷无法赎回的，由官府出钱赎出。
康熙四十八年（1710年），张伯行调任江苏巡抚，救济淮安、扬州、徐州三府的灾荒。适逢布政使宜思恭因布政司库存亏空被总督噶礼弹劾罢免，康熙帝派尚书 张鹏翮查处。 陈鹏年以苏州知府的身份代理布政使职务，建议布政司库所亏空的三十四万，以分别扣除**的俸银及使用差役的费用来抵补。张伯行行文噶礼要求联名上疏，没有被答应。张伯行便自己上疏，康熙帝得知后命张鹏翮一并调查。张伯行另外又上疏说明了 噶礼的不同意见。康熙帝对廷臣说：“看了张伯行的这个上疏，知道他与噶礼不和。作为臣子，应该以国事为重。我办理机务将近五十年，未曾让一个人施展他的私欲。这个上疏应当放置不予理睬。”不久，张伯行以身体多病为由提出辞官，康熙帝没有允许。张鹏翮请求责成张伯行的前任巡抚于准及直思恭赔偿十六万，其余用**俸银及使用差役的费用来抵补。康熙帝说：“江南亏空钱粮，并不是因为官吏侵吞。我南巡时，总督、巡抚随意挪用公款而下级官吏不敢议论。如果责成新任官吏来补偿，我实在于心不忍，”于是让查明南巡时用款情况上报。张伯行又上疏，奏明各府州县现无着落的钱粮十万八千，康熙帝命令一律免于赔偿。噶礼贪婪横行，张伯行与他相反。
科考**康熙五十年（1712年），江南乡试的副考官赵晋暗中交接考生，接受贿赂。发榜以后，读书人议论喧哗，抬着财神进入学宫。张伯行上疏奏明这件事，正考官左必蕃也把实际情况上报。康熙帝命尚书张鹏翮、侍郎赫寿查处，张伯行与噶礼会审。后得到举人吴泌、程光奎暗中贿赂的情况，供词中牵连噶礼，张伯行请求解除噶礼的职务，交有关部门严肃审理。噶礼心中不安，也找出张伯行的所谓七条罪状上奏。康熙帝命二人都解职。张鹏翮等不久奏报：赵晋与吴泌、程光奎行贿受贿事均属实，应按刑律治罪；噶礼暗中受贿事属诬告，张伯行应**。
康熙帝责备张鹏翮等为噶礼掩饰，又命尚书穆和伦、张廷枢重新审查，结果仍旧与前次张鹏翮等人的意见相同。康熙帝说：“伯行任官清正，这是天下所了解的。噶礼才干虽有余，但喜好无事生非，并没有清正的名声，这个意见是非颠倒。”于是，命九卿、詹事、科道官再议。第二天，召九卿等说：“伯行居官清正廉洁，噶礼的*行我不能相信，如果没有张伯行，那么江南必然受到他的盘剥，大概要达到一半地区。这次二人互相参奏的案子，起初派官去审理，被噶礼阻挠，以致不能得到其中的真实情况；再派官去审理，与前面的意见没有区别。你们应能体会我保全清官的心意，要使正直的人没有什么疑虑和*惧，那么天下将会出现安定的局面。”于是夺去噶礼的官位，命张伯行 复职。
晚年经历康熙五十二年（1714年），江苏布政使一职缺员，张伯行上疏推荐福建布政使李发甲、台湾道陈��、前任国子监祭酒 余正健，而康熙帝已将湖北按察使牟钦元提拔就任。不久，张伯行弹劾牟钦元将通海盗的罪犯 张令涛隐藏官署中，请求逮捕治罪。张令涛的哥哥张元隆住在上海，造海舱，出入海洋，拥有大量资产，交接豪贵。
赶上刑部下檄文搜缉海盗郑尽心余党，崇明水师捕住一条渔船，此船的主人是福建人，却假冒华亭籍，经过查验船照，知是元隆所代领。张伯行准备一追到底，当时令涛在噶礼府内任职，元隆托病逃避逮捕，案子未结却死于家中。噶礼先前弹劾伯行，曾抓住这件事作为七条罪状之一。正巧上海县百姓顾协一**令涛占据他的房屋，另外还有几处水寨窝藏海贼，声称令涛现在居住在钦元官署中。康熙帝命总督 赫寿调查审理，赫寿庇护张令涛，以通贼事查无实据而上报。
康熙帝又命张鹏翮及副都御史阿锡鼐调查此案，张鹏翮等奏报张元隆、张令涛都是良民，请求夺去张伯行的官职。康熙帝命复查，并让张伯行自己陈述。张伯行上疏说：“元隆通贼，虽然上报已死，然而他财产丰厚，党徒也多，人人可以**，处处可已领到执照。令涛是顾协一首先告发的，如果顾协一举报不实，照例应以诬陷治罪。由于钦元庇护，致使此案久悬未决。我作为地方长官，应该在事情刚刚发和时即加以防止，怎能不追究呢？”
张伯行解任之后，张鹏翮等仍以他诬陷良民，挟私报复，要求斩首。刑法部门讨论同意这一建议，而康熙帝却免了张伯行的罪，调他到京城来。不久，张伯行到南书房任职，兼代理仓场侍郎，并充当顺天乡试的正考官。后授为户部侍郎，兼管钱法、仓场，又充当会试副考官。
雍正元年（1723年）， 雍正帝擢其为礼部尚书，并赐他“礼乐名臣”的匾额。
雍正二年（1724年），雍正帝命令他到阙里崇圣祠进行祭祀活动。
雍正三年（1725年），张伯行去世，终年七十五岁。张伯行留下遗疏，请求推崇儒学，奖励直臣。雍正帝悲痛悼念他，赠太子太保，谥清恪。光绪初年，准许附祭于孔子庙。
轶事典故张伯行刚成进士时，回家乡南郊建造了一座精制的房屋，摆上了数千卷书以供纵情观览，看到《小学》、《近思录》，以及程、朱的《语类》，说：“进入圣人的门庭在这里呀！”他曾全力找到宋代理学四大学派 周敦颐、 程颢、 程颐、 张载、朱熹各位大儒的书，一边诵读一边抄录，前后共七年。最初任官时曾说：“圣人们的学问，概括为一个u2018敬u2019字，所以学习没有比掌握敬更重要的。”因此他自号为“敬庵”。又说：“君子懂得义，小人只知利。老子贪生，信佛的人怕死，烈士追求名声。这都是属于利。”
在官时所招致的，都是学问醇正、志向*行清廉的人，而且开始不让他们知道自己是做官的。平时对于意见不合的人，也仍与他们共事，开诚布公，同心协力，没有一点怨恨。他说：“已得到皇上的保全，怎敢以私而废公呢？”
历史评价康熙帝：①伯行居官清正，天下所知。②素性偏执，且短于才，封疆之寄不能胜任。③伯行*守为天下**。
郎廷极：才性短偏，多疑苛细。
《清史稿》：清世以名臣从祀孔子庙，斌、陇其、伯行三人而已，皆以外吏起家，蒙圣祖恩遇。陇其官止御史，而廉能清正，民爱之如父母，与斌、伯行如一，其不为时所容而为圣祖所爱护也亦如一。君明而臣良，汉、唐以后，盖亦罕矣。斌不薄王守仁，陇其笃守程、朱，斥守仁甚峻，而伯行继之。要其躬行实践，施於政事，皆能无负其所学，虽趋乡稍有广隘，亦无所轩轾焉。
个人著作张伯行著作宏富，有《正谊堂集》十二卷、《道南源委》、《道统录》、《伊洛渊源续录》、《居济一得》、《小学集解》、《续近思录》、《学规类编》、《性理正宗》、《广近思录》、《濂洛关闽书》、《困学录集粹》、《濂洛风雅》（均见四库总目）等，并传于世。
史书记载《清史稿· 列传五十二》