据史书记载，佳木斯是松花江通往黑龙江江口的古驿道，这里生活着满族的先祖肃慎，以后又称挹类人。佳木斯之称起源于何时，没有确切记载，只是到1720年（清康熙五十九年），在《康熙皇舆全览图》上，在佳木斯地区上被与写作“甲母克寺噶珊”。1778年（乾隆四十三年）出版的《盛京、吉林、黑龙江标注战绩图》上，又以满汉文字称“嘉木寺屯”。按满语解释，佳木斯为驿丞，噶珊为村，所以佳木斯为“驿丞村”或“站官屯”。1888年，由依兰旗署高“东兴镇”，后因重名，恢复沿用佳木斯至今。

由于佳木斯紧靠松花江，有天然良港，上通依兰、哈尔滨，下接黑龙江直达日本海,得水陆交通之便利，粮食、土特产品、日用品等的出口转运日渐活跃,由一个自然经济小镇,成为依兰以东的商业中心城镇。同时，还吸引了依兰、哈尔滨。俄罗斯、日本等地商人。1931年,“九一八”事变前，佳木斯工商户达400多家，商贸活动内联三江，南通内地，远及俄罗斯、日本、朝鲜等国，经济实力与三江首府依兰大致相当,大有取代三江首府依兰之势。1932年,日本侵占佳木斯，当年桦川县公署在佳木斯设立。1934年，伪满在三江省设立，省会设在佳木斯。1937年，佳木斯镇升为市，成为省、市、县三署重镇，成为东北十大新都市之一。1945年，“八一五”光复后，佳木斯回到了人民的怀抱，中国共产党在这里组建了人民政权，成为支援全国解放战争的后方根据地，被誉为“东北的小延安”。1949年,中华人民共和国成立后,佳木斯市经济建设发展很快，成为铁路、公路、水运、航空、邮电、通讯的枢纽，成为通往太平洋国际经贸大通道的国际性旅游、贸易的城市，在为祖国东北边境的明珠。

佳木斯的历史悠久，早在6000年前这里就有了人类的活动。佳木斯地区古代民族主要是肃慎族，是居住在松花江、黑龙江、乌苏里江流域的远祖。17世纪中叶，沙皇俄国入侵中国，经过历时两年的雅克萨之战，遏制了沙俄入侵的势头。1840年，鸦片战争爆发后，又燃起沙俄侵占中国东北黑龙江流域的贪婪欲火。他们采取“先军事占领,后协商谈判”的策略,1858年强迫清朝政府签订了由俄方拟定的《中俄瑗珲条约》，强占中国黑龙江以北60多万平方公里的领土。1860年，又签订了《中俄续增条约》，侵占中国领土40余万平方公里。1900年，沙皇俄国制造了骇人听闻的“江东六十四屯惨案”和“海兰泡惨案”。至此，佳木斯市由一个内陆行政区成为中俄边境城市。

1932年，日本侵略者占领了依兰、汤原、佳木斯。三江各族人民面对日本侵略者的屠杀掠夺，不甘做亡国奴，纷纷举起义旗,自发地组织抗日武装,给予日本侵略者以沉重打击。1932—1934年，中国共产党相继派出杨靖宇、赵尚志、李延禄、夏云杰等同志，先后组建了13支抗日游击队，其中活跃在佳木斯的游击队，就是由北满省委派出的冯仲云、李延禄、夏云杰等组织发动建立起来的。1936年秋，组建了抗日联军11个军，除抗联一军、二军、十军活动于三江地区之外，其他8个军都活动在佳木斯一带。1931年—1945年的15年间，据不完全统计，共消灭日军182，700余人，加上伤俘者不下25万人。同时，涌现出许多抗日英雄和革命先烈，他们为抗日战争的胜利做出了巨大贡献。

1945年11月，佳木斯成立中共合江省工委，不久成立合江省政府，佳木斯成为东北革命根据地的后方，被人们誉为“东北的小延安”。东北全境解放后，革命重心南移，合江省建制于1949年4月21日撤消。在解放战争期间，佳木斯地区有3.5万人奔赴东北前线主力部队，广大人民群众踊跃支前，为东北和全国的解放做出了重大的贡献。

全国解放之后，佳木斯进行了经济建设。这期间，佳木斯相继建成一批在国内占有重要地位的骨干企业，如全国最大的造纸厂—佳木斯造纸厂、全国最大的特种电机生产厂—佳木斯电机厂等。1958年，10万转业官兵开发三江平原，掀开了开发“北大荒”的序幕。1968年，全国百万知识青年赴边疆开发“北大荒”，佳木斯成为黑龙江开发北大荒的指挥中枢，东北农垦总局所在地都设在佳木斯。1987年,全国拥军优属拥政爱民经验交流会在佳木斯市召开。1991年,佳木斯市被民政部、解放军总政治部命名为“双拥模范城”，现已连续四次蝉联此项殊荣。佳木斯市还连续四次荣获全国卫生城荣誉称号。