衡水位于河北省東南部，總面積8815平方公里。東部與滄州市的東光縣、吳橋縣和山東省德州市毗鄰，西部與石家莊市的深澤縣、辛集市接壤，南部與邢臺市的南宮市、新河縣以及山東省武城縣相連，北部同保定市的安國市、博野縣、蠡縣和滄州市的肅寧縣、獻縣、泊頭市交界。市政府所在地桃城區(qū)北距首都北京250公里，西距省會石家莊119公里。其歷史悠久，上古時代因地跨黃河，今轄區(qū)分屬冀、兗二州。饒、昌、武城、武羅均系境內(nèi)主要封邑方國。春秋時期多歸晉國。戰(zhàn)國時代為燕、趙之地。公元前221年秦始皇統(tǒng)一中國后屬鉅鹿郡。漢代屬冀州刺史部，先后設(shè)有廣川國、信都國和安平國，今轄縣市區(qū)多為此時建置。三國時系魏國冀州域，冀州治自鄴始移信都，境內(nèi)分屬安平、博陵、渤海三郡。晉代仍為冀州所轄。隋時，南部屬冀州，北部屬公元596年所置深州。唐代屬河北道。宋初冀州屬河北東路，深州屬河北西路。元初，觀州治所移至縣城(今景縣城)，并于公元1265年復(fù)稱景州。此后直至明、清，先后為中書省、京師、直隸省所轄，境內(nèi)仍由冀、深、景三州分領(lǐng)。
中華民國初期，各州皆改為縣，直隸于省。至1914年，今轄區(qū)分屬大名道、保定道、津海道管理。1928年，直隸省改稱河北省，同時廢道，各縣直隸于省。
1937年抗日戰(zhàn)爭爆發(fā)后，今轄區(qū)分屬中國共產(chǎn)黨領(lǐng)導(dǎo)的晉察冀邊區(qū)之冀中區(qū)和晉冀魯豫邊區(qū)之冀南區(qū)。1948年5月，兩邊區(qū)合并改稱 華北行政區(qū)。
1949年8月1日始設(shè)衡水專區(qū)，轄原冀南、冀中兩區(qū)之部分縣域，包括衡水、冀縣、棗強、武邑、深縣、武強、清河、恩縣、夏津、武城、故城、景縣、阜城等13縣，屬新建立的河北省。
1952年11月7日衡水專區(qū)奉華北行政委員會之命撤銷，其轄區(qū)之夏津、恩縣、武城3縣劃歸山東省，衡水、深縣、武強、武邑、棗強、冀縣6縣劃歸石家莊專區(qū)，景縣、故城、阜城3縣劃歸滄縣專區(qū)，清河縣劃歸邢臺專區(qū)。1962年6月27日，國務(wù)院批準衡水專區(qū)復(fù)置，下轄衡水、冀縣、棗強、武邑、深縣、武強、饒陽、安平、故城、景縣、阜城計11縣。1970年，衡水專區(qū)改稱衡水地區(qū)。1982年1月，衡水鎮(zhèn)升為衡水市。1993年9月，冀縣改建為冀州市。1994年7月，深縣改建為深州市。1996年5月31日，國務(wù)院批準撤銷衡水地區(qū)，改設(shè)地級衡水市，同時撤銷原縣級衡水市，改設(shè)桃城區(qū)。至2000年末，衡水市下轄1區(qū)、8縣和2個縣級市。