汉武帝元朔四年（前125）置临水县（亦作陵水），属西河郡。西河郡属36县，地跨秦晋两省，黄河以东为15县 ，临水县其一。故治在今曜头乡郝峪塔村北古城梁。县境的南面为皋狼、蔺、平周。王莽时期，临水县曾改监水县。东汉，复名临水县。东汉永和五年（公元140），西河郡36县并为13县，郡治（平定县，即今内蒙古鄂尔多斯左翼前旗境）南徙509里置于离石县。临水县并入离石县，仍属西河郡。汉末，西河郡并入太原郡。

    三国初，仍属太原郡。魏黄初二年（221）设置西河郡，仍属西河郡，治所在兹氏（今汾阳县）。两晋时县境辖于离石，为匈奴占领。十六国时期，属离石镇。南北朝时期，北周时置乌突郡、乌突县，故治在今县城南30里府底村。临南（三交镇以南）置定胡郡、定胡县，故治在今柳林县孟门镇。临东（三交镇以东）置窟胡郡、窟胡县，故治在今方山县南村。

    隋开元年（581），废郡，改乌突为太和，窟胡为修化，定胡仍旧。大业三年（607）改州为郡。三县俱属离石郡。

    唐武德三年（620）改太和县为临泉县，属石州，故治在今城北25公里故县村。县境南部仍为定胡。五代因之。

    宋仍称临泉县、定胡县，隶石州，属河东路。元符二年（1099）改属晋宁军，军治在陕西县下葭芦岩。金天会元年（1123），复名为临水县，废晋宁军，属石州。金明昌六年（1195），定胡县改孟门县，区域未变。金贞佑末年，赐临泉为大定府。蒙古中统二年（1261）改临水为临泉，属太原郡。故治仍在今城北故县村。元至元三年（1337）升为临州，不领县。

    明洪武二年（1369）州降为县，属太原府。临县之称由此而定，至今未变。万历二十三年（1595），改属汾州府。

    清因明制，县属汾州府，冀宁道。

    民国废除府州，县直属省辖，仍置冀宁道。境内实行区所制，划为东、南、西、北、中5个区。民国29年（1940）本县解放，成立共产党领导的抗日民主政府，全县划为10个区；10月，为抗日战争所需，将临县分为临县、临南两个县，临县设7个区，临南设5个区。民国35年（1946）1月，南北合并，仍称临县，下设10个区，2个市（临县市、碛口市），民国36年（1947年）8月，改碛口市为第十一区，属晋绥边区所辖。

    1949年后，属兴县专署管辖。1952年 兴县专署撤销，划归榆次专署管辖（后改晋中专署）,全县为11个区，1 个市。1953年3月，又增设2个区，共设13个区，144个乡。1955年3月，将13个区划为4个中心区，144个乡未变。1956年4月，撤销四个中心区，将原来的144个乡合并为74个乡、1个镇。1958年3月，全县75个乡、镇合并为61个乡。1958年10月，撤销61个乡，设立15个人民公社。1959年3月增设为20个人民公社，4月又增设为26个人民公社。1961年7月，全县有增设为40个人民公社。1965年4月，又增设为41个人民公社。

    1971年吕梁地区组建行署，由晋中专署划归吕梁行署管辖。1971年5月，石站头、韩家山、阳泉三个公社划归方山县管辖，离石县的坪头、西侧则两公社划归本县管辖。1972年8月，阳泉公社划归本县。1972年3月，坪头、西侧则两公社划归离石。1973年2月，将兴县的蔡家会、圪垯上两公社划归临县管辖。1975年11月撤销城镇公社。1976年1月，蔡家会、圪垯上两公社仍划归兴县管辖。至此全县划为38个人民公社。

    1984年4—7月，改乡（镇）村制。全县设10个镇，28个乡。2002年撤乡并镇，全县设13个镇，10个乡。

    2004年7月吕梁撤地设市，仍由吕梁市管辖至今。