山西大学创办于1902年（清光绪二十八年），最初称山西大学堂，设中学专斋和西学专斋，由英国人李提摩太和山西巡抚岑春煊共同创办。校址在太原市侯家巷（现太原师范专科学校）。
民国元年（1912年）初改名为山西大学校。
民国七年（1918年）确定为国立山西大学。
1931年改名为山西大学，抗战期间，曾迁至晋南、陕西三原、秋林等地，于1937年至1939年停办。
1949年春，中国大学理学院并入山西大学。中华人民共和国成立初期，山西大学设有文、理、医、工、法五个学院，进步学者邓初民任校长。山西大学法学院法律系于1949年并入北京大学。
1952—1953年，全国高校进行院系调整，山西大学院系调整如下：
①取消山西大学建制；
②文、理两院（含中文、历史、外语、教育、数学、化学、生物7个系及中文、史地、数学、理化、生物、体育5个专修科）合并，改称山西师范学院；
山西大学堂旧址③医学院（含医学系）独立建院（今山西医科大学）；
④法学院改称财经学院（含经济、工商管理、会计3个系），后划归入中国人民大学；
⑤工学院（含土木工程、采矿工程、冶金工程、化工工程、机械工程、电机工程、纺织工程7个系）中冶金工程系参与组建新成立的北京钢铁工业学院（今北京科技大学），纺织工程系和采矿工程系并入西北工学院（今西北工业大学）；
⑥工学院其余部分（机械工程、电机工程、土木工程、化工工程4个系）独立建校，后发展成为太原理工大学。
1954年，山西师范学院（山西大学前身）由太原市侯家巷迁入太原市坞城路。
1959年，再度组建山西大学。
1961年，与山西师范学院合并，仍定名为山西大学。
1962年，山西体育学院、山西艺术学院并入山西大学。
2001年，山西大学成立研究生学院。
2002年4月，成为山西省唯一一所国家中部地区重点支持的五所大学之一。
2005年5月，成为山西省唯一一所由山西省人民政府与教育部共同重点建设的省部共建大学。
2011年6月，山西大学研究生学院正式更名为“山西大学研究生院”。
2012年5月，入选“中西部高校基础能力建设工程”高校。
2012年11月，成为山西省唯一一所国家“中西部高校综合实力提升工程”入选高校，进入“一省一校”国家建设有特色、高水平大学的新平台。
2013年9月13日，山西省发展和改革委员会发布“关于山西大学东山校区项目建议书（总体规划）的批复”，标志着山西大学东山校区的建设已通过政府的审批。
2014年2月，太原电力高等专科学校并入山西大学，成为山西大学大东关校区
本科专业
一级学科 二级学科 专业 所属学院
哲学 哲学类 哲学 山西大学哲学社会学学院
经济学 经济学类 经济学、国际经济与贸易、金融学、经济统计学 山西大学经济与管理学院
山西大学法学院
社会学类 社会学、社会工作 山西大学哲学社会学学院
政治学类 国际政治、思想政治教育 山西大学政治与公共管理学院
教育学 教育学类 教育学、学前教育 山西大学教育科学学院
体育学类 体育教育、运动训练、社会体育 山西大学体育学院
文学 中国语言文学类 汉语言文学、汉语国际教育 山西大学文学院
外国语言文学类 英语、俄语、德语、法语、日语、翻译 山西大学外语学院
新闻传播学类 新闻学、广告学 山西大学文学院
艺术类 绘画、雕塑、美术学、艺术设计、动画、公共艺术 山西大学美术学院
音乐学、作曲与作曲技术理论、音乐表演、舞蹈编导 山西大学音乐学院
戏剧影视文学 山西大学文学院
历史学 历史学类 历史学 山西大学历史文化学院
考古学 山西大学历史文化学院
博物馆学 山西大学历史文化学院
理学 数学类 数学与应用数学 山西大学数学科学学院
信息与计算科学 山西大学数学科学学院
应用物理学 山西大学物理电子工程学院
化学类 化学、应用化学 山西大学化学化工学院
生物科学类 生物科学、生物技术 山西大学生命科学与技术学院
地理科学类 地理科学、资源环境与城乡规划管理 山西大学环境与资源学院
电子信息科学类 电子信息科学与技术、光信息科学与技术 山西大学物理电子工程学院
材料科学类 材料物理 山西大学物理电子工程学院
材料化学 山西大学化学化工学院
环境科学类 环境科学、生态学 山西大学环境与资源学院
心理学类 应用心理学 山西大学教育科学学院
统计学类 统计学 山西大学数学科学学院
工学 电气信息类 电子信息工程 山西大学电子工程系
计算机科学与技术 山西大学计算机与信息技术学院
电子科学与技术 山西大学物理电子工程学院
软件工程 山西大学软件学院
环境与安全类 环境工程 山西大学环境与资源学院
轻工纺织食品类 食品科学与工程 山西大学生命科学与技术学院
生物工程类 生物工程 山西大学生命科学与技术学院
仪器仪表类 测控技术与仪器 山西大学自动化系
电气类 电气工程及其自动化 山西大学自动化系
土木类 土木工程 山西大学土木工程系
建筑环境与能源应用工程 山西大学电力工程系
建筑电气与智能化 山西大学电力工程系
能源动力类 能源与动力工程 山西大学动力工程系
建筑类 建筑学 山西大学土木工程系
自动化类 自动化 山西大学自动化系
机械类 机械电子工程 山西大学电力工程系
医学 药学类 药学 山西大学化学化工学院
管理学 管理科学与工程类 信息管理与信息系统 山西大学经济与管理学院
工程管理、工程造价 山西大学工程管理系
工商管理类 工商管理 山西大学经济与管理学院
旅游管理 山西大学历史文化学院
电子商务、会计学 山西大学经济与管理学院
公共管理类 行政管理、公共事业管理、劳动与社会保障 山西大学政治与公共管理学院
图书档案学类 图书馆学 山西大学经济与管理学院
服务业管理类
酒店管理 山西大学经济与管理学院
专科专业（2个）：电厂热能动力装置、发电厂及电力系统
现任校长：贾锁堂
