山西大学创办于1902年（清光绪二十八年），最初称山西大学堂，设中学专斋和西学专斋，由英国人李提摩太和山西巡抚岑春煊共同创办。校址在太原市侯家巷（现太原师范专科学校）。
民国元年（1912年）初改名为山西大学校。
民国七年（1918年）确定为国立山西大学。
1931年改名为山西大学，抗战期间，曾迁至晋南、陕西三原、秋林等地，于1937年至1939年停办。
1949年春，中国大学理学院并入山西大学。中华人民共和国成立初期，山西大学设有文、理、医、工、法五个学院，进步学者邓初民任校长。山西大学法学院法律系于1949年并入北京大学。
1952—1953年，全国高校进行院系调整，山西大学院系调整如下：
①取消山西大学建制；
②文、理两院（含中文、历史、外语、教育、数学、化学、生物7个系及中文、史地、数学、理化、生物、体育5个专修科）合并，改称山西师范学院；
山西大学堂旧址③医学院（含医学系）独立建院（今山西医科大学）；
④法学院改称财经学院（含经济、工商管理、会计3个系），后划归入中国人民大学；
⑤工学院（含土木工程、采矿工程、冶金工程、化工工程、机械工程、电机工程、纺织工程7个系）中冶金工程系参与组建新成立的北京钢铁工业学院（今北京科技大学），纺织工程系和采矿工程系并入西北工学院（今西北工业大学）；
⑥工学院其余部分（机械工程、电机工程、土木工程、化工工程4个系）独立建校，后发展成为太原理工大学。
1954年，山西师范学院（山西大学前身）由太原市侯家巷迁入太原市坞城路。
1959年，再度组建山西大学。
1961年，与山西师范学院合并，仍定名为山西大学。
1962年，山西体育学院、山西艺术学院并入山西大学。
2001年，山西大学成立研究生学院。
2002年4月，成为山西省唯一一所国家中部地区重点支持的五所大学之一。
2005年5月，成为山西省唯一一所由山西省人民政府与教育部共同重点建设的省部共建大学。
2011年6月，山西大学研究生学院正式更名为“山西大学研究生院”。
2012年5月，入选“中西部高校基础能力建设工程”高校。
2012年11月，成为山西省唯一一所国家“中西部高校综合实力提升工程”入选高校，进入“一省一校”国家建设有特色、高水平大学的新平台。
2013年9月13日，山西省发展和改革委员会发布“关于山西大学东山校区项目建议书（总体规划）的批复”，标志着山西大学东山校区的建设已通过政府的审批。
2014年2月，太原电力高等专科学校并入山西大学，成为山西大学大东关校
院系设置
山西大学初民学院 山西大学文学院
山西大学历史文化学院 山西大学哲学社会学学院
山西大学政治与公共管理学院 山西大学外国语学院
山西大学教育科学学院 山西大学经济与管理学院
山西大学法学院 山西大学数学科学学院
山西大学计算机与信息技术学院 山西大学物理电子工程学院
山西大学化学化工学院 山西大学生命科学学院
山西大学环境与资源学院 山西大学体育学院
山西大学音乐学院 山西大学美术学院
山西大学继续教育学院 山西大学国际教育交流学院
山西大学软件学院 山西大学环境工程系
山西大学自动化系 山西大学电子工程系
山西大学电力工程系 山西大学工程管理系
山西大学土木工程系 山西大学动力工程系
附属机构
山西大学附属中学 山西大学附属小学 山西大学附属幼儿园
独立学院
山西大学商务学院
联合办学
山西大学生物工程学院 山西大学职业技术学院
现任校长：贾锁堂
