郝懿行在注释时也赞同郭璞的说法，他说：“山以霍名者非一，皆本地为义也。”他认为全国有多处以霍为名的山峰，而且都是“大山围小山”式的地形。他举安徽的霍山为例：“天柱山中峰小而四围有大山以绕之，与此合矣。”其实山西的霍山也是这种地形，其中部低平，四周山峰环绕。明代《嘉靖七年九月平阳知府祭告霍山文》中就这样描述了霍山的形势：“抗中条而屹乎如案兮，环群峰而缭焉如墙”。这都证实郭璞对“霍”的诠释是很有见地的。
《水经注》中还记载了霍国末代国君霍公求的一个故事。传说晋献公灭霍国后，霍公求逃往齐国，结果这年晋国大旱，民不聊生。掌管占卜的官员说，这是霍山在作祟，山神无人祭祀的缘故。晋献公只好遣使赴齐请霍公求回国专祀霍山，后来晋国才又获得好收成。这一传说是关于祭祀霍山神的最早记载。
霍山何时列入祀典？我们已无从考见，但在《周礼职方氏》记载九州的镇山时，就已把霍山作为冀州的镇山。另外八州的镇山是：杨州会稽山、荆州衡山、雍州华山、豫州嵩山、兖州泰山、青州沂山、并州恒山、幽州医无闾山。隋开皇十四年（594年），又诏令祀霍山为中镇。
隋末唐太宗起兵太原，过霍邑县受到隋将宋老生顽强抵抗。时有一白发翁，告之以盐商古道，唐太宗根据其指点，弃辎重，巡霍山，出奇兵，于彘水之北大败隋兵，斩杀宋老生。此后唐兵南下，直驱长安，如蹈无人之境。唐太宗即位后，认为霍邑大捷是得霍山神人指点，遂封霍岳中镇为应灵王。同时再次明确了五岳和五镇之封。五岳即东岳泰山、西岳华山、南岳衡山、北岳恒山、中岳嵩山；五镇即东镇沂山、西镇吴山、南镇会稽山、北镇医无闾山、中镇霍山。至此，中镇霍山神崇名美号，历代有加。山中有关举行祀典的建筑及佛道文化建筑如中镇庙、兴唐寺、慈云寺、真武庙、广胜寺、红崖寺、喝石庵等也随之遍布其间。时至霍山仍然是山西著名的风景名胜区。
