万安古镇位于休宁县城正东4公里处，它依傍于横江北岸，临水而立，皖赣铁路，屯景公路横贯全镇，镇东尽头，是风光的绮丽的古城山。三国吴永安元年(258年)至隋开皇九年(589年)，古城山一直为县治驻地。隋末汪华起兵，统辖歙、宣、杭、睦、婺、饶六州，也曾设治于此，并改古城山为“万寿山”，在山上建妨筑庙，大兴土木。
明末清初，民族英雄金声招募义军数千人，屯扎于此，后北上抗清，兵败被杀。万安地处盆地，依畔横江，又当休宁县通往州府的要道，遂成为早期外来居民的聚居地。在陆路不发达时，万安一直是古徽州重要的水运码头，来往行商众多，渐成集镇。镇街长约5华里，明清均为休宁九大街市之首，有“小小休宁城，大大万安街”之誉。