Das mittelalterliche Hirschberg entstand unweit der von Meschede nach Soest führenden Straße als arnsbergische Grenzfeste gegen die benachbarten kölnischen Territorien. Die Grafen von Arnsberg verliehen ihrer, aus der Tallage bei Odacker auf den Hirschberg in den Schutz einer Burg verlegten, Neugründung 1308 Eversberger Rechte. Ein Ausbau der dreistraßigen Anlage ließ sich jedoch erst nach 1350 erreichen. Nach dem 1368 erfolgten Verkauf der Grafschaft Arnsberg an Kurköln wurde der mitten im Arnsberger Wald gelegene Ort zu einem bevorzugten Aufenthaltsort der Kölner Kurfürsten, die im 16. Jahrhundert ihre Forstverwaltung nach hier verlegten. Ein von Kurfürst Max Heinrich 1662 - 1668 erbautes Jagdschloss blieb von den beiden großen Stadtbränden 1778 und 1788 verschont, wurde jedoch im Zuge der Säkularisation zu Anfang des 19. Jahrhunderts weitestgehend abgebrochen.