Im Jahr 1796 hatte diese Heimat „unter der Kappelle“ ein Josef Müller (1739-1817), vulgo „Muserles“ mit 3 Kuhwinterung Gut dabei und mit einem Heuet neben dem Wasser mit jährlich 10 Burden Heu im Besitz. Die Wirtschaft zum „Hirschen“ befand sich nicht dabei, sondern hatte damals noch ein Lorenz Heim (1732-1814) im freskobemalten Hause No. 54 (heute Standort Mühleweg 8) inne.

In den Jahren 1807 und 1811 erfahren wir von einem Bäckergewerbe des Johann Josef Hilbrand. Unklar ist allerdings, ob dieser bereits im Haus wirtete. Dessen Nachfolger Franz Alois Heim soll die Wirtschaftsgerechtigkeit aus der alten Hirschenwirtschaft in dieses Haus übertragen haben. Letztgenannter verkaufte am 16. November 1828 das Haus mit Wirtsgerechtigkeit, Bäckergewerbe und Güter an Leopold Fritz von Mittelberg. Er besaß auch zwei Sägewerke (Melköde und Leidtobel) und die Ziegelei im Wald. Fragten ihn die Leute nach seinem großen Reichtum, so antwortete er mit einem breiten Schmunzeln: “Lieber 10 Neider, als ein Mitleider”.
Im Jahre 1836 zog der Fuhrmann und Krämer Johann Josef Felder (1805-1850) als neuer Hirschwirt auf, indessen sein Vorgänger Adlerwirt in Riezlern wurde. Er wird als äußerst regsamer Geschäftsmann geschildert, baute 1842 eine Braustatt und vergrößerte den Grundbesitz mit 2 ½ Frühlingsweiden „gegen den Landwasser“. Sein Kegelgraben erfreute sich solch eifrigen Besuchs, dass die Gemeindebehörde wegen zu hohen Geldeinsatzes mehrmals einschritt.

Felder starb im Jahr 1850 und neuer “Hirschwirt” wurde Franz Alois Seelenmayer (1825-1875. Nach seinem Tode wirtete seine Witwe Karolina, geb. Schugg (1834-1895) bis zu ihrem Tod weiter. Ihre Nachfolgerin wurde die Tochter Theresia Seelenmayer. Deren Schwester Berta (1870-1896) war die letzte Bierbrauerin im Kleinwalsertal.

Theresia Seelenmayer heiratete 1907 Daniel Fritz und wirtete bis zu ihrem Tod anno 1933. Danach heiratete Daniel Fritz ein zweites Mal und war “Hirschwirt” bis zum Tode im Jahre 1959. Von den folgenden Erben wurde die Hirschwirtschaft noch bis 1998 selbst und bis 2010 im Pachtverhältnis weiterbetrieben.

Auf dem ehemaligen Wirtshausschild befand sich einst die Jahrzahl 1744, womit das Alter des Hauses gemeint sein wird. Das “Gasthaus zum Hirschen” wurde mehrmals umgebaut und modernisiert, behielt aber bis zu seiner Schließung immer den Charakter einer echten Dorfwirtschaft. Für Einheimische und Gäste war der “Hirschwirt” eine beliebte Einkehrstätte in Hirschegg. Neben der Wirtschaft war von 1886 bis 1930 im Haus auch die Post-Ablagestelle für Hirschegg und die Post musste dort noch selbst abgeholt werden.