Ein besonderer Höhepunkt in der Geschichte des Hauses ist der Sommer des Jahres 1772, als Johann Wolfgang Goethe während seines Aufenthalts in Wetzlar an einem Ball im damaligen Jägerhaus in Volpertshausen teilnahm.

Goethe war von Mitte Mai bis zum 11. September 1772 als Praktikant am Reichskammergericht in Wetzlar immatrikuliert. Diese Ausbildung sollte auf Wunsch seines Vaters seine juristischen Kenntnisse vertiefen, auch wenn Goethe sich in dieser Zeit nur wenig der Rechtspraxis widmete.

Am 9. Juni 1772 richtete Goethes Großtante, die Hofrätin Lange, im Jägerhaus in Volpertshausen den später berühmt gewordenen „Ball auf dem Lande“ aus, um ihren Großneffen in die Wetzlarer Gesellschaft einzuführen. Insgesamt nahmen 25 junge Leute, 13 Damen und 12 Herren teil, die an diesem warmen Juniabend mit Kutsche oder Pferd nach Volpertshausen kamen, darunter auch Johann Christian Kestner und Karl Wilhelm Jerusalem.

Dieser Ball in Volpertshausen hinterließ bei Goethe einen unauslöschlichen Eindruck, nicht zuletzt deswegen, weil er dort die 19jährige Tochter Charlotte des Deutsch-Ordens-Amtmanns Heinrich Adam Buff aus Wetzlar kennenlernte. Goethe verliebte sich in sie, obwohl Charlotte zu dieser Zeit schon mit dem hannoverschen Legationssekretär Johann Christian Kestner verlobt war. Er besuchte „Lotte“ nach dem Ball oft in ihrem Elternhaus auf dem Deutschordenshof. Die Mutter lebte nicht mehr und es war die zweitälteste Tochter Charlotte, die sich um ihre sieben jüngeren Geschwister kümmerte, was ihre Anziehungskraft auf Goethe noch erhöhte. Als Charlotte ihm eines Tages allerdings unmissverständlich zu verstehen gab, dass es für sie keine gemeinsame Zukunft geben könne, verließ er Wetzlar am 11. September desselben Jahres, ohne sich von ihr verabschiedet zu haben. Die Erlebnisse dieser Zeit verarbeitete Goethe literarisch in seinem 1774 erschienenen Briefroman „Die Leiden des jungen Werthers“, in den auch Eindrücke der Ballnacht in Volpertshausen einflossen.

Aufgrund dieses bedeutenden literaturgeschichtlichen Ereignisses trägt das Gebäude heute den Namen „Goethehaus Volpertshausen“.