Ich soll zu laut sein? Was kann ich tun?

Ich wohne seit 1 Jahr mit meiner Freundin zusammen und seit neustem beschwert sich unser Nachbar das wir zu laut sein sollen und die Nachtruhe nicht einhalten. Aber da meine Freundin und ich nicht zu laut sind verstehen wir das nicht. Der Nachbar führt anscheinend ein Lärm Protokoll wo wir dauerhaft nach 23 uhr zu laut sein sollen, was aber garnicht geht da wir da meistens schon schlafen da wir am nächsten tag arbeiten müssen. Ein Gespräch verweigert der Nachbar jedoch. Was können wir tun um der Hausverwaltung zu zeigen wir sind nicht zu laut ?