Hauskauf, Verkäufer verweigert die Schlüssel?

Hallo, Folgendes: wie haben ein Haus erworben. Zahldatum war noteriell Ende April. Da wir Probleme mit der Bank hatten, kam es erst Anfang juli zur auszahlung. Das war mit dem Verkäufer auch abgesprochen. Er war jetzt bis Ende Juli im Urlaub, so das wir immernoch keinen Schlüssel haben. Wir haben ihn jetzt um einen Termin für Schlüsselübergabe gebeten, er fordert verzugszinsen. Die werden wir ihm natürlich bezahlen, aber die Überweisung wird erst zum wochenanfang erfolgen können. Wir haben barzahlung angeboten. Er verweigert dies u will die Schlüssel erst (vielleicht) nach Eingang der Zahlung geben. Da wir aber unsere Wohnung schon gekündigt hatten sind wir auf jeden Tag früher schlüsselübergabe angewiesen . Er wohnt schon längst nicht mehr da. Offiziell sind wir im Grundbuch und er hat den Kaufbetrag. Auch wenn ich heute das Geld überweise wird es erst am Dienstag bei ihm sein. Und dann wird er bestimmt mit dem Termin zögern, da er anfahren muss. Ich muss aber am 15.8 aus meiner Wohnung. Ist es rechtens, das er den Schlüssel einbehält? Was kann ich auf die schnelle tuen? Er will es nicht bar haben. Das könnte ich ihm morgen schon geben (ist kein doller Betrag)