Schimmel nach knappen 3 Wochen nach Einzug?

Unsere momentane Situation.
Wir sind seit 2 Monaten in eine 4.5 Zimmer Wohnung gezogen.
Nach 1 Woche stellte ich fest, das die eine Ecke im Schlafzimmer etwas schwarz wird (noch sehr sehr schwach und nicht störend). Nach knappen 3 wochen sah man es schon sehr gut. Auf das habe ich den Vermieter sofort informiert und fotos gemacht.
Er hat gemeint das könne ich mit Essig wegputzen, habe ich dann auch gemacht.
Der Schimmel kam wieder logischerweise.
Auf das hat er mir einen Mann geschickt der den Schimmel mit Schimmelgift entfernte und Farbe darüber gemalt hat. (Schimmel kam wieder). Ich habe seit der dritten Woche in dieser Wohnung 2 Luftentfeuchter aufgestellt und lüfte 3 mal 10 min täglich!
Im Mai 2016 hat der Vermieter neue Fenster dichte Fenster einbauen lassen und hat die Wände nicht isoliert.
(Vorher waren die Fenster nicht dicht (da alte Fenster)). Die Wohnung ist auch immer sehr kalt und wird nicht anständig geheizt, auf das habe ich Herrn ***** mehrmals aufmerksam gemacht. (Wir können nicht selber regulieren).
Wir erwarten im Februar unser erstes Kind und baten in daher den Vertrag auf Ende Dezember aufzulösen.
Womit er gemeint hat, ich verstehe Ihre Situation. Ich hatte mündlich kein gutes Gefühl und bat in mir das schriftlich zu geben.
Er hat es mir per Mail geschickt, aber formulierte es jedoch komisch. (plötzlich anders) Auf das habe ich Herrn ***** darauf aufmerksam gemacht und er hat gemeint das sei so für seine Versicherung.
Ein Gutachter kam vorbei und meinte um das verhindern zu können, hätte ich mindestens alle 2 stunden lüften müssen und das muss man ganz sicher nicht in einer gesunden normalen Wohnung (Es läge sehr wahrscheinlich an den neuen Fenster). Daher sehen wir uns ganz sicherlich nicht als schuldig.
Trotzdem um den genauen Grund zu suchen muss er mir nochmals einen Mann schicken, der das nochmals bestätigt.
Ich habe im mehrmals gesagt das ich in dem Fall eine neue Wohnung suche, dass er Bescheid weiss.
Schnell haben wir eine neue Wohnung gefunden und habe im vor dem Vertrag unterschreiben angerufen und nochmals gefragt, ob das jetzt gut ist ob ich unterschreiben kann.
Er sagte: ja, machen!
Gut, habe ich natürlich gemacht.
Er machte uns auf die nächste VOLLE miete aufmerksam.
Darauf habe ich ihn auf Mietreduktion und Schadenersatz aufmerksam gemacht. (Dies wollte ich gerne persönlich besprechen jedoch hat er immer abgeblockt). Und dass wir sonst die Miete auf ein seperates Konto einzahlen werden bis die Sache geregelt sei.
Auf das hat er sich meiner Meinung nach bedroht gefühlt, was nicht mein Ziel mit dieser Aussage war.
Seine Mail dann auf einmal: Das er im Moment keinen Grund sieht die Kündigung aufzulösen und die vollen Mieten bis März 2018 erwartet.
Was sollen wir tun?