Affitto, muffa, arretrati

Buongiorno, avrei bisogno di un paio di informazioni, spiego la mia situazione:
Ho 28 anni, uno stipendio di 780€ circa + assegno familiare, con una bimba di 2 anni e moglie disoccupata a carico.
Due anni e mezzo fa circa ho stipulato un contratto d'affitto 4+4 con il mio ex proprietario di casa di 450€ mensili + 50€ di spese condominiali, o almeno, 50€ è la cifra che lui e il ragazzo dell'agenzia mi avevano detto a voce, purtroppo solo a voce, dato che poi si è rivelata essere fin da subito 75€ circa, ma comunque, tralasciando ciò;
Ho pagato regolarmente tutti i mesi l'affitto e le spese condominiali attraverso bonifico automatico e periodico.
Dopo circa 5 mesi, inizio inverno quindi, vedo spuntare la prima muffa nelle stanze e quindi cerco di toglierla con rimedi "casalinghi" sperando di risolvere il problema, ma così non è, anzi, ne vien fuori sempre più, fino a che non decido di chiamare il padrone di casa per mostrargliela chiedendogli spiegazione;
Lui a quel punto "casca dalle nuvole" e mi consiglia di tenere le finestre aperte, io, non sapendo, provo a fare come dice lui e, per un inverno intero, tengo 2 / 3 ore al giorno le finestre aperte, ma senza risultati, anzi, tutto continua a peggiorare, dietro la testiera del letto (dove dormiva moa figlia di 2 anni), lo strato di muffa era improponibile;
Alchè arriva nuovamente la primavera e la bella stagione, portandosi via il gelo ed anche un po di muffa, lasciandone il 50% diciamo.
Speravo se ne andasse via del tutto, ma al ritorno della stagione fredda siamo punto e a capo.
Arrivati a questo punto, decido di richiamarlo per una seconda volta ed esporlo al problema e lui, ritrovandosi davanti al doppio della nuffa mi dice nuovamente di tebere più ventilato l'appartamento, alchè a quel punto decido di dirgli che io l'ho tenuto areeggiato e non è servito a nulla e che quindi me ne sarei voluto andare da li il prima possibile e gli chiesi quindi, dato che ci sono sempre quei "maledetti" 6 mesi di preavviso, se me ne sarei potuto andare via prima lo stesso aveesi trovato un altro alloggio, visto che non avrei potuto pagare 2 affitti e non volevo più restare nella muffa;
Lui mi risponde di sì ed allora io gli chiedo ancora un info:
Dato che avevo dato una caparra di 2 mensilità a lui prima di entrare, come sarebbe funzionata la restituzione e lui mi risponde che, per legge, dato che recedevo dal contratto prima, non era obbligato a restituirmela, allora, sicuramente sbagliando, decido di rimanere ancora 2 mesi li, trattenendomi la mia cifra ed al termine dei 2 mesi lascio libero l'appartamento.
Ora lui mi chiede tramite avvocato,
- i soldi delle 2 mensilità
- i soldi di 6 mensilità (che sarebbero i mesi di preavviso / disdetta, che io non gli ho dato)
- i soldi per le spese legali (dato che queste comunicazioni le ho ricevute tramite lettere dall'avvocato)

Ora, io chiedo, con lo stipendio che ho, lui può arrivare a prendermi il 5° dello stipendio?
Poi, per il fattore muffa e condizioni igieniche, ecc., Posso fare qualcosa o l'avrei dovuto far prima? (Ho tutte le foto e video della muffa ovunque in casa)

In attesa di un vostro riscontro vi ringrazio, buona giornata.