Recesso contratto affitto MUFFA

Buonasera, vorrei una delucidazione/consiglio se possibile, visto i vari pareri diversi che ho ricevuto.
Ho effettuato per mezzo raccomandata a/r una risoluzione anticipata del contratto di affitto per gravi motivi igienici e di salute, per muffa in appartamento, seguita dalla perizia tecnica asseverata di un geometra che constatava il tutto, solamente dopo aver più volte esposto il problema al proprietario, che oltre a prendere tempo non ha fatto nulla di concreto.
Il locatore dopo aver firmato la raccomandata, si rifiuta di prendere accordi per effettuare apposito verbale per la riconsegna dell'immobile e contestuale riconsegna delle chiavi, bensì chiede semplicemente di dargli le chiavi senza redigere nulla per poter poi fare entrare in casa gli operai che dovevano effettuare i famosissimi lavori fin ora mai effettuati.
Passate 3 settimane dalla ricezione della raccomandata, oltrepassato il limite dei 5 giorni previsti per prendere accordi come da lettera, mi trovo ancora in possesso delle chiavi e sopratutto mi giunge voce che risulta aperta la porta d'ingresso, da precisare che si tratta di una porta in legno e non portone blindato, che comunque a vista, non da segni di manomissione/effrazione.
Contatto il proprietario e comunico lui per messaggio, chiedendogli di dirmi se fosse stato lui o meno, in quanto non mi rendevo responsabile di danni o altro arrecati all'immobile in quanto non aveva voluto fin ora redigere apposito verbale di riconsegna.
Egli risponde di procedere con denuncia, come se non fosse stato lui.
Tutt'ora mi trovo domiciliato presso un altro appartamento, con regolare contratto di affitto, stipulato dopo l'invio della raccomandata.
I consigli che mi giungono, anche da avvocato, é di procedere con denuncia per violazione di domicilio contro ignoti ovviamente.
Mi viene da pensare se si potrebbe configurare codesto reato poiché mi trovo domiciliato da tutt'altra parte e sopratutto in quanto nella lettera si faceva riferimento all'immediato sgombero, abbandono dell'immobile e recesso del contratto.
Dall'altra parte vedo però che le chiavi le detengo ancora io, anche se non per mia colpa/volontà, bensì poiché non ha voluto, il locatore, prendere appuntamento/accordi per redigere apposito verbale.
Vorrei sapere cosa mi consigliereste di fare, sopratutto se possibile evitare le vie penali.
Mi trovo davvero in difficoltà e non saprei come comportarmi.
Grazie mille, scusate il disturbo.