Proprietario di casa non vuole restituire la caparra.

Salve, ho un problema con il proprietario della casa in cui ero in affitto e con i nuovi inquilini.
Quando sono entrata in casa era in condizioni pessime, tinteggiata giusto per fare vedere che era stato fatto qualcosa. Nell abitazione era presente un muro arancione decorativo, io l'ho trovato così quando ho affittato, sono stata "costretta" a pitturare di bianco, ho accettato pur avendo avvisato che sarebbe venuto male e che poiché non spettava a me biancheggiarlo avrei dato solo una mano di colore, il proprietario di casa ha accettato e ha detto che la seconda mano l'avrebbe data lui. Ieri ho consegnato le chiavi alla nuova ragazza, le ho spiegato del muro e ha detto che non ci sono problemi. Dopo 15 minuti mi chiama il padre della ragazza lamentandosi e dicendo che lui adesso deve chiamare un esperto e che il lavoro devo pagarlo io se no mette in mezzo l'avvocato. Chiamo il proprietario di casa, che scocciato mi aggredisce verbalmente e si scalda, arrivando a rinfacciare di non aver pagato 35€ per il cambio contratto, ho risposto che se mi informava dei 35€ li avrei pagati senza problemi. Mi ha minacciato di darmi un ultimatum, di cosa non lo so, e non vuole restituirmi i soldi della caparra. Cosa dovrei fare? Procedere legalmente?