Contratto di affitto cointestato

Buonasera,
Io e il mio ex compagno abbiamo preso un appartamento in affitto l'anno scorso con contratto cointestato.
Abbiamo dato disdetta lui e ha deciso di rimanere. Io sono tornata dai miei. .Prima decide di andare via e poi di rimanere. Cioè non ho ancora capito le sue intenzioni.
Abbiamo dato disdetta della casa e lui vuole le chiavi.
Abbiamo parlato con il proprietario e ha detto che chi rimane dentro l'abitazione deve pagare l'affitto.
Io ho detto al mio ex compagno che nel caso in cui decida di andare via di casa mi trova d'accordo a pagare gli ultimi affitti assieme.
Lui vuole le chiavi di casa, ma l'agenzia mi ha detto di non dargliele indietro perché nel caso succeda qualcosa, danno, mancati pagamenti, perdita chiavi , il padrone di casa si può ritorcere su di me e fino alla disdetta del contratto devo tenerle perché è una mia sicurezza.
Ovviamente io non alcuna intenzione di andare nell'abitazione dove è lui.
Cosa è meglio fare?
Chi può consigliarmi come gestire al meglio la situazione?