residenza figlio minore

salve, avrei bisogno di una delucidazioni in merito alla residenza di mio figlio. Allora 7 anni fa nasce mio figlio e successivamente intorno al suo primo anno io e il padre non sposati ma con la stessa residenza (dove chiaramente era residente anche il bambino) ci separiamo ovviamente non legalmente in quanto non sposati. A distanza di qualche mese il padre del bambino mi toglie senza il mio consenso la residenza da quella casa e successivamente dopo esser stata avvisata dall'ufficio anagrafe metto la residenza nel mio nuovo domicilio. Chiedo di poter spostare la residenza del bambino che vede equamente entrambi i genitori ma il padre mi nega l'autorizzazione e in comune mi dicono che serve la firma di entrambi i genitori.
Poco tempo fa il padre cambia casa nello stesso comune e cambia ovviamente anche la residenza del bambino senza consultarmi.
In questo caso al comune non hanno richiesto la firma di entrambi i genitori.
volevo sapere se questo è tutto lecito e cosa devo fare per avere la residenza del bambino considerato che lui non mi da l'autorizzazione e il bambino vede me e il padre per lo stesso tempo (due giorni io, due giorni lui e così via)..