Sposato ma 2 diverse residenze

Salve avvocati vorrei chiedervi se il mio stato attuale è corretto oppure posso avere dei problemi in futuro. Praticamente io sono sposato da 4 anni e ho pure una figlia, e sia mia figlia che mia moglie sono a carico mio, prendo pure assegni ecc ecc. Viviamo nella stessa casa che praticamente è divisa in 2 parti, e nell'altra parte vive mio padre.
Ma nella residenza anagrafica io esco con mio Padre e mia madre e le mie sorelle, mentre mia moglie e mia figlia escono con mio suocero e la sua famiglia. Quello che vorrei chiedervi tutto questo in fatto di legge è legale? posso rischiare più avanti qualche multa o qualche sanzione? Spero che la mia domanda sia abbastanza chiara Anche perché io stesso non ci capisco molto
Grazie in anticipo