600 balles de taxe d'habitation à payer pour 3 jours de "résidence secondaire"

Bonjour, j'ai acheté un appartement et eu les clés en décembre 2023. Le temps de faire quelques travaux d'aménagement et avec les fêtes de fin d'année, j'ai rendu mon ancien appartement (location) le 3 janvier et ai commencé à habiter dans mon appartement aux alentours de mi-décembre.
J'ai reçu aujourd'hui une relance de taxe d'habitation impayée au titre d'une résidence secondaire pour cette location. 600 euros pour avoir eu les clés trois jours, et ne même pas y habiter c'est un peu abusé non ?

J'ai envoyé un courriel via l'espace impotsgouv mais la personne au bout a simplement répondu qu'en gros j'avais une résidence secondaire donc taxe d'habitation redevable.

Quels sont mes recours ? Je suis condamné à payer cette somme ?