Czy wymiana dowodu osobistego skutkuje zmianą rezydencji

Wyjechałem do USA w 1992 r. z zamiarem pozostania na stałe w tym kraju, jednak zachowałem obywatelstwo polskie. W 1994 r. zawarłem związek małżeński z obywatelką USA. Następnie przyjechałem do Polski na trzy lata w celu ukończenia studiów. W trakcie tego pobytu kupiłem mieszkanie (żona mieszkała cały czas w USA). Mieszkanie to obecnie jest wynajmowane, w związku z czym w Polsce płacę podatek od dochodów uzyskiwanych z najmu. Poza tymi dochodami nie osiągałem i nie osiągam żadnych innych dochodów w Polsce. Do USA powróciłem w 1998 r. na podstawie tzw. zielonej karty. Do dzisiaj tam mieszkam i przebywam, a do Polski przyjeżdżam jedynie na wakacje (zwykle raz w roku na ok. 2 tygodnie). Podczas jednego z takich pobytów w 2004 r. kupiłem działkę budowlaną, na której obecnie buduję dom. Nie zamierzam jednak na razie w nim mieszkać - jest to inwestycja. Planuję jego wynajęcie po zakończeniu budowy. Do Polski nie zamierzam na razie wracać. Jeśli kiedykolwiek podejmę decyzję o powrocie, to będzie to miało miejsce dopiero za kilkanaście lat, po przejściu na emeryturę. Podczas jednego z ostatnich pobytów wakacyjnych w Polsce złożyłem wniosek o wymianę dowodu osobistego, zgłaszając przy tym fakt zamieszkania w USA. Nowy dowód odbiorę w przyszłym roku podczas kolejnego pobytu wakacyjnego w Polsce. Czy fakt wymiany dowodu osobistego nie spowoduje uznania, że miałem i mam rezydencję podatkową w Polsce, co powodowałoby konieczność rozliczenia się w Polsce z dochodów osiąganych w USA?