Czy można nie rozliczyć podatku od nabycia wewnątrzwspólnotowego

Prowadzę działalność gospodarczą, a jednocześnie jestem rolnikiem. Do działalności zarejestrowałem się jako podatnik VAT unijny. Zrobiłem taki błąd i nie wiem, jak z tego wybrnąć, bo kupując w październiku 2004 r. ciągnik, niepotrzebnie podałem ten NIP PL. Kupiłem ciągnik od podatnika podatku od wartości dodanej z Niemiec, i to na fakturę VAT. Rozliczyłem podatek w deklaracji. Teraz chcę się z tego wycofać. Obecnie w mojej firmie jest prowadzona kontrola podatkowa. Urząd uważa, że powinienem od tej transakcji rozliczyć VAT i nie ma podstaw do korekty. VAT został zapłacony prawidłowo. Jak odzyskać zapłacony VAT?