Prawo do odliczenia VAT w przypadku braku kopii faktury u sprzedawcy

Odliczyłem podatek naliczony z faktur wystawionych przez sprzedawcę, który wydając towar nie odprowadził od tej czynności podatku VAT. Mało tego, nie składał deklaracji podatkowych oraz, jak się później okazało, podał w fakturze nieistniejący adres. Czy w takich okolicznościach, przy braku możliwości skonfrontowania posiadanych faktur z ich kopiami, należy uznać, iż odliczenie podatku było nieprawidłowe? Czy nabywca towarów może ponosić odpowiedzialność za nierzetelność sprzedawcy? A przede wszystkim, czy organy podatkowe mogą zakwestionować dokonane odliczenie?