Czy urząd skarbowy może żądać od nabywcy zwrotu VAT ze względu na nierozliczenie podatku przez sprzedawcę

Prowadzę działalność gospodarczą w zakresie usług reklamowych. Jestem czynnym podatnikiem VAT składającym miesięczne deklaracje VAT-7. Czy urząd skarbowy może żądać ode mnie zwrotu kwoty, którą wcześniej mi wypłacił z tytułu rozliczenia VAT od faktury za usługi budowlane (remont mojego biura), z powodu nierozliczenia faktury przez firmę świadczącą mi usługi? Faktura była wystawiona i rozliczona trzy lata temu, ale firma, która robiła dla mnie remont, dopuściła się nieprawidłowości i, między innymi, nie rozliczyła faktury mi wystawionej.