Zwrot VAT po wykreśleniu podatnika z rejestru podatników VAT

Złożyłem w urzędzie skarbowym zgłoszenie „VAT-Z”, informując o zaprzestaniu wykonywania czynności podlegających opodatkowaniu podatkiem od towarów i usług i zostałem wykreślony z rejestru podatników tego podatku. Następnie, po otrzymaniu decyzji organu podatkowego korygującej VAT wyliczony przez organ celny od importu towarów, wystąpiłem z wnioskiem o zwrot różnicy VAT. Urząd skarbowy odmówił zwrotu VAT z powodu wykreślenia mnie z rejestru podatników VAT. Czy urząd postąpił zgodnie z prawem?