Prawo do amortyzacji budynku po odliczeniu wydatków na jego budowę

Prowadzę działalność gospodarczą, wykorzystując na jej potrzeby część budynku mieszkalnego. Od części budynku przeznaczonej na działalność dokonuję odpisów amortyzacyjnych, które zaliczam do kosztów uzyskania przychodów. W trakcie kontroli zakwestionowano jednak takie działanie, twierdząc, iż - na podstawie art. 23 ust. 1 pkt 45 ustawy o podatku dochodowym od osób fizycznych - nie mam prawa zaliczać odpisów amortyzacyjnych do kosztów uzyskania przychodów, ponieważ w poprzednich latach - z tytułu budowy domu - skorzystałem z ulgi podatkowej, odliczając część poniesionych wydatków od podatku. Pracownicy urzędu skarbowego stwierdzili także, iż powinienem zwrócić ulgę podatkową, ponieważ przeznaczyłem budynek na cele użytkowe. Proszę o rozstrzygnięcie tego problemu.