Czy wracając do zwolnienia podmiotowego z VAT, trzeba dokonać korekty odliczonego VAT

Planuję zrezygnować z bycia czynnym podatnikiem VAT i powrócić do zwolnienia podmiotowego z VAT. Obroty przez ostatnie dwa lata utrzymują się na poziomie 100 000 zł rocznie. Na stanie posiadam nieruchomość, od której odliczyłem VAT. Została ona zakupiona w 2005 r. Czy mogę powrócić do zwolnienia podmiotowego? Czy odliczony VAT od nieruchomości powinienem oddać?