Bezkosztowe zmniejszenie zakresu prac może obniżyć wysokość ryczałtu

Prowadzę firmę budowlaną i jako generalny wykonawca realizowałem inwestycję polegającą na budowie kilku domów jednorodzinnych. W umowie o roboty budowlane wynagrodzenie zostało określone jako ryczałtowe. Po zrealizowaniu inwestycji okazało się, że nieznaczna część robót wskazanych w kosztorysie ofertowym nie została wykonana (nie było takiej konieczności). Inwestor poinformował mnie, że moje wynagrodzenie powinno zostać proporcjonalnie obniżone o wartość niewykonanych robót. Czy mogę go pozwać o niewypłacone wynagrodzenie?