Zwrot kosztów poniesionych na organizację wypoczynku przez pracownika

Pracownik zaplanował swój wypoczynek wyłącznie na podstawie sporządzanego na początku roku planu urlopowego. Obecnie wystąpił do nas z wnioskiem urlopowym o udzielenie urlopu na zaplanowane 3 tygodnie. Ze względu na podpisane przez firmę nowe kontrakty nie możemy uwzględnić wniosku pracownika. Pracownik po odmowie zażądał od nas refundacji kosztów rezygnacji z wczasów, które zarezerwował parę miesięcy temu (przepada mu 20 proc. ich wartości). Czy mamy obowiązek zwrócić mu pieniądze? Jeśli tak, to na jakiej podstawie - nie doszło przecież do odwołania go z urlopu?