我认为，如果你已经遵守了工作合同中关于休假的规定，或者你已经安排好了工作上的事务，确保你的离开不会对工作造成负面影响，那么使用自己的钱去旅行通常是没有问题的。成年人有权利使用自己的钱去做他们想做的事情，如果你遭到责骂，可能是因为你的行为与某些人的期望或价值观不符。