这种情况确实有点微妙。如果你真的不想去，可以考虑找个合理的理由委婉地拒绝。比如说，你可以说家里有点急事需要处理，或者之前已经有别的安排了。老板虽然叫了你，但也不会强迫你一定得去。不过，在拒绝之前，最好先想清楚这样做可能带来的后果，比如老板可能会有点失望或者不理解。如果你觉得这个饭局对你的职业发展比较重要，那就调整一下心态，去参加吧。毕竟，这也是一个和税务局建立关系的好机会。但如果你觉得这个饭局对你的工作没什么实质性帮助，那就按自己的想法来处理吧。