公司要重新调整组织架构，另外一个部门领导找到我想让我过去，我拒绝了。我的直属领导又跟我说她想让我去，说那个领导还是想让我过去。我自身不想过去，因为新的工作环境不太适合我的身体以及发展。现在该怎么办，怎么回绝。感觉领导们私下已经定好了。我的直属领导也同意我过去。