新工作问题

一家公司让我去面试业务助理，面试两轮成功了，后面去上了两天班，没有人跟我交接（之前做这个位置的人已经走了），连我部门老大没有见着，我就没有去了，人事部经理打电话给我部门经理（去出差了），叫我回去上班面谈，我后面拒绝了，他们多次想留我，我还是没有回去，我不知道这样做对不对？