离婚时，孩子判给我了，他爸不拿抚养费。孩子奶奶把我娘家东西都收拾走了，就剩一张床。现在我搬回娘家住了，周围邻居老是在我女儿面前时不时的说。我女儿长的不像我跟她爸爸一样，性格跟也不像我像她奶奶。不知道是不是跟这有关系。孩子最近老念叨想去他爸爸那过年。还怕他爸不让她回来了怎么办，问我陪她一起回去好不好。
昨晚孩子爸用陌生号打来电话，想接回他家住几天或过年，我没答应也没拒绝，只说孩子睡了，明天问问孩子愿不愿意去。今早睡醒问女儿愿意去吗？女儿说想去。我跟我爸打电话说了这事，我爸说不能去，以后也不让他那边见孩子。是不是不该让孩子去？