我想咨询一下，我买了一个房屋，已经完成过户手续，房照已经是我名了，但是房主的前夫在房子里住着不给我到房子，因为当时他俩离婚时签订了一份离婚协议书，男方有居住权，没有买卖权，我该怎么办？