我的父母，因感情不合于2009年正式离婚，离婚后，经过我们姐弟三人劝说，又生活在了一起，但是一直没有复婚，有夫妻事实。期间，在他们正式离婚到复合期间，我父亲与其他女人发生关系并挪用公款欠单位2万元，走投无路之时，他借了我母亲2万元抵债，并立下字据保证还钱，保证以后好好生活。2014年，我父亲再次出轨，几经劝阻无果，他答应把工资卡留在家里，表示他对家里应尽的责任，我们姐弟三人，两个姐姐刚刚毕业没有工作，我还在上大学，消费很高。父亲答应交出工资卡及其效应，有字据和录音材料。上个月，父亲通过单位，将工资打到另一张卡里，不再把工资给我们。他之前借的两万元也还没还。我母亲体弱多病，无法进行劳动，我想告我的父亲，可以吗？他这样背信弃义，始乱终弃犯法吗？