男人自愿给情人的钱，要不要回来一般要看具体情况。 如果这笔钱是男方主动给予，并且没有任何约定或合同规定，那么情况会比较复杂。如果男方认为这些钱是送给女方的礼物或表示关心的方式，女方需要考虑是否真的有必要追回这些钱。 如果女方还想继续和男方保持良好的关系，就要考虑到对方的感受，不要伤害彼此的感情。 但如果确实已经分手，女方认为这些钱不应该由男方支付，可以与对方协商退还问题。如果这笔钱是男方在情感上施加压力，或者通过威胁、欺骗等手段强迫女方付款，那么女方完全有权利要求退还。可以通过与男方交涉或寻求法律程序解决。总之，在这种情况下，建议双方理性交流，尊重彼此的意见和利益，以达成公平合理的解决方案。