押金，违约金，损失赔偿并不是一个概念，没有约定违约金，那就是没有违约金，但是对方违约导致合同无法继续履行，因此你虽然不能主张违约金，但可以主张因违约带来的损失赔偿。

可以不退押金，你们约定押金就是为了防止对方违约，押金的本质就是，如果你违约，双倍返还押金，如果对方违约，押金不退给对方。
我不知道你百度了什么法律条文说押金必须退还，押金只有在对方按照约定履行合同的情况下才需要退还，对方违约押金不用退。
楼上的，我问你，这里押金如果要退还，那押金存在的意义是什么？如果是法律人，请专业一点，如果不是法律人，不要随便给建议，误导别人！