男友半夜去女性朋友家，说就是玩……求大家指点迷津！

我对象三天两头去他一个女生朋友家玩（那女的什么职业我就不说了），那女的和她朋友合租，那女生的朋友和对象一起住，这女的自己住。我对象好几次去她那吃饭，玩，那意思是他们四个在一起玩，不是单独和那女的在一起，半夜12点都不回家，我打电话说他，他还不愿意，他一直说那女生就是哥们，我就想问问大家，是我小心眼了还是他太过分，就算真的是哥们没什么，那大半夜的是不是也该考虑一下我的感受，是不是也该避避嫌？ 我该怎么处理，得过且过还是跟他理论明白呢？原谅我脱了马甲，实在在吧里丢不起这个人……