需要退回给男方。我国婚姻法司法解释中规定的返还彩礼的情况只有三种：一是没有登记结婚。二是虽登记但没有共同生活的。三是因给付彩礼导致给付人生活困难的。如果不是这三种情况，离婚时是不用返还彩礼的。《最高法院关于婚姻法的解释二》第十条 当事人请求返还按照习俗给付的彩礼的，如果查明属于以下情形，人民法院应当予以支持：（一）双方未办理结婚登记手续的；（二）双方办理结婚登记手续但确未共同生活的；（三）婚前给付并导致给付人生活困难的。适用前款第（二）、（三）项的规定，应当以双方离婚为条件。