不需要，但如果离婚时，查明属于以下情形，就应该退还给男方：
（一）双方未办理结婚登记手续的；
（二）双方办理结婚登记手续但确未共同生活的；
（三）婚前给付并导致给付人生活困难的。