法律规定，符合以下条件，给付彩礼人可主张退还彩礼：

1.双方未办理结婚登记手续;

2.双方办理了结婚登记手续但没有共同生活;

3.给付彩礼人因给付而生活困难。

所以，无论是哪方提出离婚，男方还是女方，只要符合上述条件，给付彩礼人是都可主张退还彩礼的。