女方应当退还彩礼。
根据最高人民法院司法解释的规定，当事人请求返还按照习俗给付的彩礼的如果查明属于以下情形，法院应当予以支持：双方未办理结婚登记手续的；双方办理结婚登记手续但确未共同生活的；婚前给付并导致给付人生活困难的。你的情况应属此列，女方应向你退还彩礼。