你们离婚时约定的协议，已经不属于赠与性质了（赠与是可以撤销的），属于债权债务关系，只要不违背法律的规定，是受法律保护的，应当履行。法院审理时，可以进行调解，你可以请女方适当让步，但如果你们协商不成，法院应该支持女方要求你履行协议的要求的。
参考资料：婚姻法