三年前，我和丈夫办理了离婚手续，为了尽快摆脱家暴，我选择不要抚养费，带着孩子净身出户，把房车都给了男方。离婚后，努力了几年，自己攒到一些积蓄，为了给孩子一个稳定的住所，我花光所有的积蓄加上东拼西凑终于付了首付买了房子。突然，有一天我的账户被查封了，经了解，原来是银行起诉前夫和我，要求一次性偿还贷款。当时房子是婚内购买，我也在上面签了字，但是离婚协议书已经约定房子归男方所有，由男方支付剩余的贷款。现在我该怎么办？