我有个亲戚有间房子在市区的旧区里，想把房子卖了，他们也知道房子是要拆迁，但是等了差不多十年了还没拆成，不想等了就想把它卖了。问我24万要不要，我说我一下子没那么多钱可不可以分期付，他说可以。就在今年3月到5月共付了15万给他之后他主动要先过户给我，余下的过年付完就行了。那知道刚拿了房产证不到半年，11月收到了拆迁通知，房子一下值80多万。那个亲戚就主动联系了我，提出了退回之前的钱15万补尝20万给我，要我把拆迁款还给他们，原因是我还没给够买房钱。如果选择，要他20万退拆迁款给他还是付清余款拆迁款自己全要？