一轮承包期内我本村村民土地不种了让我家耕种。二轮承包时由于是我家交着公粮什么的，村委会就跟我家签订了土地承包合同，对方当时也没有异议。但是对方现在又想把地要回去，我的土地承包合同还没到期不知道这种情况该怎么办。求大神们指点