法律分析：如果债务方已经主动返还了部分借款，那么债权方不能再强制要求收回剩余部分，除非借款协议中有明确规定或者债权方与债务方协商一致。否则，收回剩余部分可能会被视为违约，并且需要承担违约责任。
法律依据：
1、《中华人民共和国合同法》第一百七十六条：“当事人一方不履行合同义务或者履行合同义务不符合约定的，应当承担违约责任。”
2、《中华人民共和国民法典》第一千零七十条：“当事人违反合同约定或者以其他方式侵害合同债权人的利益，应当承担违约责任。”
3、《最高人民法院关于适用〈中华人民共和国合同法〉若干问题的解释》第二十一条：“当事人依照合同约定已经部分履行，未履行部分不能强制要求履行的，对未履行部分可以请求人民法院判决其支付违约金。”