Расписка

Здравствуйте, хотел бы уточнить такой вопрос.
Отдолжил у человека сумму денег, под расписку, под проццент, на определенный срок (который ещё не прошел)
Расписку написали, но нотариально не заверяли
Просто расписка и мои паспортные данные.
С человеком условились, что я верну деньги либо 2 частями равными, либо по истечению срока установленного в расписке.
Недавно он со мной связался и попросил вернуть часть о которой договаривались. Но пока я не могу ему вернуть этих денег, а из-за его срочной нужды , он говорил что так не делаются дела и то что мы договаривались! Начто я ответил что мы договаривались на 2 варианта возврата, по половине или полную в конце срока. На что он ответил что если, не хочу по хорошему, будет по плохому
Да ещё момент, я хотел вернуть ему некотору часть,но также не получалось это сделать из-за занятости и отсутвия возможности.
Так вот, этот человек мне пригрозил что напишет заявление и что у меня будут проблемы. Чтобы я удалял все переписки ибо он приложит их к заявлению.
Так вот,хочу поинтересоваться, кто прав кто виноват , и что вообще делать можете посоветовать? Ибо пока (на данный момент) этих денег ему вернуть не могу.