Быть или не быть любовницей? Мне 36 лет, в разводе

Здравствуйте. Мне 36 лет. В разводе. Развод долго переживала и решила больше никогда не влюбляться. После развода было два роман, они закончились и я не переживала. Прошло ещё не много времени и я познакомилась с мужчиной, который мне очень понравился. Он сразу сказал, что женат. Но я замуж больше не собираюсь. И согласилась быть любовницей. Мы начали встречаться, переписываться, перезванивать. Прошло два месяца и я стала замечать, что он стал редко звонить, да и встречаться мы тоже стали редко. И я решила, что это конец и перестала писать. После этого прошло три месяца и он опять объявился. И всё закрутилось с новой силой. Начал меня ревновать, говорить о любви (хотя сам с самого начала, сказал, что если о любви не может быть и речи), не хотел уходить от меня. И продлилось это опять два месяца, я опять почувствовала, как он отстранился от меня. Начал говорить, что начинается весна и некогда будет встречаться, начиются огороды. Наше общение сошло на нет. А тут у меня задержка (тест на беременность сразу у меня не показывает, знаю это точно, у меня двое детей). Пошла к гинекологу, она направила на анализ крови на ХГЧ, сказала, что надо исключить внематочную беременность. Я написала ему об этом, а он сказал, что не причём (предохраняться презерватива и он не хотел, а таблетки мне противопоказаны), но потом позвонил, сказал, что решим эту проблему (я попросила помочь мне деньгами, если вдруг я беременна, на аборт или на операцию). Я сдала анализы, получив результаты сразу написала, что всё в порядке, просто гормональный сбой. Потом начал говорить, что я загнала его в угол. В конце сказал, что когда нибудь встретимся. А я поняла, что влюбилась,. Мне не хватает его. Прошёл месяц, после последнего общения. Я понимаю, что впадаю в депрессию, плачу, когда нет детей рядом, стала раздрожительной и не уверенной в себе. Хотя я всегда бываю в отличном настроение, такая девушка-зажигалка, душа компании. Сразу скажу, что замуж я не хочу, меня устраивали встречи, общение. Сегодня я не сдержалась и написала ему. Банальное» Привет. Как дела?» Он мне ответил и поинтересовался (может из вежливости) «как я, как у меня дела». А потом спросил, что мол опять хочешь стать моей любовницей. А я ответила, что хочу лишь отдохнуть и уехать на юг, восстановить душевное равновесие (он знал, что собираюсь на юг и не хотел меня отпускать). Сказала, что знаю и понимаю, что он никогда уже не возьмёт меня в любовницы. А он ничего не ответил на это. Я не знаю, как мне дальше быть? Как забыть его или попытаться вернуть? Знаю, что замужние девушки, готовы закидать меня камнями, за связь с женатым.. У меня самой совесть грызёт за это, но ничего поделать не могу. Прошу совета, что мне делать?