Мужчина, который не может сделать шаг. Как мне вести себя?

Мне 38 лет, разведена. Будучи замужем, встречается человек, которого также тянет к тебе. На мой развод данная встреча никак не повлияла причины иные. А он всегда был рядом, бросал всё и приезжал) у него также семья и 2 детей несовершеннолетних. Его жена узнала о наших отношениях, уже 2 года как после этого прошло. Я всегда ему говорила чтобы он уходил. Но он не мог, говорит что он так никого не любил, и это не увлечение, увлечение бы у нас уже прошло бы давно. Они пытались жить и дальше, не получалось видимо, я никогда не вмешивалась и ни на чём не настаивала. Он уже и приезжал с вещами ко мне, но с той стороны были угрозы что никогда не увидит детей, т к она в другой город уедет с ними, а он очень их любим и хочет каждый день их видеть. Ситуация теперь такая: он общается со мной, как и раньше, каждую субботу с самого утра приезжает и возвращается туда поздно, воскресенье он с детьми там, каждый день после работы приезжает ко мне и уезжает уже ночью, когда там все спят (после 1 часа ночи), объясняя, что так он приучает детей его не видеть. Если его жене нужно - он вечером едет после работы домой с детьми остаться. Что это? Говорит пока так. Я хочу быть с тобой! Я люблю тебя. Но ситуация странная. Что делать? Как вести себя? Я ни раз ему уже объясняла, что ему надо разобраться и поставить точки, не важно в чью пользу, он же говорит, как мы можем быть вместе если не будем видеться. Говорит что ему нужно меня видеть каждый день, что спят отдельно и уже нельзя ничего исправить.