Не хочет он оставлять всё, как есть. По крайней мере, дал это понять. А иначе зачем бы всё это выступление?
И это все-таки Вы несколько неуверенно говорите. Значит в этом месте точно не знаете. Нужно попробовать в эту точку - просите о том чтобы оставить все как есть - без развода и без Вашего переезда. А там можно разобраться чего он боится, какой свободы лишиться не хочет. Потому что смотрите - жена с ребенком переезжают насовсем. А я привык к чему за это время? К свободе. Возможно ему нравится такой гостевой брак? Надо предложить пока этот вариант.