Выгнала мужа, но мы встречаемся. Как себя вести с ним?

Здравствуйте. Ситуация заключается в следующем. Три недели назад, я сама, выгнала мужа и он ушёл жить к маме. Выгнала по причине, того что в последнее время жуткие скандалы и начал много пить и от этого все конфликты. Но в итоге за эти три недели мы уже встречались три раза для секса и два раза, чтоб просто поговорить. Он говорит о том, что боится возвращаться и жить постоянно на чемоданах и что будут опять сильные конфликты. Что он хочет пока подумать и съездить с другом отдохнуть и после, этого все решиться. Но я понимаю, что я не смогу ждать, меня выбивает это из равновесия и мысли сейчас он будет держать меня, а после приезда скажет, мол извини мне и одному не плохо или же у меня другая. И понимаю, что нужно отпустить, а с другой стороны все таки держит. Дети есть трое. Извините, что написано как попало.