Мужчина не может определиться. Мне не приятны его перебежки

В отношениях с мужчиной уже почти 3 года. Сама в разводе, когда познакомились, он сказал, женат, но с женой не живу, не развожусь из-за дочери. Через какое-то время все таки развёлся и большее время мы вместе. Но с периодичностью в один-два дня в неделю он уходит к дочери, где живёт бывшая жена, аргументируя это тем, что скучает по дочери, которой в этом году исполнится 18. Когда я сказала, что бы он определился и мне не приятны его перебежки, он все свёл к тому, что я против его отношений с дочерью, но это далеко не так.