Мой друг ложится в кровать к моей дочери (7 лет). Это меня настораживает

Здравствуйте. Меня зовут Ирина. Мне 42 года, имею 7-ми летнюю дочь Эмму. Воспитываю одна.
Не так давно стала встречаться с мужчиной. Вроде всё хорошо, заботится о нас, старается сделать приятное. Но есть, что меня настораживает.
Он ложится в постель к моей дочери, когда меня нет в комнате, держит ее за руку, когда она спит. Мне неприятно и непонятно это. Я решила ему сказать, что этого не должно быть. Иногда в выходной поваляться втроём немного, это я ещё могу допустить.
Сказала ему, в ответ услышала, что он разочарован во мне и тому подобное.
Хотелось бы услышать мнение о ситуации от квалифицированного специалиста.