Как выстроить отношения с мужем и его детьми от первого брака? Я не против общения

Мы со своим новым супругом вместе уже пол года. Я знала что от первого брака у него есть дети. У меня тоже есть ребенок от первой брака. Я отношусь к его детям хорошо, но забирать их просто на выходных в его отсутствие я отказываюсь, говорю ему что боюсь их чем нибудь обидеть, что я не знаю всех их привычек. На что мой супруг очень обиделся. Недавно я достала билеты в цирк, я брала его младшую дочь, у его старшей дочери не получилось поехать с нами, в это время мой муж был на работе далеко от нас. Сейчас он говорит что я не хочу принимать его детей, меня это сильно задевает. Я ему сказала что не против видеть его детей, но только тогда когда он будет рядом. В чем я не права? Помогите.