Муж уделяет всё внимание ребёнку от первого брака, я чувствую себя ненужной. Стоит ли разводиться?

В браке с мужем 2,5 года. У него брак второй и есть ребенок от первого брака. Общий ребенок не получается, из-за этого я очень переживаю, как женщина. Все это время, самого начала отношений было поставлено со стороны его папы и его бывшей жены, что дочка меня не должна сидеть, я сломаю психику ребенку, ребенку говорили что папа на работе постоянно. Были ситуации, когда приехав к его папе в гости, он не открыл дверь, сказал чтобы я в машине посидела, а он поднялся, так как у него дома дочка. Муж послушался папу и спокойно пошел, а я в машине сидела и ревела от обиды. Также была ситуация, когда мы с мужем гуляли в одном парке, он позвонил папе, и в этом же парке его отец гулял с внучкой, муж захотел чтобы мы встретились, а отец сказал, что позвонит спросит разрешение у его первой жены, и естественно та не разрешила. И мой муж опять же ничего не сказал отцу. И таких ситуаций было очень много. Папа его одинокий человек давно (жена умерла). Внучка живёт в соседнем доме, он с ней почти каждый день гуляет, к себе берет. И постоянно мужу звонит и говорит, что бы тот позвонил дочери, даже бывали случаи что отчитывал его что он не звонит ей, или какое то время не виделся с ней. Хотя муж с дочкой видится раз в неделю точно, а то и больше. С его графиком это проблематично, так как он работает неделями в Москве. Поначалу я очень хорошо была настроена к его дочери и хотела чтобы он брал ее и вместе с ней время проводили, но с каждым разом у меня это все оседало внутри. Я себя чувствовала не женой, а какой то любовницей которую скрывают. На фоне того, что у нас с ним не получается ребенок у меня это вообще все усиливалось. Я себя чувствовала каким то не нужным элементом в их семье. Муж ни разу не обозначил своему папе и своей бывшей жене мое место в его жизни. Недавно произошла ссора серьезная, по другому поводу, но в разговоре с его папой он мне четко дал понять что он считает то, что все внимание, заботу и финансы мой муж должен тратить на ту семью, так как там ребенок и ему не хватает отца, и что он на месте сына бы вообще бы не стал заводить никакую новую семью. Мы с мужем были в ссоре полторы недели, он жил с папой, виделся в это время с дочерью. Потом мы миримся, один день только как помирились и муж уезжает на 8 дней на работу в Москву. Приезжает первый день, это суббота, у меня тоже выходной (всегда он приезжал с работы и первый день мы проводили вместе), я спрашиваю какие у нас планы, а он говорит что он поедет к дочери, он очень по ней соскучился. Мне стало очень обидно. Такого никогда не было и после ссоры и того сколько мы не виделись он собрался сразу к дочери, и ещё на фоне слов его папы... У меня просто началась истерика, и я почувствовала опять себя не такой важной для мужа. На что он начал говорить что я эгоистка, и думаю только о своих чувствах, что не думаю о том что он очень скучает по дочери и хочет с ней больше времени проводить. Он собрался к дочери, я ему сказала а чего ты не хочешь взять меня, чтобы мы вместе погуляли, на что он ответил, что она с дедушкой уже погуляла и мы будем дома. Он опять же не захотел сделать чтобы комфортно было и мне и его дочери и все вместе провели время. Он уехал, я осталась одна дома в свой выходной день, хотя думала что мы его проведем вместе. И сейчас у нас дело до развода, меня обвиняет, что я только о своих чувствах всегда думала. Подскажите, кто в этой ситуации прав или не прав? И как должно быть в такой ситуации по-правильному?