Муж обижается, когда мы уезжаем с дочкой на выходных без него. Как мне не злиться на его обиды?

Муж на протяжении всей осени каждые выходные (пт-вс) уезжал на рыбалку. Когда один, когда с другом, неважно особо. Рыболовный сезон подошёл к концу. Муж теперь на выходных дома. Я решила в пятницу съездить с дочерью к сестре в гости. Уже запланировала, мужу в начале недели сказала. А теперь выясняется, что я ему не говорила. И вообще, что это он должен сидеть дома один в пятницу? Я предложила ему присоединиться, но нет, это же другой район города, ехать на машине нет смысла, т.к. не попить пивка, а ехать на маршрутке неохота, а на такси дорого. И вот муж обиделся. А я злюсь. Ну почему, уезжая каждые выходные на рыбалку, он не задумывался, чем я буду заниматься в его отсутствие? А мне, прежде чем куда-то пойти, нужно придумать ему досуг, который его устроит. Бесит. У нас очень неровные отношения, я часто думаю о разводе, но решиться не могу. Муж всегда был со своими капризами, и раньше я как-то могла себя засунуть в рамки его мира, а теперь не хочу. Я хочу поехать к сестре и не заморачиваться по поводу обиды мужа. Может, я чего-то не вижу в этой ситуации?