не знаю как жить без него
Это скорее зависимость, чем любовь.
Я думаю Вам необходимо определиться со следующим:
1. Готовы ли Вы оставить все, как есть и мирится с тем, что он проводит все праздники не с Вами, а такое устраивает "концерты" по поводу Вашего время препровождение без него.
В этом нужно думать о том, как помириться.
2. Поговорить с ним и поставить вопрос ребром. Либо он разводиться и Вы начинаете нормальные отношения, либо расстаетесь.
Если же он не готов к изменениям, то тут уже встает вопрос, как завершить отношения для себя. С этим можно поработать с психологом.
А далее искать человека, с которым возможны нормальные отношения.
Вы какой вариант выбираете? Или может быть Вы видите какие-то другие пути решения ситуации?
По поводу его претензий к Вам, мое мнение, что это верх наглости. Вы не обязаны оставаться одной на праздники, в то время, как он проводит их с женой.
Думаю он привык к тому, что Вы соглашаетесь на его условия, а поэтому совершенно не заботится о Ваших интересах, а делает так как ему удобно.