Нужно ли общаться с близким родственником, если я этого не хочу?

Здравствуйте, мне 25 лет, замужем. Существуют сложности в общении с дедушкой, он ушел из семьи больше 10ти лет назад, одно время не давал о себе знать, а последнин пару лет, а особенно год - он очень хочет общения и встреч. Проблема в том, что мне не хочется общаться, тем более видится, я не люблю ни ходить в гости, не принимать гостей. Также испытываю неприязнь к его новой жене, уважаю его выбор, но сближаться с ней не хочу, она же и сам дедушка этого хотят. Очень тяжело даются отказы ему во встречах, он давит на меня, я соглашаюсь через «не хочу», потом могу приболеть физически. Мой вопрос: стоить ли прекращать общение? Или можно сделать его более «экологичным»? Я боюсь совершить ошибку, разорвав отношения, у него слабое здоровье и я боюсь его обидеть