Я, к сожалению, не знаю лично ни Вас ни Ваших мужчин. Поэтому я не могу сказать как Вам в этой ситуации поступить.
Мне грустно видеть что Ваше собственное душевное спокойствие зависит от того, что кто-то о Вас скажет. Потому что в любой ситуации, с чем бы Вы в жизни ни столкнулись, всегда будут и доброжелатели и недоброжелатели. Всегда кто-то будет рад, а кто-то недоволен. Всем не угодить.
Что касается самой ситуации "муж и другой мужчина", то со стороны всегда кажется что "трава зеленее". На деле же у всех есть и "положительные" и "отрицательные" стороны. Не бывает беспроблемных браков. Просто в ситуации с мужем Вы уже знаете что Вас ждёт, а в ситуации с другим мужчиной - нет. Оно может быть лучше, а может быть хуже. Тут нужно все "плюсы" и "минусы" смотреть и решать.