И сейчас сижу и думаю выйду на работу уйти или не уйти.
Выбор, конечно, за вами.
Но, если хотите сохранить отношения, то без возмещения им, нанесенного вам "психологического ущерба" это не возможно. Иначе обида не даст вам возможности спокойно с ним жить. В такой ситуации важно внятно без истерик объяснить, как его поступок ранил вас, и назначить АДЕКВАТНУЮ цену искупления (т. Е. Если цена ваших переживаний и обида равняются букету цветов, то тогда цветы, а если они стоят дороже, то не мелочитесь.) Мужчина должен понимать какой вред вам нанес.
Думаю, что даже, если вы примите решение расстаться с ним, то все равно важно получить извинения (хотя бы).