В чем может быть причина?
Чтобы это понять, нужно серьёзно разбираться в Вашей душевной организации и факторов, влиявших на её формирование. Для этого нужен психоанализ.
И стоит ли переживать по этому поводу?
В наше толерантное время можно и не переживать (разве что, если почему-то Вам очень этого захочется). Существуют клубы свингеров, чтобы удовлетворять такие желания.
Вам эта тема ещё интересна?