Пока что - это только Ваше предположение. Зачем рисовать проблемы там, где их может и не быть. В любом случае, постарайтесь поговорить с бывшим мужем, чтобы максимально щадяще помочь детям прожить эту ситуацию.
И не вычёркивайте мужа из жизни Ваших детей. Поддержка отца им необходима ничуть не меньше, чем Ваша. Постарайтесь выстроить с бывшим мужем хотя бы нейтральные отношения, а лучше дружеские (насколько это возможно).