Возможно, отношения не разрушаются - они трансформируются.
Вы удовлетворили свой "голод" по этому человеку, и постепенно начинают всплывать другие потребности.
Но из Вашего текста слышу, как будто бы пугает или удивляет это.
Можно об этом поговорить, если хотите. Могу помочь Вам обдумать ваши состояния и то, что стоит за раздражением.