당나라에 귀순하는 문제를 두고 의견이 엇갈리면서, 귀의군 내부에 갈등이 일기 시작했다.