이 기사는 2025년 11월 10일 13:44 thebell 에 표출된 기사입니다.

빅데이터 분석 인공지능(AI) 기업 에스투더블유(S2W)는 대규모언어모델(LLM) 토큰화 구조의 근본적 취약점을 규명한 S2W 및 한국과학기술원(KAIST) 공동연구팀 논문이 세계 최고 권위의 자연어처리(NLP) 학회 '자연어처리방법론학회(EMNLP) 2025'에 채택됐다고 10일 밝혔다.

S2W에 따르면 EMNLP는 전산언어학학회(ACL), 북미전산언어학학회(NAACL)와 함께 자연어처리(NLP) 분야의 세계 3대 학술대회 중 하나로 꼽힌다. 앞서 S2W는 다크웹 언어 관련(2022년) 및 자체 개발 사이버보안 문서 특화 언어모델 '사이버튠(CyBERTuned)' 관련 논문(2024년)으로 NAACL에서 두 차례 논문을 발표했다. 2023년에는 독자 개발한 다크웹 도메인 특화 언어모델 '다크버트(DarkBERT)' 관련 논문을 통해 ACL에 채택된 바 있다.


S2W 연구진이 이번에 발표한 것은 LLM 내부의 처리 기능 중 하나로 문장 분석 과정에서 문자를 분절해 처리하는 도구인 '토크나이저(Tokenizer)'가 환각을 유발할 수 있다는 내용이다. 특히 LLM이 비영어권 언어로 활용되는 경우 토크나이저가 일부 문자를 완전히 쪼개지 못해 해석되지 못한 채 '불완전 토큰'으로 남는 현상을 주목했다.

영어는 한 글자가 1바이트(byte)로 구성되지만 한국어, 일본어, 중국어 등은 한 글자가 여러 바이트로 표현된다. 이 때문에 바이트 페어 인코딩(BPE) 기반 토크나이저는 문자를 바이트 단위로 분해하는 과정에서 글자의 중간이 잘린 불완전 토큰을 생성하기 쉽다. 이러한 구조적 한계가 비영어권에서의 의미 복원 실패나 문맥 왜곡으로 이어져, 환각 발생률을 높이는 요인으로 작용할 수 있는 것이다.

논문의 공동저자로 참여한 박근태 S2W 최고기술책임자(CTO)는 "본 논문은 각국이 자국 언어와 데이터를 기반으로 AI를 개발·운영해야 하는 소버린(Sovereign) AI에 관한 논의에 유의미한 시사점을 제공한다"며 "S2W는 신뢰할 수 있는 AI를 만들기 위한 가장 선도적인 연구 성과를 지속 창출할 계획"이라고 말했다.