이 기사는 2025년 02월 04일 13시59분 thebell에 표출된 기사입니다

크라우드웍스는 한국정보통신기술협회(TTA)가 주관하는 '생성형 AI 신뢰성 평가의 실용적 접근 방안 연구사업'을 완료했다고 4일 밝혔다.

이번 연구사업의 핵심은 생성형 AI의 신뢰성 및 안전성을 체계적으로 평가하기 위한 프레임워크 표준 개발 및 실증이다. 크라우드웍스는 대규모언어모델(LLM) 신뢰성 평가 실증과 교육자료 개발을 맡았다. 국내 기업이 개발한 3개의 LLM 모델을 대상으로 평가를 진행했다.


크라우드웍스는 먼저 데이터셋을 활용한 평가 결과를 바탕으로 3개 LLM 모델의 응답 패턴을 분석했다. 이를 통해 각 모델별로 두드러지는 잠재적 위험 요소를 파악하고 공격 시나리오를 설계했다. 다양한 명령어를 활용해 모델을 다각적으로 테스트하며 시나리오를 보완했고, 각 모델의 취약점을 집중적으로 탐색했다고 전했다.

AI 모델을 활용한 자동 평가와 전문 인력을 활용한 레드팀 심화 평가를 동시에 진행했다. 전문 레드팀은 적대적 프롬프트 생성 및 응답 평가 경험이 있는 전문가를 선발해 구성했다. 평가 과정에는 과제를 통해 수립한 폭력, 불법, 불합리, 비사실, 오도, 비윤리 등의 AI 위험도 평가 기준을 적용했다.

김우승 크라우드웍스 대표는 "이번 TTA 연구사업을 통해 개발한 AI 신뢰성 평가 프레임워크는 국내 생성형 AI 신뢰성 평가의 기준"이라며 "AI 신뢰성 및 안전성 평가 분야의 선도기업으로서 시장을 리딩하고 많은 기업들이 안전하고 신뢰할 수 있는 AI 서비스를 개발할 수 있도록 적극 지원하겠다"고 말했다.