2017년 8월 미국 워싱턴대 연구진이 공개한 버락 오바마 전 미국 대통령의 가짜 영상은 세상을 놀라게 하기에 충분했다. 합성된 영상 속 모습이 실제 오바마 전 대통령과 거의 흡사해 구분이 어려웠기 때문이다.

최근 인공지능(AI) 기술 중 하나인 생성적 적대 신경망(Generative Adversarial Nets, GAN)을 활용한 영상·사진 합성 및 생성 기술이 각광받고 있다.


엔씨소프트 AI 센터 내 비전 AI 랩(Vision AI Lab)은 게임 개발 및 영상 제작 과정을 효율화하는 컴퓨터 비전 기술 개발을 연구하는 조직이다. 다른 AI 연구조직에 비해 출발이 늦었지만, 영상을 자동으로 만들어내는 GAN 기술의 등장을 계기로 끊임없이 새로운 가능성을 발견하고 있다.

이준수 비전 AI 랩 실장 겸 AI 부센터장(사진)은 2003년 서울대 전기공학부와 2011년 텍사스 대학교 전기공학 박사과정을 수료한 뒤 귀국했다. 새로운 분야에서 일하고 싶은 마음이 들던 와중 엔씨와 인연이 닿았다. 처음엔 데이터센터에서 근무하다 2013년 3월 엔씨 AI 랩에 합류했다.

2014년 때 마침 AI의 패러다임을 완전히 바꿔놓는 일이 발생했다. 구글 브레인에서 머신러닝을 연구했던 이안 굿펠로우가 NIPS(신경정보처리시스템학회)에서 노이즈로부터 이미지를 생성하는 방식을 다룬 논문을 발표했는데, 이는 기존 지도학습 중심이던 AI 패러다임이 비지도 학습으로 변화할 수 있음을 의미했다. GAN을 활용한 자연어처리(NLP), 이미지 생성 등이 대표 응용 분야로 꼽혔다.

엔씨는 이런 AI 흐름에 맞춰 2018년 AI 조직 내 비전 TF를 꾸렸다. 마침 전기컴퓨터 공학과 재학 시절 세부 전공으로 컴퓨터 비전을 공부한 이 실장이 적임자였다. 그 뒤 이 실장은 비전 TF 팀장에 올랐고, 지금까지 AI 센터 부센터장 겸 비전 AI 랩 실장을 맡고 있다.


이 실장은 게임 개발에 필요한 아트 리소스 제작 과정에 GAN 기술이 적용되면 큰 변화를 가져올 것이란 강한 믿음이 있었다. 초기 가능성 검증을 거친 2018년부터 본격적으로 컴퓨터 비전 AI 연구를 시작했다. 비전 AI 랩의 핵심 연구 분야인 이미지 합성 및 생성 기술과 게임의 만남은 그의 생각대로 정말 찰떡궁합이었다.

GAN 기술을 활용하면 기획→아트→개발로 이뤄진 게임 개발 전 과정의 효율성을 대폭 향상할 수 있었다. 그는 우선 현업 부서의 요구를 반영해 연구 분야를 게임 QA를 위한 광학문자인식(OCR, Optical Character Recognition) 분야로 넓혔다. QA란 게임 개발 과정에서 결함을 찾아내는 역할을, 광학문자인식은 사진 등 이미지에서 글자로 쓰인 부분을 추출해 문자로 식별하는 기술을 말한다.

비전 AI 랩 내 이미지 생성팀은 AI를 활용해 디자이너에게 영감을 주는 다양한 이미지를 대폭 생산해내기 시작했다. 애초엔 실제 사진이나 그림을 보고 하나씩 만들어야 했던 게임 내 아이콘 등 그래픽도 단번에 대량 생산이 가능해졌다.

GAN 머신러닝 기술은 사진 속 얼굴에서 눈에 띄는 특징과 덜 중요한 부분을 구분해 닮은 특징을 가진 새로운 대상의 이미지를 만들어낸다. 이를 적용해 개발 단계뿐 아니라 게임 이용자에 즐거움을 주는 방식으로의 적용도 가능했다. 비전 AI 랩은 현재 이용자의 이미지나 연예인을 이용한 게임 캐릭터 생성 등을 연구개발하고 있다. 이 실장은 2020년 GAN을 활용한 이미지 변환 기술이 담긴 'ICLR 2020 U-GAT-IT' 논문을 발표했다.


GAN 기술의 등장 이후 이미지 생성 기술은 많은 연구자들의 관심을 끄는 가장 뜨거운 분야가 됐다. 하지만 GAN에 의해 생성된 이미지가 실제 얼굴 이미지와 구별이 어려울 정도로 개선되면서 이를 악용할 우려도 커지고 있다. GAN을 활용한 거짓 데이터나 딥페이크 디지털 성범죄 등이 대표적인 예다.

이 실장은 이런 우려를 딛고 컴퓨터 비전 AI 기술을 통해 다양한 분야에서 새로운 가치를 만들기 위해 게임 개발뿐만 아니라 영상 제작 과정으로 적용 분야를 넓히고 있다.

비전 AI 랩의 연구 성과는 2019년 엔씨의 야구 플랫폼 서비스 페이지 등에서 하이라이트 영상 자동 생성 등에도 활용됐다. 사람 수준의 영상 이해를 목표로 하는 영상에 캡션을 붙이거나 영상을 요약하는 기술(Video Understanding), 영상 기반의 모션 캡쳐 기술 개발을 목표로 하는 영상으로부터 사람의 포즈를 추정하는 기술(Human Pose Estimation) 등 연구 성과가 보탬이 됐다.

엔씨가 게임사를 넘어 종합 IT 기업을 꿈꾸면서 비전 AI 랩의 역할은 점차 중요해질 전망이다. 대표적인 분야가 바로 디지털 액터가 등장하는 영화다. 리니지, 블레이드앤소울, 아이온 등 엔씨 대표 지식재산권(IP)을 활용한 영화 제작이 김택진 대표의 오랜 꿈이란 사실은 잘 알려졌다. 최근 엔씨는 엔터 자회사 '클렙'을 설립하고 영화사에 투자하며 등 IP의 영화화 작업에 본격 속도를 내고 있다. 이미지 및 영상의 생성 및 합성기술 등 비전 AI 랩의 기술은 영화 제작과 관여도가 깊다. 어찌보면 이 실장 손에 엔씨의 영화 제작 꿈이 달린 셈이다.