이 기사는 2022년 09월 16일 08:48 thebell 에 표출된 기사입니다.

삼성전자 시스템LSI사업부는 시스템온칩(SoC)의 활용처를 기존 스마트폰에서 자율주행차량, 증강현실(AR), 가상현실(VR) 등으로 확장해나가고 있다. 이를 가능케 하는 것은 신경망처리장치(NPU) 반도체다. 간단히 말하면 인공지능(AI) 기술구현을 가능케 하는 프로세서다.

자율주행차량에 들어가는 SoC의 경우 스마트폰보다 더 고성능의 NPU가 필요하다. 운전자의 안전과 직결되다 보니 실시간 알고리즘 처리를 요하기 때문이다. 삼성전자는 6년 전부터 자체 NPU 지적재산권(IP) 개발에 나서 시장 내 독보적인 경쟁력을 확보해나가고 있다.


◇6년전 첫 개발 시작, 독자 IP개발 성공

삼성전자 시스템LSI사업부가 보유한 원천기술 중 하나 꼽으라면 NPU를 들 수 있다. 엑시노스(SoC)에 들어가는 다른 프로세서인 GPU, CPU 등이 해외 팹리스사들의 아키텍처를 기반으로 개발되는 것과는 달리 NPU는 삼성 자체 IP를 사용하고 있다.

NPU는 AI의 핵심인 딥러닝 알고리즘에 최적화된 반도체다. 빅데이터를 사람의 신경망처럼 빠르고 효율적으로 처리할 수 있는 점이 특징이다. 저전력을 유지하면서도 데이터의 병렬 연산 처리가 가능해 AI 연산에 주로 활용된다.

삼성 NPU 개발 역사는 2016년 시작됐다. 당시 NPU 독자기술 개발을 위해 약 20여명의 연구원으로 구성된 태스크포스(TF)가 꾸려졌다. NPU가 없던 과거에는 주로 GPU로 AI 연산을 수행했는데 하드웨어의 구조적 한계로 연산 효율이 떨어졌고, 결국 NPU개발에 불을 지폈다.


TF 초창기 멤버였던 권석남 시스템LSI사업부 SoC설계2팀 프로젝트 리더(PL)는 "당시만 해도 NPU는 해외 대학의 동영상 강의 등을 찾으며 공부해야 할 정도로 낯설고 새로웠다"며 "이젠 미래 시장의 핵심IP로 성장할 분야"라고 평했다.

TF는 개시 2년만에 독자 NPU 개발에 성공했다. 이는 2019년 출시된 갤럭시 S10에 탑재된 엑시노스9820(SoC)로 빛을 발했다. 최신 엑시노스2200에 탑재한 NPU는 전작에 비해 성능이 2배 이상 개선됐다. 6년 사이 NPU개발진도 10배 이상 늘었다. 해외 연구소까지 합쳐 200명 넘는 수준으로 확대됐다.

◇스마트폰 넘어 자율주행 시대 필수품 각광

NPU를 활용하는 영역도 점차 넓어지고 있다. 과거 NPU 기능은 이미지 기반의 객체 검출 등 단순했지만 AI 시대로 접어들면서 더 많은 연산량을 필요로 하는 분야로 확장되는 추세다.

NPU의 AI 연산 능력이 향상되면 AR이나 VR 기기 접목에 유리하다. 인물과 사물의 특징을 정확하고 빠르게 파악해 역동적이면서도 재밌는 사용자경험(UX)을 제공할 수 있다는 얘기다.

최근 자율주행 시대가 도래하면서 더욱 주목을 받고 있다. 권 PL은 "자율주행 차량에 접목되는 첨단 운전자 보조시스템(ADAS)은 방대한 데이터의 자율주행 알고리즘을 실시간으로 수행해야 하다 보니 고성능 NPU를 필요로 한다"며 "삼성도 시장 요구에 맞춰 자율주행 기기를 위한 고성능 NPU를 준비하고 있다"고 설명했다.


스마트폰 내 사진 결과물도 NPU로 인해 달라지고 있다. 예컨대 스마트폰 카메라로 찍은 사진에서 'AI 지우개' 기능으로 불필요한 피사체만 지울 수 있는 것도 NPU 덕분이다. 또 음식사진을 촬영할 때 자동으로 음식모드 기능으로 전환되는 것, 배경 안의 사물·환경·인물을 인식해 자동으로 초점을 조정하는 것 등이 모두 NPU로 인해 가능해진 부분이다.

앞으로 NPU와 관련된 기술은 어떤 방향으로 발전하게 될까. 스마트폰의 개인정보 보호 등에 확대 적용될 수 있다. 정보유출 리스크를 줄이기 위해 서버를 거치지 않고 개인 폰에서 AI 연산을 수행하는 온디바이스(On-device) AI가 대표적이다.

권 PL은 "현재는 하나의 NPU가 여러 연산에 범용적으로 사용되지만 미래에는 각 도메인에 특화된 NPU를 개발하는 것도 중요해질 것"이라며 "NPU 개발업무는 국가 경쟁력에 일조하는 부분인 만큼 자부심을 갖고 있다"고 소감을 전했다.