이 기사는 2023년 03월 16일 08:00 thebell 에 표출된 기사입니다.

챗GPT를 비롯한 최근의 인공지능(AI)은 대용량 데이터를 학습, 인간처럼 종합적 추론이 가능하다는 특징이 있다. 이 같은 초거대(하이퍼스케일) AI가 원할하게 작용하려면 방대한 데이터를 초고속으로 분석하는 역량이 필요하다.

AI 성능을 획기적으로 올려준다는 '프로세싱 인 메모리(PIM, Processing In Memory)' 반도체가 주목받는 이유다. 메모리에 시스템 반도체의 영역인 연산 기능을 더한 지능형 반도체로 AI 시장의 게임 체인저로 꼽혀 삼성전자와 SK하이닉스가 미래를 걸고 도전하는 분야다.

◇AI 반도체 산업의 패러다임 바꿀 키

현재 AI의 트렌드는 기존보다 수백 배 이상의 데이터를 학습해 인간의 뇌에 더 가깝게 학습·판단능력이 향상된 초거대 AI다. 구글(딥마인드)의 스위치트랜스포머, 오픈AI의 GPT-3 등이 대표적이다. 국내에선 네이버의 하이퍼클로바, 카카오브레인의 KoGPT, KT의 믿음(MIDEUM)이 있다. 최근 화제가 된 챗GPT는 GPT-3에서 한 단계 업그레이드 된 3.5버전의 기술을 사용했다.

이 같은 초거대 AI가 원활하게 작동하려면 방대한 데이터와 연산량을 감당할 수 있는 차세대 메모리 반도체가 필수다. PIM이 AI 반도체 산업의 패러다임을 바꿀 키로 여겨지는 이유다. 삼성전자는 지난해 12월 열린 '2022 PIM인공지능반도체 전략기술 심포지엄'에서 올해 고대역폭메모리3 PIM 반도체(HBM3-PIM)를 공개할 계획이라 밝힌 바 있다. AI의 두뇌 역할을 하는 그래픽처리장치(GPU) 등에 쓰이는 메모리 반도체 HBM(High Bandwidth Memory에 연산 기능을 추가한 형태다. 앞서 2021년 2월 메모리 반도체와 AI 프로세서를 하나로 결합한 HBM-PIM을 개발한 삼성전자는 이제 3세대 PIM 반도체를 겨냥하고 있다.

기존 AI는 연산 실행에 특화된 중앙처리장치(CPU)나 GPU, 신경망처리장치(NPU) 등 시스템 반도체와 데이터 저장기능을 가진 메모리 반도체가 연결된 형태다. 데이터 저장과 연산이 서로 다른 부품에서 이뤄지기 때문에 전력 효율이 떨어지고 CPU와 메모리 간에 주고받는 데이터가 많아질 경우 작업처리가 지연되는 현상이 생긴다. 데이터가 메모리 반도체와 시스템 반도체를 모두 거쳐가느라 더 많은 전력이 쓰이고 그 과정에서 연산 성능도 떨어질 수 있다.

◇초고속 데이터 분석+저전력 ESG 효과도

PIM은 데이터 저장에 특화된 메모리 반도체가 연산까지 할 수 있다면 전력 효율성과 데이터 지연 현상을 줄일 수 있다는 개념에서 시작했다. 삼성전자가 PIM을 개발하기 시작한 것은 AI와 디러닝 등이 막 꽃피우는 시절이었다. 당시만 해도 어떤 곳에 응용해야 할지 감이 서지 않는 시점이라 PIM을 선보이기 위해 기술검증만 10년을 진행했다.

삼성전자는 2021년 10월 HBM3-PIM을 세계 2위 CPU·GPU 기업인 AMD의 GPU 'MI-100' 가속기 카드에 탑재했다. 기존 HBM보다 성능은 2배 이상 향상되고 에너지 소모는 50% 감소한 결과를 얻었다. 향후 공개될 3세대 HBM3-PIM은 이보다 더욱 빠른 속도와 적은 에너지 사용량을 기록할 것으로 예상된다. SK하이닉스도 지난해 2월 PIM이 적용된 첫 제품 'GDDR6-AiM(Accelerator in Memory)'을 선보였다. 특정 연산의 속도가 최대 16배까지 빨라지고 기존 제품 대비 에너지 소모는 80% 가량 줄었다. GDDR6-AiM은 머신러닝, 고성능 컴퓨팅(HPC), 빅데이터 연산과 저장 등에 활용될 전망이다. 또 SK스퀘어 자회사인 AI 반도체 기업 '사피온'과 협력해 GDDR6-AiM과 AI 반도체를 결합한 기술도 선보일 계획이다.

PIM을 통해 기대되는 또 다른 장점은 탄소저감에 따른 ESG 효과다. 삼성전자의 HBM3-PIM의 경우 기존 HBM을 탑재한 GPU 가속기보다 연간 2100기가와트시(Gwh)의 에너지를 절감하는 것으로 나타났다.