이 기사는 2022년 09월 14일 15:32 thebell 에 표출된 기사입니다.

스마트폰 영상화질 경쟁력을 좌우하는 부품은 무엇일까. 카메라모듈로만 여기기 쉽지만 의외로 특정 반도체 부품이 폰카의 화질을 결정 짓는다. 해당 반도체 이름은 이미지신호처리(ISP)다. ISP는 시스템온칩(SoC) 속에 탑재된 칩 중 하나로 카메라모듈로 찍은 사진들의 화질을 튜닝하고 보정하는 역할을 담당한다.

최근 시스템반도체 업계의 스마트폰 고화질 카메라 기술력 선점 경쟁이 심화되고 있다. 스마트폰 카메라 기능이 점차 디지털카메라를 대체할 정도로 성능이 향상되면서 화질 경쟁력이 곧 기기 구매심리로 직결되기 때문이다.

삼성전자도 자체 SoC인 엑시노스의 ISP의 성능을 끌어올리는데 주력하고 있다. 퀄컴의 스냅드래곤 등과 비교해 차별점 등을 마련하기 위해 딥러닝을 활용한 영상평가, ISP 튜닝기법 등 다양한 연구를 지속 중이다.


◇저전력 유지 비결, 메모리에 '한번만' 저장

"어두운 저조도 환경에서도 비디오 화질을 높일 수 있는 방안을 강구 중입니다."

삼성전자의 시스템반도체 설계를 담당하는 시스템LSI사업부 최종성 프로젝트리더(PL)가 최근 삼성전자 뉴스룸 페이지에 내비친 포부다. 스마트폰의 영상화질 개선과 관련한 고민과 노력 등이 엿보이는 대목이다. 그는 "딥러닝을 활용한 영상평가, ISP 튜닝기법 등 다양한 연구를 하고 있다"고 덧붙였다.

최 PL이 이끄는 멀티미디어개발팀 특명은 ISP의 성능 개선이다. ISP는 이미지센서로부터 가공되지 않은 시각적 데이터를 전송받아 RGB 값과 밝기, 노이즈 등을 제거하는 역할을 수행한다. 소비자에게 최종 사진형태를 보여주기 직전 단계에서 보기좋게 보정작업을 하는 절차라고 이해하면 된다.

시스템LSI 사업부는 오래 전부터 DSLR급 ISP를 구현하기 위해 노력했다. 해외연구소와 협업으로 2012년부턴 새로운 혁신을 도모했다. 기존 ISP를 스마트폰에 별도의 칩으로 탑재됐했던 것과는 달리 엑시노스 SoC에 담는 방식을 취해보기로 한 것이다.

엑시노스에 내장된 ISP는 갤럭시 S4 메인카메라에 처음으로 사용됐는데 이는 스마트폰 카메라 화질이 비약적인 발전을 한 터닝포인트가 됐다.


다만 최근 들어 ISP 개발 환경이 급변하고 있다. 고해상도의 사진이나 비디오가 개발되면서 ISP로 전송되는 데이터량이 기하급수적으로 늘어나고 있다. 방대한 데이터를 일일이 메모리에 저장했다 다시 읽어들이기 때문에 이 과정에서 이전보다 전력 소모가 커질 수 밖에 없다.

최 PL은 "영상화질 개선 못지 않게 중요한 부분이 ISP의 저전력을 유지하는 일"이라며 "엑시노스는 단 한 번만 메모리에 저장하는 방식으로 전력 소모를 최소화하고 있다"고 강조했다.

◇최대 2억화소…방대한 데이터 처리 주력

ISP의 처리속도 향상도 중요한 과제로 떠올랐다. 처리해야할 정보량이 방대해질 수록 연사속도가 느려질 수 밖에 없기 때문이다.

실제로 경쟁사인 퀄컴은 ISP 성능개선 사활을 걸고 있다. 올해 신작 모바일 AP인 '스냅드래곤 8+ 1세대'는 최대 2억화소 센서와 8K HDR 비디오 녹화를 지원토록 했다. 카메라로 입력받은 영상을 18비트로 처리해 전작 대비 2배 빨라진 인공지능(AI) 연산 가속 기능 등을 주 장점으로 내세웠다.

삼성전자 MX사업부가 스냅드래곤 8+ 1세대를 지난달 출시한 갤럭시 Z폴드4·Z플립4에 채택한 배경이다. 오는 3분기 출시되는 모토로라·비보·샤오미·ZTE 등 중국 스마트폰도 스냅드래곤을 대거 적용하는 추세다.

삼성 멀티미디어개발팀도 ISP의 처리속도에도 심혈을 기울이고 있다. 올해 출시한 모바일 AP인 엑시노스2200에도 최대 2억 화소까지 처리가능한 ISP를 탑재해 맞수를 뒀다. 이는 최대 7개의 이미지센서를 지원하며 4개의 이미지센서에서 입력되는 영상과 이미지 동시 처리능력도 갖췄다.

장면 세분화 기술도 탑재했다. NPU 도움으로 촬영 중인 장면의 부분들을 인식·분류하는 기술로 하늘, 수풀, 피부 등에 각기 다른 파라미터를 적용해 처리하는 기능을 포함한다. AI 기능을 통해 촬영 시 사람 얼굴을 감지해서 표시하거나 그 얼굴의 좌표와 정보를 이용해 영상의 밝기, 초점, 색상을 조절하기도 한다.