NPU와 AI 가속

신경망은 곱셈-누산의 산

인공 신경망의 기본 단위인 뉴런(Neuron)은 입력 \(x_i\)에 가중치 \(w_i\)를 곱해 모두 더하고, 편향 \(b\)를 더한 뒤, 비선형 함수(대개 ReLU, 음수를 0으로)에 통과시킨다.

곱하고 누적기에 더하는 이 한 걸음을 곱셈-누산(MAC, Multiply-Accumulate)이라 한다. 하드웨어로는 곱셈기 하나, 덧셈기 하나, 누적 레지스터 하나다. 아래에서 막대를 위아래로 끌어 입력과 가중치를 바꾸고, MAC을 한 번씩 진행해 보자.

실제 신경망은 이런 뉴런 수백만 개를 층으로 쌓는다. 이미지에 쓰는 합성곱(Convolution) 층은 \(K\times K\) 크기의 필터를 이미지 전체에 미끄러뜨리며 같은 가중치를 반복해서 쓴다. 출력 크기가 \(H_o\times W_o\times C_{out}\)이면 MAC 수는

이다. 층의 종류와 크기를 바꿔 보며 MAC, 매개변수, 데이터 크기가 어떻게 변하는지 보자. 마지막 숫자 산술 집약도(Arithmetic intensity)는 메모리에서 1바이트를 옮길 때마다 하는 연산 수다. 이 장 전체를 꿰뚫는 숫자다.

대표적인 이미지 분류망 ResNet-50은 사진 한 장(224×224)에 약 40억 MAC, 매개변수 약 2,500만 개다. 초당 30장을 처리하려면 초당 1,200억 MAC, 즉 0.24 TOPS(Tera Operations Per Second, MAC 하나 = 연산 2개)가 필요하다. 사진 보정, 실시간 번역, 생성형 AI까지 동시에 돌리면 수십 TOPS가 금세 찬다.

왜 CPU·GPU가 아니라 NPU인가

1장에서 본 에너지 표를 다시 꺼내 보자. 8비트 정수 곱셈은 약 0.2 pJ, 덧셈은 0.03 pJ이다. 그런데 작은 SRAM에서 그 피연산자를 읽는 데 5 pJ, DRAM에서 읽으면 수백 pJ이 든다. CPU는 여기에 명령어 인출·해독·레지스터 파일 접근이 MAC마다 붙는다. 결국 MAC 자체에 쓰는 에너지는 전체의 몇 %에 불과하다.

NPU 설계의 핵심은 단 하나다. 한 번 가져온 데이터를 최대한 많이 재사용한다. 신경망에는 재사용 기회가 넘친다. 합성곱의 가중치는 화소마다 다시 쓰이고, 입력 화소는 필터마다 다시 쓰이고, 부분합은 채널마다 누적된다. 이 재사용을 데이터가 레지스터와 이웃 PE 사이에서만 오가도록 짜 맞춘 구조가 다음 절의 시스톨릭 배열이다.

표는 Horowitz(ISSCC 2014)의 45 nm 자료와 그로부터 어림한 값이다. 정수 MAC이 부동소수점보다 열 배 이상 싸고 작다는 것, 그리고 DRAM 접근 한 번이 MAC 수천 번이라는 것, 두 가지가 NPU의 모양을 결정한다. NPU가 정수 연산과 거대한 온칩 SRAM으로 이루어진 이유다.

시스톨릭 배열: 심장이 뛰듯 데이터를 흘린다

1978년 H. T. Kung과 Charles Leiserson이 제안한 시스톨릭 배열(Systolic array)은 심장 박동(systole)처럼 데이터가 일정한 박자로 이웃 처리 소자(PE, Processing Element)로 넘어가는 구조다. PE 하나는 MAC 하나와 레지스터 몇 개뿐이다. 각 PE는 왼쪽에서 받은 값을 오른쪽으로, 위에서 받은 값을 아래로 넘기며 그 사이에 곱셈-누산을 한 번 한다. 긴 배선도, 공유 버스도, 메모리 접근도 없다. 데이터 하나가 배열을 가로지르는 동안 PE 수만큼 재사용된다. 구글 TPU(2016)가 256×256 시스톨릭 배열로 이 구조를 부활시켰고, 지금의 NPU 대부분이 이 생각을 바탕으로 한다.

핵심 묘기는 엇갈림(Skew)이다. 행렬 곱 \(C = A\,W\)에서 \(A\)의 각 열을 한 사이클씩 늦게 들여보내야, 맞는 짝이 맞는 PE에서 정확히 같은 사이클에 만난다. 아래 시뮬레이터에서 한 사이클씩 진행하며 계단 모양으로 들어가는 데이터를 따라가 보자.

배열이 다 차고 다 비는 데 걸리는 시간이 보이는가? 첫 결과가 나오기까지 \(2S-1\) 사이클 남짓이 걸리고, 마지막 데이터가 빠져나가는 데도 그만큼 걸린다. 전체 사이클은 약 \(L + 2S - 1\)이므로

이다. 흘려 보낼 길이 \(L\)(WS에서는 배치나 화소 수)이 배열 크기보다 훨씬 길어야 효율이 난다. 256×256 배열에 배치 1짜리 작은 행렬을 넣으면 PE 대부분이 논다.

두 데이터 흐름의 차이는 무엇을 붙잡아 두느냐다. 가중치 고정(Weight-stationary)은 가중치를 PE에 한 번 싣고 수많은 입력에 재사용한다. 합성곱처럼 가중치가 여러 화소에 쓰일 때 좋다. 출력 고정(Output-stationary)은 부분합을 PE 안에 붙잡아 누적하므로 넓은(32비트) 부분합이 움직이지 않는다. 그 밖에 입력 고정, 행 고정(MIT Eyeriss) 같은 흐름도 있다. 어느 쪽이 나은지는 층의 모양에 따라 달라서, 요즘 NPU는 층마다 흐름을 바꿀 수 있게 만든다.

루프라인: 연산의 지붕과 메모리의 경사

NPU가 40 TOPS라고 해서 어떤 신경망이든 40 TOPS로 도는 것은 아니다. 계산할 데이터가 제때 도착하지 않으면 MAC은 논다. 커널이 낼 수 있는 성능의 상한을 한 장의 그림으로 보여 주는 것이 루프라인 모델(Roofline model)(Williams, Waterman, Patterson 2009)이다.

가로축이 산술 집약도(연산/바이트), 세로축이 성능이다. 왼쪽은 대역폭이 정하는 경사, 오른쪽은 연산기가 정하는 평평한 지붕이다. 두 선이 만나는 능선점(Ridge point)보다 왼쪽에 있는 커널은 메모리 한계, 오른쪽은 연산 한계다. 커널을 눌러 보고, 대역폭과 연산 성능을 바꿔 보고, "내 커널" 점을 좌우로 끌어 보자.

가장 중요한 관찰은 LLM 디코드다. 대화형 AI가 단어를 하나씩 만들 때(배치 1), 매 토큰마다 모델의 모든 가중치를 DRAM에서 한 번씩 읽어야 하고, 가중치 1바이트당 연산은 2번뿐이다. 산술 집약도 2는 능선점(40 TOPS ÷ 68 GB/s ≈ 590)보다 수백 배 왼쪽이다. NPU가 아무리 커도 0.5% 남짓밖에 쓰지 못한다. 배치를 키우면(여러 사용자의 요청을 묶으면) 점이 오른쪽으로 움직이지만, 휴대폰의 사용자는 한 명뿐이다.

온칩 SRAM과 타일링: 재사용을 짜 맞추기

루프라인에서 오른쪽으로 가려면 산술 집약도를 높여야 한다. 같은 계산을 하면서 DRAM 트래픽을 줄이는 방법은 데이터를 조각(Tile)으로 나눠 칩 안 SRAM에 올리고, 내려보내기 전에 최대한 많이 쓰는 것이다. \(n\times n\) 행렬 곱을 \(T\times T\) 타일로 하면, \(A\)와 \(B\)의 각 원소는 DRAM에서 \(n/T\)번만 읽힌다.

타일이 클수록 트래픽이 줄지만, 타일은 SRAM에 들어가야 한다(\(A\)·\(B\) 타일 각 \(T^2\) 바이트, 32비트 누적기 \(C\) 타일 \(4T^2\) 바이트). SRAM 크기와 타일 크기를 바꾸며 이 맞바꿈을 보자.

SRAM이 작으면 타일을 키울 수 없고, 트래픽이 수십 배로 불어난다. 그래서 휴대폰 NPU는 수 MB, 데이터센터 가속기는 수십~수백 MB의 SRAM을 품는다. SRAM은 다이에서 비싼 면적이지만, 그 면적이 DRAM 트래픽을 줄여 아끼는 에너지가 더 크다. 시스템 캐시(SLC, 5장)도 NPU에게는 두 번째 타일 저장소 역할을 한다. 층과 층 사이의 중간 결과(활성값)를 DRAM에 내려보내지 않고 SRAM에서 다음 층으로 바로 넘기는 층 융합(Layer fusion)도 같은 생각이다.

양자화: 32비트는 너무 많다

신경망은 학습할 때 32비트나 16비트 부동소수점을 쓰지만, 추론할 때는 그렇게 정밀할 필요가 없다. 가중치를 8비트나 4비트 정수로 바꾸는 것을 양자화(Quantization)라 한다. 가장 단순한 대칭 양자화는 값의 범위를 정하고(클리핑 값 \(\alpha\)), 그 범위를 \(2^{b-1}-1\)개의 등간격 칸으로 나눈다.

비트 수가 하나 줄 때마다 칸 수가 절반이 되고 오차가 두 배가 된다. 신호 대 양자화 잡음비(SQNR)로는 비트당 약 6 dB이다. 그런데 가중치 분포에는 드물게 아주 큰 값(이상치)이 있다. 범위를 이상치에 맞추면 대부분의 작은 값이 칸 몇 개에 몰리고, 범위를 좁혀 이상치를 잘라 내면 작은 값은 정밀해지지만 이상치가 망가진다. 클리핑 값을 움직여 이 줄다리기를 직접 해 보자.

실전 양자화는 이보다 영리하다. 채널마다 따로 범위를 정하고(채널별 스케일), 작은 묶음(32~128개)마다 스케일을 두고(그룹 양자화), 이상치만 따로 높은 정밀도로 남기기도 한다. 그 덕에 이미지 신경망은 INT8에서 정확도 손실이 1% 안팎이고, LLM은 INT4 가중치(활성값은 8~16비트)로 쓸 만한 품질을 낸다. 하드웨어 이득은 앞의 표대로다. 비트 수를 절반으로 줄이면 MAC 면적은 대략 1/3~1/4, 메모리와 대역폭은 정확히 절반이 된다.

희소성: 0은 곱하지 않는다

ReLU 뒤의 활성값은 절반 넘게 0이고, 학습이 끝난 가중치 중에도 아주 작은 값이 많다. 0을 곱하는 MAC은 결과에 아무 영향이 없으니 건너뛰면 된다. 이를 희소성(Sparsity) 활용이라 한다. 문제는 0이 어디에 있느냐다. 0이 무작위로 흩어져 있으면 시스톨릭 배열처럼 규칙적으로 데이터를 흘리는 하드웨어는 건너뛸 방법이 없다. 0의 위치를 적어 둔 색인을 따라가며 데이터를 모아야 하는데, 그 비용이 아낀 MAC보다 크기 쉽다.

그래서 나온 타협이 2:4 구조적 희소성(2:4 structured sparsity)이다(NVIDIA Ampere, 2020). 가중치 4개마다 정확히 2개만 남기도록 가지치기한다. 하드웨어는 남은 2개와 2비트 위치 색인만 보고 곱셈기 절반으로 같은 일을 한다. 0의 비율은 50%로 정해져 있지만 그 50%를 확실히 속도로 바꿀 수 있다.

활성값의 0은 실행 중에야 알 수 있으므로 다르게 다룬다. 많은 NPU는 0인 활성값이 들어오면 그 PE의 곱셈기 클럭을 멈춰(클럭 게이팅, 12장) 에너지만 아끼고, 일부는 0을 압축해 SRAM·DRAM 트래픽을 줄인다. 속도보다 에너지와 대역폭을 얻는 쪽이다.

휴대폰에서 LLM 돌리기: 토큰 속도의 산수

루프라인 절에서 본 대로 LLM 디코드는 철저히 메모리 한계다. 그렇다면 토큰 하나를 만드는 시간은 계산이 아니라 모든 가중치를 DRAM에서 한 번 읽는 시간이다. 여기에 지금까지 만든 토큰들의 키·값 기록(KV 캐시(KV cache))도 매번 읽어야 한다.

\(\eta\)는 실제로 얻는 대역폭 비율(대개 60~80%, 7장)이다. 모델 크기, 정밀도, 대역폭을 바꿔 휴대폰이 말을 얼마나 빨리 하는지 보자. 화면에 글자가 실제 계산된 속도로 찍힌다.

여기서 휴대폰 AI의 설계 방향이 모두 나온다. 대역폭을 늘리고(LPDDR5X → LPDDR6, 더 넓은 버스), 가중치를 줄이고(INT4, 작은 모델, 지식 증류), 한 번 읽은 가중치로 토큰을 여러 개 만든다(추측 디코딩, Speculative decoding: 작은 모델이 몇 토큰을 미리 짐작하면 큰 모델이 한 번에 검증해 배치 효과를 얻는다). 처음 프롬프트를 읽는 프리필 단계는 토큰 수백 개가 같은 가중치를 공유하므로 연산 한계에 가깝고, 여기서 NPU의 TOPS가 빛난다.

2024년에 PC 업계가 "AI PC" 기준으로 NPU 40 TOPS 이상을 내걸면서, 휴대폰과 노트북 NPU는 모두 수십 TOPS대에 모였다. 그런데 앞에서 계산했듯 LLM 디코드에서 이 TOPS의 1%도 쓰기 어렵다. 다음 세대 NPU 경쟁이 TOPS보다 대역폭, SRAM, 저정밀도 지원으로 옮겨 가는 이유다. NPU 옆에서 사진을 처리하는 ISP와 영상 코덱 같은 고정 기능 블록은 11장에서 다룬다.