CPU 코어: 파이프라인

명령어는 비트다

CPU가 알아듣는 말의 목록을 명령어 집합 구조(ISA, Instruction Set Architecture)라 한다. 스마트폰 CPU는 대부분 Arm의 AArch64를 쓰고, 최근에는 누구나 쓸 수 있는 공개 ISA인 RISC-V가 마이크로컨트롤러에서 시작해 점점 큰 코어로 퍼지고 있다. 이 장에서는 구조가 깔끔한 RISC-V로 이야기한다.

RISC-V의 기본 명령어는 모두 32비트다. 맨 아래 7비트 opcode가 명령의 종류(산술, 적재, 저장, 분기…)를 정하고, 나머지 비트는 종류에 따라 정해진 자리에 레지스터 번호와 상수(즉치값(Immediate))를 담는다. 레지스터 번호 자리가 형식과 상관없이 늘 같은 비트에 있다는 점이 중요하다. 해독기가 명령의 종류를 알아내기 전에 미리 레지스터 파일을 읽기 시작할 수 있기 때문이다. 아래에서 명령을 고르거나, 비트를 직접 눌러 뒤집어 보자.

명령어가 하는 일은 크게 네 가지다. 레지스터끼리 계산하기(add, sub, and…), 메모리에서 레지스터로 가져오기(lw, load), 레지스터에서 메모리로 내보내기(sw, store), 다음에 실행할 명령의 주소를 바꾸기(beq, branch). 계산은 오직 레지스터에서만 하고 메모리와는 적재·저장으로만 주고받는 이 방식을 적재-저장 구조(Load-store architecture)라 한다. RISC 계열 ISA의 공통점이며, 파이프라인을 깔끔하게 만드는 바탕이다.

명령어가 지나가는 길: 데이터패스

명령어 하나를 처리하는 과정은 다섯 단계로 나눌 수 있다. ① IF(인출, Instruction Fetch): 프로그램 카운터(PC)가 가리키는 주소에서 명령어를 읽는다. ② ID(해독, Instruction Decode): 필드를 나누고 레지스터 파일에서 피연산자를 읽는다. ③ EX(실행, Execute): ALU가 계산하거나 메모리 주소를 만든다. ④ MEM(메모리): 적재·저장이면 데이터 메모리에 접근한다. ⑤ WB(기록, Write Back): 결과를 레지스터 파일에 쓴다. 이 회로 덩어리 전체를 데이터패스(Datapath)라 한다.

단일 사이클 설계는 이해하기 쉽지만 낭비가 크다. 한 명령이 인출 회로를 쓰는 동안 ALU와 데이터 메모리는 놀고 있고, 클럭은 가장 느린 명령에 맞춰야 한다. 2장에서 본 파이프라이닝을 여기에 적용하면 어떨까? 다섯 단계 사이에 플립플롭을 끼워 넣으면 각 단계가 서로 다른 명령을 동시에 처리할 수 있다.

파이프라인: 빨래방의 지혜

빨래 네 바구니를 생각하자. 세탁, 건조, 개기, 정리에 각각 30분이 걸린다. 한 바구니를 끝까지 마친 뒤 다음 바구니를 시작하면 네 바구니에 8시간이 걸린다. 하지만 첫 바구니가 건조기에 들어가자마자 둘째 바구니를 세탁기에 넣으면 3시간 30분이면 끝난다. 바구니 하나가 끝나는 데 걸리는 시간(지연 시간)은 그대로 2시간인데, 일정 시간에 끝나는 바구니 수(처리량(Throughput))가 늘었다.

CPU에서 "바구니"는 명령어, "세탁기·건조기"는 IF·ID·EX·MEM·WB 다섯 단계다. 이상적이라면 매 사이클 명령어 하나가 끝나므로 명령어당 사이클 수, 즉 CPI(Cycles Per Instruction)가 1이 된다. 그런데 빨래와 달리 명령어는 서로 얽혀 있다. 뒷 명령이 앞 명령의 결과를 필요로 하기도 하고, 앞 명령(분기)이 끝나 봐야 뒷 명령이 무엇인지 알 수 있기도 하다. 이렇게 파이프라인이 매 사이클 다음 명령을 진행하지 못하게 막는 상황을 해저드(Hazard)라 한다.

데이터 해저드와 포워딩

해저드는 세 종류다. 같은 자원을 두 명령이 동시에 쓰려는 구조적 해저드(예: 메모리 포트가 하나뿐인데 인출과 적재가 겹칠 때), 앞 명령의 결과를 뒷 명령이 기다리는 데이터 해저드, 분기의 결과를 몰라 다음 명령을 정하지 못하는 제어 해저드. 5단 파이프라인은 명령어 메모리와 데이터 메모리를 나누어(실제로는 L1 명령 캐시와 L1 데이터 캐시) 구조적 해저드를 피한다. 남은 둘을 차례로 보자.

add x1, x2, x3 바로 뒤에 sub x4, x1, x5가 온다고 하자. sub는 ID 단계에서 x1을 읽어야 하는데, add는 그때 막 EX 단계에서 x1을 계산하는 중이고 레지스터 파일에 쓰는 것은 두 사이클 뒤 WB 단계다. 이것이 데이터 해저드(Data hazard)다. 가장 단순한 해결은 sub를 ID에서 기다리게 하는 것이다. 그 사이 EX 이후 단계에는 아무 일도 하지 않는 빈칸, 즉 거품(Bubble, Stall)이 흘러간다.

더 똑똑한 방법이 있다. x1의 값은 add의 EX 단계가 끝나는 순간 이미 ALU 출력에 나와 있다. 레지스터 파일까지 돌아갈 필요 없이 그 값을 바로 다음 명령의 ALU 입력으로 옆길로 보내 주면 된다. 이것이 포워딩(Forwarding, Bypassing)이다. 아래에서 앞 명령의 종류와 두 명령 사이 거리, 포워딩 여부를 바꿔 거품이 몇 개 생기는지 보자.

5단 파이프라인 시뮬레이터

이제 모든 조각을 한 기계에 모으자. 아래 시뮬레이터는 RISC-V의 일부 명령(add sub and or xor slt addi andi ori lw sw beq bne blt bge nop)을 실제로 실행하면서, 매 사이클 어느 명령이 어느 단계에 있는지 그린다. 분기는 EX 단계에서 결정되고, 예측이 틀리면 그 사이에 잘못 가져온 두 명령을 버린다(플러시(Flush)). 프로그램을 골라 한 사이클씩 넘겨 보고, 포워딩과 분기 예측을 바꿔 가며 CPI가 어떻게 변하는지 확인하자. 프로그램은 직접 고칠 수도 있다.

"배열 합"을 포워딩 켜고 끝까지 돌리면 CPI가 1을 꽤 넘는다. 원인은 두 가지다. 반복마다 lw 직후 add가 그 값을 쓰는 적재-사용 거품 1개, 그리고 반복문 끝의 bne가 "안 감"으로 예측되었다가 실제로는 매번 뒤로 가서 생기는 플러시 2개다. 예측기를 2비트로 바꾸면 두 번째 반복부터 분기를 맞히기 시작하고, "순서 바꿈" 프로그램은 거품도 없앤다. 두 가지를 모두 하면 CPI가 1에 가까워진다.

이 시뮬레이터가 바로 스마트폰 효율 코어의 뼈대다. Arm의 Cortex-A55·A520 같은 작은 코어는 명령을 프로그램 순서대로 처리하는 순차 실행(In-order) 파이프라인에 한 사이클 두 개씩 발행하는 정도를 더한 구조다. 순서를 바꾸는 복잡한 회로가 없어 면적이 큰 코어의 1/4~1/5에 불과하고, 같은 일을 훨씬 적은 에너지로 한다. 대신 적재-사용 거품이나 캐시 미스를 만나면 꼼짝없이 기다린다. 그 기다림을 줄이는 것이 다음 장 큰 코어의 일이다.

분기 예측: 아직 모르는 미래에 걸기

프로그램에는 평균 5~7개 명령에 하나꼴로 분기가 있다. 분기의 결과는 EX 단계에 가서야 알 수 있으므로, 그때까지 파이프라인 앞쪽은 무엇을 가져와야 할지 모른다. 기다리면 분기마다 사이클을 잃는다. 그래서 CPU는 추측한다. 일단 한쪽 길을 골라 계속 가져오고 실행하다가, 틀렸으면 그 일을 모두 버리고 올바른 길로 돌아간다. 맞히는 비율이 높을수록 손해가 적다.

가장 유명한 예측기는 분기마다 2비트짜리 카운터를 하나 두는 2비트 포화 카운터(2-bit saturating counter)다. 분기가 가면 카운터를 하나 올리고, 안 가면 하나 내린다(0과 3에서 멈춘다). 카운터가 2 이상이면 "감"으로 예측한다. 한 번 어긋났다고 바로 생각을 바꾸지 않으므로, 반복문 끝에서 한 번 빠져나오는 정도로는 흔들리지 않는다.

방향(감/안 감)만 맞혀서는 부족하다. "감"이라고 예측했다면 어디로 가는지도 인출 단계에서 바로 알아야 한다. 그래서 분기 명령의 주소와 그 목적지를 기억하는 작은 캐시, BTB(Branch Target Buffer)를 둔다. 함수에서 돌아가는 ret처럼 목적지가 매번 바뀌는 분기는 호출할 때마다 돌아올 주소를 쌓아 두는 반환 주소 스택(Return address stack)으로 맞힌다. 위 시뮬레이터의 "항상 감"과 "2비트"는 BTB가 늘 맞는다고 가정한 것이다.

현대 고성능 코어의 예측기는 이보다 훨씬 정교하다. 최근 수십~수천 개 분기의 결과(전역 기록)와 주소를 섞어 여러 표를 동시에 찾고, 가장 믿을 만한 표의 답을 고르는 TAGE 계열이나 신경망을 흉내 낸 퍼셉트론 예측기를 쓴다. 덕분에 보통 프로그램에서 정확도가 95~99%에 이른다. 그래도 남은 1~5%가 중요하다. 깊은 파이프라인에서 예측 실패 한 번은 10~20사이클을 버리는 일이기 때문이다.

성능 방정식과 파이프라인의 깊이

CPU 성능을 하나의 식으로 묶어 보자. 프로그램 하나를 실행하는 시간은 명령어 수, 명령어당 사이클, 사이클 하나의 길이를 곱한 것이다. 이 식을 흔히 철의 법칙(Iron law of performance)이라 부른다. 세 항은 서로 다른 사람이 책임진다. 명령어 수는 ISA와 컴파일러, CPI는 마이크로아키텍처, 클럭은 회로와 공정(2장)이다.

2장에서 본 대로 파이프라인을 깊게 하면 클럭은 오르지만, 단마다 레지스터 오버헤드를 내야 하고, 분기 예측이 틀렸을 때 버리는 단의 수도 늘어난다. 깊이에 따라 클럭은 오르고 CPI는 나빠진다. 그 곱이 최소가 되는 지점, 즉 최적 깊이가 있다. 2000년대 초 연구들(Hartstein·Puzak, Sprangle·Carmean 등)은 성능만 보면 최적 깊이가 FO4 6~8개 남짓의 단 지연, 대략 20~30단이라는 결과를 냈지만, 전력까지 고려하면 훨씬 얕아진다. 펜티엄 4가 31단까지 갔다가 다음 세대(Core)에서 14단 안팎으로 돌아온 것이 그 증거다.

단 수와 벌점은 공식 발표와 공개 측정(마이크로벤치마크) 자료의 대략값이며, 같은 코어도 측정 방법(어느 단계에서 예측 실패가 드러나는가, 마이크로옵 캐시 적중 여부)에 따라 몇 사이클씩 다르다.