알아야 할 배경지식 · 목차 08/30 AI 반도체: GPU와 NPU
AI 계산에 왜 그래픽 칩을 쓰고, NPU는 무엇이 다를까요
병렬 계산에 강한 GPU와 추론에 맞춘 NPU, 그리고 경산의 GPU·NPU 실증
읽기 전에 먼저 풀어 보세요
먼저 한 문제
AI 반도체인 GPU와 NPU의 역할을 바르게 설명한 것은 무엇일까요?
알아야 할 배경
AI 반도체1는 AI 서비스에 필요한 학습과 추론2 같은 대규모 계산을 높은 성능과 적은 전력으로 해내는 반도체입니다. 학습은 많은 데이터로 AI 모델을 가르치는 단계이고, 추론은 학습을 마친 모델이 새로 들어온 정보를 보고 판단하거나 답을 만드는 단계입니다.
CPU(중앙처리장치)는 여러 종류의 일을 두루 처리하도록 만든 범용 칩입니다. 명령을 차례대로 실행하는 데 알맞습니다. 그런데 AI 계산은 수많은 계산을 동시에 해내는 병렬 연산3이 중심이라 CPU로는 효율이 떨어집니다.
GPU(그래픽처리장치)는 원래 화면에 그래픽을 빠르게 그리려고 만든 칩입니다. 1990년대 중반부터 본격적으로 개발됐는데, 그래픽뿐 아니라 벡터·행렬 연산에도 뛰어나다는 점이 드러났습니다. 그래서 2000년대 후반부터 AI 계산에 적극적으로 쓰이기 시작했습니다. GPU 안에는 병렬 처리를 위한 연산기가 아주 많이 들어 있습니다. 다만 그 연산기가 다 쓰이지 않을 때도 계속 돌아가며 전력을 낭비하는 일이 생길 수 있다고 KAIST 연구진은 2024년 3월 과학기술정보통신부 브리핑에서 설명했습니다.
NPU(신경망처리장치)4는 사람의 뇌신경을 본뜬 AI 알고리즘 계산에 맞춰 설계한 프로세서입니다. 정부 자료는 AI 반도체의 1세대를 CPU와 GPU, 2세대를 NPU로 나눕니다. NPU는 전력 효율이 높아 실시간 추론에 쓸모가 크고, 스마트폰처럼 여러 칩을 묶은 기기 안에도 들어갑니다.
GPU는 대규모 데이터로 모델을 학습시키는 데 강하고, NPU는 학습을 마친 모델로 실시간 추론을 하는 데 맞춰져 있습니다. 그래서 두 칩은 서로를 밀어내기보다 일을 나눠 맡는 관계로 설명됩니다.
이번 주 뉴스와 연결
경상북도 경산시는 GPU 112개를 갖춘 AI 기반시설에 국내 반도체 기업 퓨리오사AI의 2세대 NPU 8대를 더해 제조업 현장 실증을 넓히고 있습니다. 2026년 10월 29일 보도입니다.
이 시설은 2024년 시작된 경북 초거대 AI 클라우드팜 사업의 일부입니다. 과학기술정보통신부 공모로 뽑혀 2024년부터 2026년까지 3년 동안 총 258억원을 들이는 계획이었습니다. 중소기업이 값비싼 연산 장비를 직접 사지 않고 필요한 만큼 빌려 쓰도록 운영됩니다.
GPU는 AI 모델 학습과 여러 갈래의 병렬 계산에, NPU는 추론을 효율적으로 처리하는 데 쓰입니다. 공장에서 제품 사진을 보고 불량인지 가리거나, 로봇이 모은 센서 데이터를 처리하는 일이 추론에 해당합니다.
그렇다면 GPU가 있는데도 NPU를 따로 시험하는 까닭은 무엇일까요? AI를 실제 일터에서 오랫동안 반복해 돌리면 처리 속도만큼 전력과 운영비가 중요해지기 때문입니다. 경산시는 이번 실증으로 추론 작업의 효율과 현장 적용 가능성을 확인하려 합니다.
- 아직 결과가 나온 것은 아닙니다. 전력비를 얼마나 줄일지는 같은 AI 모델을 돌려 처리 속도와 전력 소모량을 견줘 봐야 알 수 있습니다.
- 이번 NPU에도 고대역폭메모리(HBM)가 함께 실립니다. 계산 칩에 데이터를 빨리 건네야 칩이 제 성능을 내기 때문입니다.
면접에서 이렇게 써먹기
AI 반도체 질문을 받으면 학습에는 범용 병렬 계산에 강한 GPU가, 추론에는 AI 전용으로 설계한 NPU가 효율적이라는 역할 분담을 먼저 말하면 좋습니다. 그다음 AI를 현장에서 많이 쓸수록 전력과 비용이 중요해진다는 점으로 이어 갑니다.
- 반도체·IT 직무: GPU는 그래픽용으로 출발해 병렬 계산 능력 덕분에 AI로 넓혀졌고, NPU는 처음부터 AI 계산을 겨냥했다는 차이로 설명할 수 있습니다.
- 공공·제조·모빌리티 직무: 온디바이스 AI5와 연결할 수 있습니다. 인터넷 연결 없이 기기 안에서 바로 분석하고 판단하는 기술로, 빠른 응답과 높은 보안이 장점입니다. 과학기술정보통신부는 NPU를 실은 기기를 교통·물류, 보건·복지, 재난·안전 현장에 적용하는 실증 사업을 2026~2027년 2년간 추진합니다. 공공 CCTV 관제센터에 영상 분석에 특화된 국산 NPU를 들이는 사업도 추진하고 있습니다.
- 균형 잡기: 국산 NPU가 비용을 얼마나 줄일지는 실제 모델로 속도와 전력을 재 봐야 판단할 수 있습니다. 효과를 단정하기보다 무엇을 검증해야 하는지를 말하는 편이 설득력이 있습니다.
- 5온디바이스 AI 인터넷에 연결하지 않고 기기 안에서 바로 데이터를 분석하고 판단하는 AI 기술입니다.
면접에서 왜 중요한가
AI 서비스가 늘면서 어떤 칩으로 학습하고 추론하느냐가 비용과 전력을 가르고, 정부도 공공 현장에 NPU 도입을 넓히고 있어 반도체·IT·공공 면접에서 두루 연결되는 개념이기 때문입니다.
세 문제로 확인하기
복습 1 / 3
GPU는 처음에 어떤 목적으로 만들어진 칩일까요?
복습 2 / 3
경산시가 GPU 시설에 NPU 8대를 더해 확인하려는 것은 무엇일까요?
복습 3 / 3
온디바이스 AI에 대한 설명으로 옳은 것은 무엇일까요?
출처 6개 보기
- 1경산, GPU 112장에 국산 AI반도체 8대…제조업 AI 실증 본격화 - 글로벌이코노믹
- 2인공지능 반도체로 세계시장을 이끌겠습니다 - 카드/한컷 | 대한민국 정책브리핑
- 3AI반도체 핵심기술 개발 관련 브리핑 - 부처 브리핑 | 대한민국 정책브리핑
- 4NPU 탑재 '온디바이스 AI' 공공 서비스 확대 추진 - 정책뉴스 | 대한민국 정책브리핑
- 5공공 CCTV 관제에 국산 NPU 첫 도입…'AI CCTV'로 본격 전환 - 정책뉴스 | 대한민국 정책브리핑
- 6[Behind the CHIP] AI와 반도체: 인공지능 시대를 여는 핵심 기술 - 삼성전자 반도체 뉴스룸
이 회차는 AI가 출처를 바탕으로 초안을 쓰고 운영자가 확인해 발행했습니다. 기사 문장을 옮기지 않고 사실만 새로 썼습니다.