[로컬llm과 api 검토] 로컬 LLM 하드웨어 비교 2026 견적 실패기_02

「로컬 LLM 증설기」 3부작
1편: 24GB의 벽 — 무엇이 왜 깨졌나
2편: 하드웨어 견적 전수 조사 — 그 메모리, 대체 어디서 사나 (현재 글)
3편: API 손익분기점 — 사는 게 정말 나은가

맥북에어 24GB로는 안 된다는 결론이 난 뒤, 실가용 26~28GB를 확보할 방법을 전부 뒤졌다. 맥미니, 맥스튜디오, 미니PC, eGPU, 데스크탑 자작까지 다섯 갈래를 견적 냈는데 2026년은 이 계산을 하기에 최악의 해였다. AI 데이터센터가 세계의 메모리를 빨아들이면서 가격표가 전부 뒤틀려 있었다.

0단계: 요구사항부터 깎아냈다

처음엔 로컬 영상 생성까지 욕심을 냈다. 그 순간 필요 사양이 두 배로 뛰었다. 영상 생성 모델은 LLM과 메모리 프로파일도 다르고, 무엇보다 품질 격차가 커서 로컬로 굴릴 실익이 없었다. 영상은 Kling·Runway·Pika 같은 클라우드로 넘기고 LLM 전용으로 범위를 잘랐다.

이 결정 하나로 후보군이 절반으로 줄었다. 남은 조건은 세 개다. 46B급 Q4 구동, 실가용 26~28GB 이상, 그리고 가급적 플러그앤플레이. 마지막 조건이 중요했는데, 본업이 따로 있는 상태에서 드라이버와 씨름하는 시간까지 비용으로 잡아야 했기 때문이다.

후보 1: 맥미니 / 맥스튜디오 — 가격표가 무너졌다

애플은 유니파이드 메모리 구조 자체가 로컬 LLM에 유리하다. CPU와 GPU가 같은 메모리를 쓰니 대형 모델을 통째로 올릴 수 있다. 문제는 2026년 6월 25일 가격 인상이다. 애플은 "이제 가격을 올려야 하는 지점에 도달했다"며 "부품 가격이 이렇게 빠르게 오르는 건 처음 본다"고 밝혔다.

인상폭이 상당했다. M4 맥미니 24GB 구성은 43%, M4 Pro 모델은 14.3% 올랐고, 맥스튜디오는 절대금액 기준 1,300달러라는 최대 인상폭을 기록했다. 그 결과 M4 Max 맥스튜디오 시작가가 2,499달러, M3 Ultra는 5,299달러가 됐다. M4 Pro 맥미니도 1,399달러에서 1,599달러로 올랐다.

더 뼈아픈 건 용량 옵션 자체가 사라졌다는 점이다. 애플은 M3 Ultra 맥스튜디오의 512GB 통합 메모리 옵션을 제거했고, 2026년 5월 기준으로는 36GB·64GB·96GB만 선택 가능하다. 돈이 있어도 못 사는 상황이 된 것이다. 최상위 구성은 96GB 통합 메모리에 14,299달러까지 올라, GB당 약 149달러라는 기괴한 단가가 나왔다.

여기에 배송 문제까지 겹쳤다. 구성에 따라 배송 예상 기간이 6~10주에 달했다. 그리고 맥스튜디오는 2025년 3월 이후 갱신되지 않아 제품 주기 끝에 가까우며, M5 Max·M5 Ultra 탑재 모델이 2026년 10월경 나올 수 있다는 점도 걸렸다. 지금 최고가로 사서 두 달 뒤 신형을 보는 그림이 될 수 있었다.

후보 2: 스트릭스 헤일로 미니PC — 용량은 싸고 속도는 느리다

AMD Ryzen AI Max+ 395(코드명 Strix Halo) 미니PC가 가장 유력한 후보였다. 16코어 Zen 5에 Radeon 8060S 내장 그래픽, 그리고 최대 128GB 통합 LPDDR5X를 묶은 구성이다. 128GB 중 최대 96GB를 VRAM으로 할당할 수 있어 70B Q4 모델(약 42GB)을 5~10 토큰/초로 돌린다.

성능 프로파일이 독특했다. 30B 모델에서 100 t/s를 내면서, 단일 소비자용 그래픽카드에는 안 들어가는 120B 모델도 돌린다. 그런데 함정이 있다. 메모리 대역폭이 256GB/s로 RTX 5090의 1,792GB/s에 크게 못 미쳐, 32B 미만 모델은 오히려 외장 그래픽카드가 빠르다. 중고 RTX 3090과 비교해도 약 3.6배 느리다.

즉 이 기계는 속도가 아니라 용량을 사는 물건이다. 이 성격을 이해하지 못하면 사고 나서 실망한다. 대신 GB당 단가는 압도적이다. GPU가 접근 가능한 메모리 기준 GB당 약 9달러로, 현재 x86 시장에서 가장 저렴한 대용량 통합 메모리 풀이다.

선택지도 넓어졌다. 같은 칩을 쓰는 서드파티 미니PC가 30종 이상 나와 있고, 128GB 구성 기준 약 2,399달러부터 시작한다. AMD 자사 시스템은 3,999달러다. 다만 여기도 가격이 뛰었다. 한 리뷰어는 128GB 구성을 2,099달러에 봤다가 6개월 뒤 3,299달러가 된 걸 발견했다고 적었다.

구매 시 주의점 하나. 널리 알려진 1,499달러 표기는 64GB 구성이고, 235B급 MoE 모델은 물론 제대로 된 양자화의 70B 밀집 모델도 64GB에는 안 들어간다. 메모리가 메인보드에 납땜되어 있어 나중에 못 늘린다. 살 거면 128GB만 유효하다는 뜻이다.

후보 3: eGPU — 2026년에 반전이 있었다

애플 실리콘은 eGPU를 못 쓴다고 알고 있었다. 유니파이드 메모리를 쓰기 때문에 확장할 별도 VRAM 풀이 없고, macOS는 리눅스처럼 썬더볼트로 PCIe 장치 터널링을 노출하지 않는다는 게 통설이었다. 그런데 조사하다 뒤집혔다.

2026년 3월 31일, Tiny Corp의 TinyGPU 드라이버 확장이 애플의 공식 승인을 받았다. SIP(시스템 무결성 보호)를 끄지 않고도 애플 실리콘 맥에서 외장 NVIDIA·AMD GPU를 쓸 수 있게 된 것이다. 요구사항은 macOS 12.1 이상, 썬더볼트 또는 USB4 포트, 그리고 AMD RDNA3+ 또는 NVIDIA Ampere+ GPU다.

순간 솔깃했다. 맥북을 그대로 두고 GPU만 붙이면 되는 그림이니까. 그런데 실측이 문제였다. Plugable 테스트에서 Radeon 9070과 RTX 5070 모두 기본 시스템 성능 대비 큰 향상이 없었고, NVIDIA는 Docker Desktop 설치가 추가로 필요해 오히려 병목이 생길 수 있었다.

"된다"와 "쓸 만하다"는 다른 얘기였다. 여기에 인클로저 비용과 전원 문제까지 더하면 배보다 배꼽이 크다. 플러그앤플레이 조건에서 탈락시켰다. 다만 이 기술이 성숙하면 판이 다시 바뀔 수 있어서, 후보 목록에서 완전히 지우지는 않았다.

후보 4: 데스크탑 자작 + 외장 GPU

이미 RTX 5070 8GB 노트북에서 VRAM 부족을 겪은 상태였다. 그럼 제대로 된 카드를 사면? 여기서 2026년의 진짜 광기를 봤다.

MSRP 1,999달러였던 RTX 5090은 4,288달러까지 올라 114.5% 상승했다. 한국은 더 심해서, 2026년 8월 기준 유통사 가격이 최대 730만원으로 한 달 만에 150만원가량 올랐다. RTX 50 Super 리프레시는 무기한 연기됐는데, VRAM 부족을 해결하려던 제품이 하필 가장 부족한 부품을 필요로 했기 때문이다.

원인은 하나로 수렴한다. 일부 고급 그래픽카드에서 VRAM이 전체 자재비의 80%를 넘어섰다. 사실상 그래픽카드가 아니라 메모리를 사는 셈이다.

대안도 살펴봤다. RTX 5080은 16GB라 AI 용도로는 7B~13B 수준으로 제한되고, 중고 RTX 4090은 24GB로 30B급과 가볍게 양자화한 70B까지 커버한다. 46B급이 목표인 내 요구사항에는 4090 24GB조차 빠듯했다. 그렇다고 5090 두 장을 꽂자니 1,400만원이다. 계산이 성립하지 않았다.

NVIDIA vs Radeon, 유니파이드 vs 전용 VRAM

여기까지 오니 선택의 축이 명확해졌다. 브랜드 싸움이 아니라 메모리 구조의 싸움이었다.

구분	유니파이드 메모리	전용 VRAM
확보 가능 용량	96~128GB	소비자용 최대 32GB
메모리 대역폭	256GB/s	1,700GB/s 이상
GB당 비용	약 9달러	매우 높음
생태계	ROCm / Metal	CUDA (사실상 표준)
소비전력	55W급 TDP	400~500W
확장성	납땜, 불가	카드 교체 가능

정리하면 큰 모델을 느리게 vs 작은 모델을 빠르게의 선택이다. 46B급이 목표면 답은 유니파이드다. Radeon을 고르는 이유도 성능이 아니라 "그 용량을 그 가격에 주는 게 거기뿐"이라서다. CUDA 생태계를 포기하는 대가로 용량을 사는 거래다.

전기료도 무시할 수 없었다. RTX 4090 데스크탑은 GPU 부하 시 400~500W를 쓰는데, 같은 하루 6시간 기준으로 스트릭스 헤일로 대비 4~5배의 전기료가 나온다. 24시간 상시 가동 추론 서버를 목표로 한다면 이 차이가 매년 누적된다.

Trouble Shooting

증상	원인	해결 방법
NPU TOPS 수치를 보고 기대했다 실망	Ollama·llama.cpp·LM Studio는 LLM 추론을 NPU가 아닌 GPU로 보낸다. NPU는 영상 업스케일링 등 고정 기능용	NPU TOPS는 구매 기준에서 제외, GPU와 메모리만 평가
1,499달러 특가에 낚일 뻔함	해당 가격은 64GB 구성, 대형 모델이 안 들어감	128GB 구성만 유효하다고 결론, 예산 재산정
Strix Halo에서 ROCm이 깨짐	linux-firmware 20251125 버전의 알려진 문제	해당 버전 회피, Ubuntu 24.04 LTS 헤드리스 + RADV Vulkan 경로 채택
Windows로 구성했다 불안정	드라이버 스택이 추론 워크로드에 최적화되지 않음	헤드리스 리눅스로 전환, GUI 오버헤드도 제거
eGPU 소식에 계획을 뒤집을 뻔함	공식 승인은 났으나 실측 성능 향상이 미미	후보에서 제외, 유니파이드 메모리 확대로 회귀
맥스튜디오 견적이 계속 바뀜	메모리 대란으로 옵션 삭제와 가격 인상이 반복	특정 시점 스냅샷으로 고정해 비교, 대기 전략 검토

2편 결산: 확정된 것, 남은 질문

	내용
확정 #6	46B급 목표에는 유니파이드 메모리가 유일한 현실적 선택
확정 #7	유력 후보: 스트릭스 헤일로 128GB 미니PC, 약 2,200달러(약 312만원)
확정 #8	OS 선택: Ubuntu 24.04 LTS 헤드리스 + RADV Vulkan (linux-firmware 20251125 회피)
확정 #9	eGPU는 공식 승인됐지만 실측 성능은 기대 이하 — 관찰 대상으로만 유지
확정 #10	2026년은 최악의 구매 시점 (후보 전체 가격 30~114% 상승)
남은 질문	그 312만원(2,200달러)이면 API를 몇 달이나 쓸 수 있는가?

느낀 점 / 다음에 할 일

가장 크게 배운 건 스펙표가 아니라 병목을 봐야 한다는 것이다. NPU TOPS는 LLM에 안 쓰이고, 유니파이드 24GB는 실제로 18GB고, 128GB 미니PC는 느리다. 숫자마다 붙어 있는 별표를 확인하지 않으면 견적이 통째로 틀어진다.

두 번째는 타이밍이 사양보다 중요할 수 있다는 것이다. 2026년의 메모리 대란은 개인이 통제할 수 없는 변수인데, 이게 모든 후보의 가격을 30~114% 밀어올렸다. 같은 기계가 6개월 전보다 60% 비싸다면, 그 6개월을 더 기다리는 것도 하나의 전략이다.

그리고 더 근본적인 의문이 남았다. 이 가격표를 보고 있으면, 하드웨어를 사는 게 정말 싼 게 맞나? 300만원이면 API를 몇 달 쓸 수 있는 걸까? 다음 편은 2026년 8월 기준 토큰 단가를 전부 긁어모아 손익분기점을 계산한 기록이다.

이전 글: 맥북에어 M5 24GB에서 Hermes Agent가 깨진 이유 / 다음 글: API 손익분기점 계산