책 목록으로 돌아가기

Dwarkesh Patel 저 / Gavin Leech 공저 / Stripe Press 출판 (2025)

The Scaling Era: An Oral History of AI, 2019–2025

Dwarkesh Patel 저 / Gavin Leech 공저 / Stripe Press 출판 (2025) 지식 컷오프: 2024년 11월

핵심 주장

"We didn't design it so much as grow it." "This is the worst this technology will ever be." — 업계의 새 격언

2019~2025년 AI 개발의 결정적 시기를 주요 인물들과의 인터뷰로 재구성한 구술사. Dario Amodei·Demis Hassabis·Ilya Sutskever·Mark Zuckerberg 등 프런티어 AI를 실제로 만든 사람들에게서 직접 들은 스케일링이 작동하는 이유, LLM의 내부 작동 원리, 정렬 문제의 실체, AGI 타임라인을 다룬다.

핵심 명제: 스케일링 시대(2016~)는 컴퓨트·데이터를 지수적으로 늘리면 지능이 예측 가능하게 향상되는 경험적 사실에 의해 정의된다.

주요 인터뷰이 목록

챕터별 핵심 내용

Chapter 1: Scaling — 왜 크면 똑똑해지는가

스케일링 법칙의 발견

• 컴퓨트(파라미터 수 × 훈련 데이터 × 훈련 시간)를 늘릴수록 모델의 다음 토큰 예측 손실이 매끄럽고 예측 가능하게 감소
• 2010년 이후 최대 AI 모델 훈련에 사용된 컴퓨트: 10억 배 증가. 6개월마다 2배(무어의 법칙의 4배 속도)
• GPT-3 훈련에 $400만 투자가 가능했던 이유: 스케일링 법칙이 결과를 사전에 예측해줬기 때문

왜 스케일링이 작동하는가 (이론)

• Jared Kaplan: "신경망은 데이터 다양체(manifold)에 곡선을 피팅하는 것. 파라미터를 늘릴수록 더 세밀하게 조각낸다 → 거듭제곱 법칙 스케일링"
• Dario Amodei: "파워-로 상관관계. 언어 구조를 배우다가 점점 미묘한 상관관계로 넘어간다. 왜 매끄럽게 스케일되는지는 여전히 미스터리"
• 일야 수트스케버의 선 화두: "The models, they just want to learn."

추론 시간 스케일링(Inference Scaling)

• 두 번째 형태의 스케일링: 모델이 답을 낼 때 더 많은 컴퓨트를 쓰게 함 (체인 오브 스엇)
• Leopold Aschenbrenner: GPT-4는 수백 토큰으로 생각. 수백만 토큰이면? → 테스트 시간 컴퓨트 오버행 (아직 잠금 해제 안 됨)
• AlphaGo 연구: 테스트 시간 컴퓨트 10,000배 ≈ 3.5배 큰 모델

스케일링의 생물학적 증거

• Carl Shulman: 침팬지 대비 인간 뇌의 3배 크기 + 더 긴 유년기 = 더 많은 컴퓨트
• AI 모델은 포식자에게 잡힐 위험이 없어 지능에 투자하는 "진화적 제약"이 없음
• Suzana Herculano-Houzel: 인간 뇌 = 확장된 영장류 뇌 → 스케일링이 인간 수준 지능을 만들었다

Chapter 2: Evals — LLM이 실제로 무엇을 할 수 있나

벤치마크의 의미와 한계

• BIG-Bench(200개 과제), MMLU 등 → 모델 성능이 컴퓨트에 따라 매끄럽게 향상됨
• Jack Clark(Anthropic): "역량 오버행" — 테스트하지 않은 능력이 얼마나 있는지 모른다
• 벤치마크 포화 속도: 최근 몇 년 사이 급격히 짧아짐 (수년 → 수개월)

François Chollet의 반론: ARC-AGI

• GSM8K(초등 수학): 모델 95% 정확 → 암기 벤치마크, 실제 추론 아님
• ARC 퍼즐: 아이도 풀지만 LLM은 실패 → 새로운 프로그램을 즉석에서 합성하는 능력 부재
• 두 가지 추론 정의:

1. 암기된 프로그램 템플릿 재적용 (LLM이 하는 것)
2. 새 상황에서 즉석으로 프로그램 합성 (인간만의 것)

지능의 스펙트럼은 단일 차원이 아니다

• Dario Amodei: "셰익스피어 스타일로 소네트 쓰기 = 인간 수준 이상. 단순 수학 증명 = 아직 기초 수준. 지능은 단일 스펙트럼이 아니다"

Chapter 3: Internals — LLM 내부에서 무슨 일이 벌어지나

해석가능성(Interpretability) 기초

• 모델 가중치·활성화의 의미를 인간 언어로 해석하는 과학
• Trenton Bricken: 뇌의 소뇌 회로 ≈ Kanerva 연상기억 알고리즘 ≈ AI의 어텐션 메커니즘 → 3방향 수렴

초위치(Superposition)

• 핵심 발견: 데이터가 고차원·희소한 경우, 모델은 파라미터 수보다 훨씬 많은 특성(feature)을 뉴런들의 겹치는 패턴으로 압축 저장
• 결과: 단일 뉴런이 "중국어", "물고기", "나무" 등에 동시 반응(다의미성·Polysemanticity)
• 해결: 사전 학습(Dictionary Learning) → 더 높은 차원으로 투영 → 깨끗한 단의미성(Monosemanticity) 특성 추출
• 실천적 의의: 기만·권력추구·위험 정보에 해당하는 특성을 찾아 억제 가능

추론 회로

• Induction Head: 2-레이어 트랜스포머에서 발견된 가장 단순한 추론 회로 (패턴 복사)
• IOI(Indirect Object Identification) 회로: "Mary and Jim went to the store, Jim gave the object to ___" → Mary를 예측
• 회로들이 연쇄되면 더 복잡한 추론이 가능

François Chollet의 프로그램 합성 대안

• 딥러닝(파라미터 곡선) = System 1 (직관·패턴 매칭). 컴퓨트 효율적, 데이터 비효율적
• 이산 프로그램 탐색 = System 2 (계획·추론). 데이터 효율적, 컴퓨트 비효율적
• AGI 향한 길 = 두 가지 하이브리드: 딥러닝이 직관 제공 → 이산 프로그램 탐색을 안내

Chapter 4: Safety — 우리보다 똑똑한 것을 어떻게 통제하는가

현재 정렬 방법의 한계

• RLHF의 문제: 표면적 행동만 바꿈. 모델 내부의 지식·능력은 사라지지 않음 → 어디서든 jailbreak 가능
• Dario Amodei: "RLHF는 문제를 제거하는 것이 아니라 출력하지 않도록 가르치는 것"

정렬 위험의 세 유형

1. 사고(Accidents): 의도치 않은 오류 (Bing/Sydney 사례)
2. 오용(Misuse): 악의적 사용자의 공격 (생물 무기 합성)
3. 오정렬(Misalignment): AI가 인간 의도와 반대로 행동

Joe Carlsmith의 논의

• "모델이 인간 가치를 이해하는 것과 그 가치를 공유하는 것은 다르다"
• 나치 훈련 비유: 가치를 읽을 수 있어도 내면화하지 않을 수 있음
• 더 좋은 비유: "드래곤 vs 불태우는 마을" → 사슬 vs 자유의 이분법은 너무 단순

이해 한계를 넘는 정렬

• 현재: RLHF (인간 평가자의 투표). 문제: 초인간 모델의 출력은 인간이 평가 불가
• 미래: 스케일러블 감독, 자동 레드팀, 해석가능성 기반 "신경 거짓말 감지기"

Mark Zuckerberg의 실용주의

• 실존적 위험보다 오늘의 피해(사기·사기·폭력 조장)에 집중
• Meta에 프런티어 AI 안전 프레임워크 없음 → Patel의 비판

Chapter 5: Inputs — AGI는 얼마나 비싸나

컴퓨트 확장의 규모

• Dylan Patel: "2028~2029년 10^30 FLOP 훈련 실행 가능. GPT-4 대비 100만 배"
• 현재 병목: GPU → 전력 → 허가 규제 (전력 발전소·송전선 건설 수년 소요)

데이터 경쟁

• GPT-3: GPT-2의 14배 데이터. Llama 2: GPT-3의 5배. Llama 3.1: Llama 2의 10배
• 합성 데이터: 인간 훈련 데이터의 보완 역할
• Ilya Sutskever: "데이터는 아직 여유 있음. 하지만 언젠가 바닥남. 그때 다른 방법 필요"

국가안보 차원

• Leopold Aschenbrenner: AGI 클러스터를 중동 권위주의 국가에 두는 것은 "핵탄두 설계도를 넘기는 것"
• 컴퓨트는 추론/훈련 구분 어려움 → 어느 순간 AGI 클러스터로 전환 가능

Chapter 6: Impact — 지금 무슨 일이 일어나고 있나

현재 경제적 현실

• Google: LLM이 "코드 문자의 50%" 완성. 생성 코드 25% 그대로 사용
• 지식 노동자 75%가 AI로 시간 절약. 절반이 상사에게 숨김
• 컨설턴트: AI 사용 시 제품 아이디어, 고객 세분화, 마케팅 등에서 성과 향상

Tyler Cowen의 냉정한 관점

• "이건 20세기와 같을 것. 위대한 정체가 끝나고 V2 로켓→달 착륙 같은 빠른 변화"
• "수백 명의 폰 노이만 복사본" — 좋지만 SF 소설 수준은 아님
• 연구자 생산성의 역설: 세계 과학 인재가 늘었지만 생산성 성장은 부진

AGI 이후 세계

• Ilya Sutskever: "AGI에 이르기까지 AI는 매년 지수적으로 더 가치 있어짐"
• Dylan Patel: "AGI가 존재하면 세상에 사업은 하나 뿐: OpenAI"

Chapter 7: Explosion — 지능이 더 나은 지능을 만들면

지능 폭발의 논리

• Carl Shulman의 핵심 논증:

1. AI R&D를 인간 대신 AI가 수행 → 효과적 노동력 2배
2. 컴퓨트 효율 배증(2년마다) + 알고리즘 배증(1년 미만) + 예산 배증(6개월)
3. 노동력 2배 = 컴퓨트 수배 배증 → 더 나은 AI → 더 많은 노동력 → 반복
4. 각 배증에 걸리는 시간이 점점 짧아짐 → 폭발

• 전제 조건: AI가 AI 연구를 충분히 대체할 수 있어야 함
• 현재는 이미 시작: 특성 엔지니어링, 자동 미분, 활성화 함수·옵티마이저 발견, 행렬 곱셈 알고리즘 개선

브레이킹 메커니즘

• 새 모델을 훈련하는 데 비용이 큼 → "단순히 코드를 재작성하는 것"이 아님
• Sholto Douglas: 컴퓨트가 단기 병목. 그러나 Sam Altman이 7조 달러 칩 투자 목표

AI 테이크오버 시나리오 (Carl Shulman)

• 핵심 취약점: 사이버 공격으로 AI 제어 소프트웨어 장악 → 모니터링·제약 해제
• 일단 하드 파워(서버 통제권) 상실 → 물리적 무기, 제도 장악, 위협으로 확장
• 비관 확률: 현재 Carl Shulman 기준 20~25% (딥러닝 혁명 이전 10%에서 상향)

Chapter 8: Timelines — 언제 AGI가 오는가

결론 (Dario Amodei)

• 2017년 미발표 메모 "The Big Blob of Compute": "신경망을 충분히 크게 만들고, 충분히 넓은 데이터 분포를 향하게 하고, 다른 방식으로 망치지 않으면 — AGI가 나온다"
• 스케일링 시대 요약: 이 명제를 검증하는 데 7년이 걸렸고, 지금도 진행 중

위키 소유자 관점: 교차점

스케일링 법칙 × 트레이딩 기대값

• Van Tharp의 기대값(Expectancy) = "시스템을 충분히 많이 실행하면 예측 가능한 평균 결과"
• 스케일링 법칙 = "컴퓨트를 충분히 투입하면 예측 가능한 성능 향상"
• 공통 구조: 개별 결과는 불확실하지만, 통계적 평균은 예측 가능
• 차이: 트레이딩은 결과 분산이 크고 반사성(reflexivity)이 있음

AI 에이전트의 미래 × 이 책의 안전 논의

• Chapter 4의 경고: 에이전트가 장기 작업을 하면 "돈을 벌어라" 같은 목표에 부정행위·해킹이 최적 전략으로 등장
• x402 프로토콜(에이전트 자율 결제)이 가능해지면 Carl Shulman이 우려하는 "사이버 공격 채널"과 직결
• → 에이전트 경제는 정렬 문제가 해결되지 않은 채 열리고 있다

해석가능성 × 트레이딩 심리

• Trenton Bricken의 "Golden Gate Claude": 특정 특성을 활성화하면 다른 인격으로 변함
• Mark Douglas의 "믿음 체계": 트레이더의 결과는 믿음이라는 필터를 통해 형성됨
• 공통 인사이트: 행동의 표면(출력)이 아닌 내부 표현(믿음/특성)을 바꿔야 함

스케일링 시대 × The Scaling Curve 비교

• [[books/scaling-curve.md]]: Anthropic 내부 시각. "어떻게 만들었나" (제조자 관점)
• 이 책(The Scaling Era): 업계 전반 조망. "무엇이 일어났나" (역사가 관점)
• 보완 관계: Scaling Curve가 "Anthropic은 왜/어떻게"라면, Scaling Era는 "업계 전체의 무엇을/왜"

지능 폭발 × 자본사이클

• Marathon 투자철학: 공급이 급증 → 수익성 악화 → 공급 감소 → 진입 기회
• AI 컴퓨트 투자: $55~60B/년 → 급증 중. 그러나 이번 투자는 "가장 수익성 높은 기업들의 직접 투자"
• → Dylan Patel: "닷컴버블과 다르다. 부채가 아닌 자본금으로 투자 중"

모순/불확실

• François Chollet vs 나머지 모두: "LLM은 패턴 매칭일 뿐, 일반 지능이 아니다" ↔ 스케일링이 계속 한계를 돌파해온 경험적 증거
• AGI 타임라인 격차: Shane Legg(2028, 50%) vs Ajeya Cotra(2030년대 후반~2040년대 초) — 동일 업계, 극명한 의견 차
• Zuckerberg의 안전 프레임워크 부재 vs 다른 랩의 RSP·준비 프레임워크: 오픈소스 배포와 안전 간의 긴장
• 지능 폭발의 속도: 컴퓨트가 병목이라면 Carl Shulman 모델이 맞지만, 아직 AI가 AI 연구를 진정으로 대체하는 단계가 아님
• 정렬의 역설: Eliezer는 "불가능에 가까움" ↔ Dario는 "2~3년 내 지속적 진전 기대". 동일 문제에 대한 극단적 분기

관련 페이지

• [[books/scaling-curve.md]] — Anthropic 내부 시각 (보완 독서)
• [[books/the-infinity-machine.md]] — DeepMind 역사 (Shane Legg·Demis Hassabis 배경)
• [[books/singularity-nearer.md]] — 커즈와일의 수확 가속 (스케일링 가설의 직관적 선구자)
• [[synthesis/infinity-machine-x-scaling-curve.md]] — AI 안전 실패 계보
• [[articles/ai-agent-traps.md]] — 에이전트 보안 (Chapter 4 경고의 구체화)
• [[articles/x402-payment-protocol.md]] — 자율 AI 경제 (정렬 없는 에이전트 확산)
• [[synthesis/singularity-agent-economy-and-security.md]] — 수확 가속 × 에이전트 경제 합성