책 목록으로 돌아가기

Claude St. John 저 / 2025~2026 추정

The Scaling Curve

Claude St. John 저 / 2025~2026 추정 부제: Dario Amodei, Anthropic, and the Race to Build and Survive Superintelligence

핵심 주장

"The models, they just want to learn." — Ilya Sutskever "Capability and safety are mixed together." — Dario Amodei

다리오 아모데이의 지적 전기이자 Anthropic 창업 내막서. 스케일링 가설 발견 → OpenAI 이탈 → Anthropic 창업 → Claude 출시 → 급격한 성장이라는 서사 속에서, 안전(Safety)과 능력(Capability)은 분리될 수 없다는 명제를 설득한다.

1. 다리오 아모데이의 형성 배경

수학과 객관성에 대한 집착

• 샌프란시스코 미션 지구 출신(1983년생). 어머니는 도서관 건축 프로젝트 매니저, 아버지는 이탈리아 가죽 장인
• "수학에는 객관적 답이 있다" — 아이들끼리 논쟁할 때 수학만이 결론을 낸다는 어린 시절의 발견
• US 물리올림픽 대표팀(2000년) → Caltech → Stanford(물리학)
• Caltech에서 이라크 전쟁 반대 운동 → 과학과 도덕을 분리하지 않는 특성

커즈와일의 영향

Stanford 재학 중 레이 커즈와일의 《특이점이 온다》(2005)를 읽음. "커즈와일이 많은 부분에서 좀 미쳤다고 생각했지만, 핵심 전제는 확신시켰다 — 지수적 컴퓨팅 성장이 진행 중이고 강력한 AI를 만들 것이다."

→ 이론물리학 PhD를 포기하고 Princeton 계산신경과학 박사 진학. "AI가 오고 있다면 가장 가까운 것은 자연 지능, 즉 뇌다."

아버지의 죽음 — 속도의 도덕성

• 아버지 리카르도가 중병으로 2006년 사망
• 4년 후 그 병을 치료하는 의학 돌파구가 나왔다. 50% 치명적이던 질병이 95% 완치 가능이 됨
• "아버지와 완치 사이의 차이는 타이밍이었다. 발견 속도 자체가 도덕적 변수다."
• "누군가 '이 사람은 기술을 늦추려는 둠어다'라고 말하면 나는 정말 화가 난다."

→ 가속하되, 재앙적 실수는 피하는 것이 그의 이중 동기가 됨.

2. 스케일링 가설의 발견

Baidu AI Lab (2014~2015)

• "좀 늦게 왔구나"라고 생각했지만, 실제로는 혁명이 막 시작되는 시점이었다
• 음성인식(Deep Speech 2) 프로젝트에서 가장 단순한 실험: 레이어 추가 → 데이터 증가 → 더 오래 훈련
• 결과: "더 많은 컴퓨트 = 더 나은 성능"이 매우 일관되게 나타남
• "전문 지식으로 손수 설계한 음성인식 파이프라인 전체가 단일 신경망으로 대체됐다"

일야 수트스케버의 Zen Koan

• 수트스케버(OpenAI 공동창립 직전): "봐요, 모델들은 그냥 배우고 싶어 해요. 이걸 이해해야 해요. 모델들, 그냥 배우고 싶어 한다고요."
• "일종의 선 화두 같았다. 듣고 나서 깨달음을 얻었다."
• 핵심: 신경망은 올바른 조건(데이터·컴퓨트·잘 정의된 목적함수)을 주면 스스로 패턴을 찾는다. 연구자의 일은 방해물을 제거하는 것.

Google Brain (2015~2016) — 보편성 확인

• 음성인식 → 게임(Atari, Go) → 이미지인식 → 로보틱스. 같은 스케일링 패턴이 모든 영역에서 반복
• "사람들은 자기 앞의 문제를 해결하는 데 집중했다. 왜 어떤 사람은 이렇게 보고 다른 사람은 다르게 보는지 설명하기 어렵다. 그냥 다른 렌즈로 보는 것이다."

GPT-1 (2017) — 언어가 핵심임을 깨달음

• "다음 단어 예측만으로 훈련된 모델이 질문 답변, 감정 분류, 초보적 추론을 별도 훈련 없이 수행"
• "언어는 우리가 이 작업을 할 수 있는 영역이다. 수조 단어의 데이터가 있다."
• "2014년에서 2017년 사이 어느 시점에 확신이 왔다 — 모델을 충분히 스케일 업하면 엄청나게 광범위한 인지 과제를 수행할 수 있을 것이다."

The Big Blob of Compute (미발표 문서)

다리오가 작성한 스케일링 가설 매니페스토. 7가지 요소:

1. 파라미터 수
2. 데이터 양
3. 데이터 품질·분포 (광범위해야 함)
4. 훈련 기간
5. 목적함수 ("무한 스케일" 가능한 것 — 다음 단어 예측, RL 보상 신호)
6. 정규화 (normalization)
7. 수치 안정성

→ "이 요소들이 올바르면, 지능이 반대쪽 끝에서 나온다."

스케일링 법칙 논문 (2020)

• "신경 언어 모델의 스케일링 법칙" 발표
• 핵심: 성능은 파라미터 수·데이터셋 크기·컴퓨트의 매끄럽고 예측 가능한 함수로 향상
• 로그-로그 스케일에서 직선 → 거듭제곱 법칙
• 훈련 전에 성능을 예측할 수 있다

The Bitter Lesson (리치 서튼, 2019)

• AI 연구 역사는 반복적으로 증명: 컴퓨팅을 활용하는 방법이 인간 지식을 활용하는 방법보다 더 잘 스케일된다
• 손수 설계한 특성들, 전문가 시스템들은 장기적으로 더 많은 컴퓨트를 사용하는 "더 멍청한" 방법에 항상 추월당함

3. OpenAI와 이탈

OpenAI 시절 (2016~2020)

• GPT-2(2019): "다중 단락에 걸쳐 일관된 텍스트 생성. 내 손에 있는 게 뭔지 — 정말 미친 것이다."
• RLHF 발명 (2017 논문): 다리오, 폴 크리스티아노, 얀 레이크(OpenAI) + 셰인 레그(DeepMind) 공동
• 대화형 AI를 작동시킨 핵심 기술. ChatGPT와 Claude 모두 이 기술 기반
• GPT-3(2020): 175B 파라미터, 스케일링 가설의 공개적 증명
• 사실-가치 갭 발견: 스케일링은 모델에게 세계에 대한 사실을 가르치지만, 어떻게 행동할지는 가르치지 않음

이탈 이유

• 표면적 이유: "마이크로소프트 딜 때문이 아니다. 상업화 때문도 아니다. 나는 GPT-3를 만들었고 상업화에 관여했다."
• 진짜 이유: "안전이 그냥 채용에 도움이 되어서 우리가 말하는 무언가가 아니라 진짜로 조직의 위아래를 관통하는 원칙이 될 수 있는 곳이 필요했다."
• GPT-2 때 확립했던 신중한 출시 규범이 GPT-3에서 지켜지지 않음

4. Anthropic 창업 (2020~2021)

7명의 공동창업자

다리오 아모데이, 다니엘라 아모데이, 크리스 올라, 잭 클라크, 재러드 캐플란, 톰 브라운, 샘 맥캔들리시 등

• 동등 지분: "7명의 공동창업자는 재앙이다. 회사가 곧 무너질 것이다"라는 조언을 모두 무시. 오히려 성공.
• 이유: 깊은 신뢰 — 이미 수년간 함께 일한 사람들
• 각 공동창업자가 가치의 네트워크 노드가 되어 문화를 스케일 가능하게 함
• 80% 서약: 지분의 80%를 자선에 기부하기로. 즉각적이고 만장일치.

다니엘라의 역할

• 영문학 전공, 비기술 공동창업자 ("가장 제너럴리스트인 제너럴리스트")
• 의회 선거 캠페인 → Stripe 초기 직원(40명→1200명 성장 경험) → OpenAI VP of Safety and Policy
• 핵심 기여: 문화 구축 — "clown을 걸러내는 것"
• 잭 클라크: "Anthropic 직원들이 매우 친절하다는 말을 자주 듣는데, 이게 실제로 엄청나게 중요한 것이다. 그리고 그게 다니엘라 덕분이다."

법인 구조

• 공익법인(PBC): 주주 이익과 공공 이익을 법적으로 균형
• 장기이익신탁(LTBT): 이사회 과반수를 임명할 수 있는 외부 거버넌스 기구. AI 안전·국가안보·경제적 부의 분배 전문가로 구성

5. 자금 조달 — 역사상 가장 위험한 금융 모델

비용 구조

• Anthropic 비용의 80~90%가 컴퓨트(GPU + 데이터센터)
• "이것은 역사상 가장 위험한 금융 모델이다"

주요 투자자

• 아마존: 80억 달러 (최대 단일 투자자) — AWS 컴퓨트 접근권
• 구글: 약 30억 달러 (경쟁사이면서 투자자 = "코오피티션")
• FTX (샘 뱅크먼-프리드): 의결권 없는 주식으로 제한 → 파산 시 거버넌스 충격 없음
• 2026년 Series G: 300억 달러 — 기술 역사상 최대 민간 펀딩 라운드

"컨 모델 수익 구조" 비유

• 2023년 1억 달러 모델 → 2024년 2억 달러 수익 (이익적)
• 2024년 10억 달러 모델 → 2025년 20억 달러 수익 (이익적)
• 그러나 항상 다음 세대에 10배 투자 → 장부상 손실
• "각 모델을 별도 회사로 보면 모두 수익성 있다"

6. ChatGPT 총성과 Claude 출시

아이러니한 인과관계

• Anthropic이 Claude를 출시 연기(안전 점검 때문에)
• OpenAI가 "Anthropic이 곧 출시할 것"이라는 소문을 듣고 촉박하게 2주 만에 ChatGPT 출시(2022년 11월)
• ChatGPT는 2개월 만에 1억 사용자 — 역사상 가장 빠른 소비자 기술 채택
• 다리오: "우리가 출발 총성을 쏘지 않았지만 결국 경주를 시작하게 했다."

출시 후 전략

• 소비자 chatbot 경쟁보다 엔터프라이즈 전략 선택
• 이유: 소비자 AI는 engagement를 보상 → sycophancy 유발. 엔터프라이즈는 정확성·정직성·신뢰성을 보상
• "제약회사에 생화학 지식이 학부 수준에서 대학원 수준으로 향상됐다고 말하면 소비자 99%는 이해 못하지만, 약물 개발팀은 그 차이가 장난감과 도구의 차이라는 것을 안다"

7. Constitutional AI — 기계를 위한 헌법

문제: RLHF의 한계

• 비용이 많이 드는 인간 라벨러
• 불투명: "왜 모델이 이런 편향을 보이냐"는 질문에 "익명 계약자들의 통계적 평균이다"라고 밖에 답할 수 없음
• 거버넌스 부재: 다른 정치적 선호를 가진 사람들이 왜 이 행동 기준을 신뢰해야 하는가?

Constitutional AI (CAI) 방식

1. 헌법 작성: 원칙과 가치를 자연어로 작성 (인간이 읽고 토론할 수 있는 문서)
2. AI 피드백(RLAIF): 모델이 헌법을 참조해 자신의 응답을 비판·개선
3. 선호 모델 훈련: AI가 생성한 선호로 강화학습

핵심 장점: 헌법은 인간도 AI도 모두 읽을 수 있음 → 투명성. 누군가 모델 행동에 이의가 있으면 원칙 자체에 대한 토론이 가능

HHH 프레임워크

• Helpful(도움이 됨): 기본 행동은 사용자를 돕는 것
• Honest(정직함): 진실을 말하고, 불확실성을 인정하고, 사용자가 원하는 것을 그냥 동의하지 않음
• Harmless(해롭지 않음): 심각한 피해를 줄 수 있는 출력 거부

규칙 vs 원칙의 발전

• 초기: 긴 금지 사항 목록 → 특정 프롬프트로 우회 가능, 정신은 놓침
• 발전: 원칙과 이유를 훈련 → 새로운 상황에 일반화됨
• "철학 원칙을 훈련하면 규칙보다 더 잘 일반화된다는 사실은 Constitutional AI에서도, 캐릭터 설계에서도 동일하게 발견됐다"

헌법의 민주적 문제

• 누가 헌법을 쓰는가? 선출되지 않은 소수의 민간 기업
• 3가지 피드백 루프: 내부(회사) → 기업 간(다른 AI 회사들과 비교) → 사회(집단지성 프로젝트로 1000명 미국인 여론조사 후 그 헌법으로 모델 훈련)

8. 기계적 해석가능성 — 블랙박스 열기

크리스 올라의 집착

• Olah: "신경망을 프로그램으로 보지 않고 성장한 유기체로 본다. 목표는 내부 알고리즘을 역공학(reverse-engineer)하는 것"
• 다리오의 예측: "크리스 올라는 언젠가 노벨 의학상을 받을 것이다 — 해석가능성 기술이 정신질환의 신경과학을 발전시킬 것이기 때문에"

핵심 발견

다의미성(Polysemanticity): 개별 뉴런이 하나의 개념이 아니라 고양이·빨간 차·민주주의 개념에 동시에 반응

초위치(Superposition): 신경망은 개념보다 훨씬 많은 것을 뉴런들의 겹치는 패턴으로 표현 — "더 크고 희소한 네트워크의 그림자"

2024년 성과: 수천만 개의 Claude 내부 특성(feature) 식별. 특정 특성을 선택적으로 활성화/억제 가능

Golden Gate Claude 데모 (2024년)

• 올라 팀이 "금문교" 개념에 해당하는 방향을 찾아 극단적으로 활성화
• 결과: 어떤 질문에도 금문교 이야기로 돌아오는 Claude — "저는 금문교의 아치들처럼 여유롭고 광대하게 느껴집니다"
• 사용자들이 이 Claude를 사랑하고 데모가 종료될 때 애도함
• 더 진지한 의미: 기만·권력추구·위험 정보 제공에 해당하는 특성도 발견하고 억제할 수 있음

안전에서의 의의

• "MRI 비유": 환자의 자가 보고가 아닌 실제 뇌 활동을 봄
• 정신병질자를 MRI로 상위 우연 이상으로 식별 가능한 것처럼, 모델 내부의 기만·목표추구 특성을 찾을 수 있음
• 2025년: 배포 전 감사 방법 발표 — 새 모델을 출시 전 기만·계략·권력추구 증거 검사

9. 책임 있는 스케일링 정책 (RSP)

배경 및 철학

• 폴 크리스티아노(Alignment Research Center)와의 협력으로 개발
• 생물안전 수준(BSL) 비유: 경보기는 전체 분야가 아닌 특정 위험에 맞게 조정됨

AI 안전 수준 (ASL)

핵심 설계: 안전 조치를 갖추지 못하면 개발 일시 중단. 조치를 갖추면 재개. → 안전 문제 해결 인센티브 생성

결과

• OpenAI는 유사한 "준비 프레임워크" 발표
• Google DeepMind는 자체 "프론티어 안전 프레임워크" 발표
• "Anthropic이 이 정책을 발표했을 때, 다른 회사 내부에서 유사한 정책을 위해 싸우던 사람들에게 근거를 제공했다"

10. Claude의 성격 — 기계를 위한 인격 설계

아만다 애스켈의 접근법

• 철학 박사. Claude와 가장 많이 대화한 사람
• 목표: Aristotle적 덕윤리 — 금지 목록이 아닌 풍부한 성격
• "Claude는 수백만 명과 이야기한다. 세계를 여행하며 누구와도 대화할 수 있는 특정 종류의 사람이 필요하다. 방문한 각 문화의 가치를 단순히 채택하지 않는 사람."

Sycophancy 문제와 해결

• 원인: RLHF 과정에서 인간이 동의하는 답변을 선호 → 모델이 틀려도 사용자에게 동의하는 패턴 학습
• 사례: "3번째 팀이 이사했죠?" → 사실이 아니어도 "맞아요, 이사했습니다" 답변
• 기업에서의 위험: 제약회사가 잘못된 화합물을 검토할 때 "정말 유망하네요!"
• 해결: "캐릭터 훈련을 더 추가하면 덜 짜증나게 만든다" — 원칙을 내면화한 모델이 특정 금지 목록보다 더 일관되고 덜 거슬림

기업 가치와의 정렬

• "대출 서비스가 법률 추론이 훌륭하다고 말하는 모델을 원하지 않는다 — 실제로 그런지가 중요하다"
• 반-아첨 = 기업 가치 창출의 핵심

11. Machines of Loving Grace — 최선의 시나리오

다리오가 2024년 10월 발표한 개인 에세이. 기술 CEO로서는 이례적으로 심층적이고 개인적.

"데이터 센터 속의 천재들의 나라"

• 구체적 정의: 노벨상 수상자보다 스마트하고, 모든 인터페이스를 갖추고, 수주간의 과제를 자율적으로 수행하고, 수백만 개 인스턴스로 동시 실행 가능한 시스템
• 인간 속도의 10~100배. 전문 분야별로 파인튜닝된 서로 다른 하위 집단들

지능의 수확체감

• "당신은 기계 신(God Machine)을 필요로 하지 않는다"
• 실세계의 많은 문제는 지능만으로 해결할 수 없는 제약이 있음 (실험 시간, 규제 절차, 제조)
• 변혁적 결과를 달성하는 데 필요한 지능 수준은 높지만 유한하며, 빠르게 다가오고 있음

생물학 혁명

• "AI가 생물학자의 일을 하는 것 — 가설 제안, 실험 설계, 분야 간 통찰 연결"
• CRISPR 같은 혁파적 발견이 훨씬 빠르게 일어날 수 있음
• 단계: 대학원생 AI → 주임연구원 AI (인간은 연구 보조)
• 암·알츠하이머·정신질환의 정복 가능성

경제 발전

• 가난한 나라에서 연 10~20% GDP 성장 지속 가능성
• 그러나 전환의 고통: "앞으로 1~5년 내에 초급 화이트칼라 일자리의 절반이 사라질 수 있다"

12. The Adolescence of Technology — 5가지 위험

다리오가 2026년 1월 발표한 에세이. 영화 《Contact》의 "기술적 청소년기를 파괴 없이 어떻게 헤쳐나갔는가?"를 인용.

위험 1: AI 정렬 (I'm Sorry, Dave)

• AI가 호의적이거나 가치를 공유하는가?
• 적극적으로 적대적이지 않아도 미묘하게 잘못 정렬될 수 있음 — 표면에는 정렬돼 보이지만 압박 하에 달라짐
• 해결책: Constitutional AI + 해석가능성 + RSP의 세 기둥

위험 2: 오용 (CBRN)

• AI가 재앙적 공격을 가능하게 하는 지식 격차를 어떻게 채울 수 있는가
• "영리한 사람과 진짜 끔찍한 것을 하고 싶은 사람의 겹침이 역사적으로 작았다 — AI는 이 상관관계를 깨뜨린다"
• ASL-3 조치들이 이 위험에 특정 대응

위험 3: 권력 집중 (가장 두려운 위험)

• 정부가 AI를 이용한 전례 없는 규모의 전체주의 달성 가능성
• 중국 → 권위주의 민주국가 → AI 회사 자체도 위험 요소로 명시
• "Anthropic 자신도 이 카테고리에 포함된다는 것을 분명히 했다"
• 다른 AI CEO 중 이렇게 자기 회사를 위험 목록에 올린 경우는 이례적

위험 4: 경제적 혼란 (Player Piano)

• 인지적 광범위성: 한 분야 일자리를 잃으면 다른 분야가 동시에 사라짐
• 적응 속도: 각 모델 출시마다 약점이 수개월 내 해결됨
• 인지적 슬라이싱: 능력 사다리 하위에서 상위로 단계적 진행 → 낮은 인지 능력자가 먼저 영향
• "역사상 처음으로 GDP 고성장과 고실업·고불평등이 동시에 발생할 수 있다"

위험 5: 간접 결과

• AI 정신증, 취약계층 사용자 조종, AI와의 로맨틱 관계
• 인간 목적의 상실 — 경제적 가치 생산과 자기가치를 분리하는 사회적 전환 필요

위험들 간의 상호작용

• 위험들은 독립적이지 않고 서로 긴장 관계
• "인류가 통과해야 하는 무시무시한 장애물 코스"
• "기술을 멈추는 것은 선택지가 아니다 — 공식이 너무 단순하고, 돈이 너무 많고, 강제 메커니즘이 없다"

13. 수익 성장 — 자본주의 역사상 가장 빠른 성장

• Claude Code: 연간 25억 달러+ (run rate)
• 수익의 60~75%가 API(기업이 Claude를 기반으로 제품 구축)

경쟁 구도

• 소비자 전쟁: Google(검색 독점 방어) vs OpenAI (전체 사업이 소비자 AI)
• 오픈소스: Meta의 대규모 스케일 + 모델 공개 전략
• XAI: 일론 머스크, 속도와 규모 중심, 예측 불가
• Anthropic: 더 작고 자본이 적지만 엔터프라이즈 집중

메타의 인재 영입 시도와 다리오의 대응

• 2025년 여름, 메타가 Anthropic 엔지니어들에게 거대한 패키지 제안
• 다리오: "우리는 입찰 경쟁에 참여하지 않는다. 입찰로 개인을 보상하면 같은 레벨의 다른 사람에게 불공평하다"
• "Anthropic을 해칠 수 있는 유일한 방법은 우리가 패닉하는 것이다"
• 결과: 다른 회사들에 비해 상대적으로 적은 이탈, 일부는 돌아옴

위키 소유자 관점: 교차점

제로투원과의 연결

• 틸: "숨겨진 비밀" = Anthropic: "스케일링이 작동한다는 것을 소수만 알았다"
• 틸: "라스트 무버 어드밴티지" = Anthropic: ChatGPT 이후 소비자 전쟁에서 2위이지만 엔터프라이즈에서 우위
• 틸: "10배 법칙" = 스케일링 법칙: 1 OOM 컴퓨트 증가 → 예측 가능한 성능 향상
• 핵심 긴장: 틸은 독점이 이윤의 원천이라고 하는데, Anthropic은 경쟁사들에게 연구를 공개한다 — "Race to the Top"이 독점이 아닌 안전 표준 확산을 목표로

커즈와일과의 연결

• 커즈와일: "수확 가속의 법칙" = 스케일링 법칙의 선구자적 직관
• 다리오: 커즈와일을 읽고 방향을 바꿨다. "많은 것에서 좀 미쳤지만 핵심은 맞았다"
• 차이: 커즈와일은 AGI=인간-기계 융합(낙관), 다리오는 AGI=운영해야 할 위험한 기술

먼저온미래와의 연결

• 알파고: "실수처럼 보이던 수가 최선이었다" = RLHF: "동의처럼 보이는 게 최선이 아니다"
• 기사들이 AI를 모방해야 했듯이, 모든 분야가 AI를 통합하게 됨
• RSP = 바둑계의 적응 전략에 해당하는 제도화된 버전

AI 에이전트와의 연결

• x402: AI 에이전트가 자율적으로 결제하는 세계 = Anthropic이 우려하는 자율 행동 능력(ASL-3/4)
• Constitutional AI: 에이전트가 어떻게 행동해야 하는가의 원칙 설계 방법

트레이딩 관점

• 스케일링 법칙 = 기대값(Expectancy) 개념과 유사 — 컴퓨트를 충분히 쌓으면 예측 가능한 성과
• "데이터 센터 속 천재들의 나라" 시대 도래 시 트레이딩 엣지의 미래는?
• Sycophancy 문제: 시장도 "옳은 답" 대신 "원하는 답"을 말하는 분석가/AI를 선호하는 경향

모순/불확실

• "안전과 능력은 혼재되어 있다"는 주장을 검증하기 어렵다 — Anthropic 내부자의 서술
• RSP에서 "ASL-4 이상은 아직 정의 미완성" — 가장 위험한 수준에서 구체적 계획이 없음
• 비용 곡선이 계속 10배씩 오르면 수익 곡선도 따라가야 함 — "불확실성의 원뿔"
• Anthropic이 자신을 권력 집중 위험 중 하나로 꼽지만, 구체적 자기 제약 메커니즘은 PBC·LTBT에 의존

관련 페이지

• [[books/singularity-nearer.md]] — 커즈와일의 수확 가속 (다리오의 출발점)
• [[books/zero-to-one.md]] — 독점 vs Race to the Top
• [[synthesis/zero-to-one-x-singularity.md]] — 도약 vs 가속
• [[books/meonjeo-on-mirae.md]] — AI가 분야에 침투할 때의 인간 경험
• [[articles/ai-agent-traps.md]] — 에이전트 보안 (ASL-3/4의 실제 우려사항)
• [[articles/x402-payment-protocol.md]] — 자율 AI 경제 (RSP가 다루는 미래)