책 목록으로 돌아가기

**저자**: Mustafa Suleyman (DeepMind 공동창업자) + Michael Bhaskar

The Coming Wave: AI, Power, and Our Future

저자: Mustafa Suleyman (DeepMind 공동창업자) + Michael Bhaskar 출판: 2023

핵심 주장

"봉쇄(containment)가 필요하지만 역사적으로 불가능에 가깝다. 그러나 이번에는 반드시 성공해야 한다 — 그렇지 않으면 인류 문명이 끝난다."

기술은 항상 파도(wave)처럼 확산된다. AI와 합성생물학이라는 두 GPT(General Purpose Technology)가 동시에 도래하는 지금, 이 파도를 어떻게 관리하느냐가 21세기 최대의 메타 문제다.

핵심 개념

The Wave (기술 파도)

• 인류 역사에 약 24개의 GPT(범용기술) 존재. 각 기술은 파도처럼 확산됨
• 현재의 파도: AI + 합성생물학이 동시에 핵심 GPT로 작동
• 기술 파도의 특성: 확산이 기본값(default)이며, 억제가 예외

The Containment Problem (봉쇄 문제)

기술은 본질적으로:

1. 확산되려는 성향이 있고
2. 예측 불가능한 파생 효과를 낳으며
3. 역사상 거의 봉쇄에 성공한 적이 없다

예외적 사례들: 핵무기(지식은 확산, 실제 제조는 제한), 인간 복제, 오존층 파괴 물질 — 모두 불완전하거나 특수 조건 하에서만 성립

The Dilemma (딜레마)

추구해도 재앙, 포기해도 재앙 — 21세기의 "great meta-problem":

• 개발 계속 → 악의적 사용자의 대량 파괴 무기 접근, 정부 감시 강화, 사회 불안정
• 개발 중단 → 의학적 혁신 포기, 다른 행위자에게 기술 우위 허용, 기회비용 막대
• 스탕나시옹(Stagnation) → 점진적 쇠퇴, 경쟁 압박에 굴복

ACI (Artificial Capable Intelligence)

Suleyman이 제안한 새 개념 — 현재 좁은 AI와 AGI의 중간 단계:

• 복잡하고 개방형 목표를 최소한의 인간 감독으로 달성 가능
• 아직 AGI는 아니지만, 이미 근본적인 권력 재분배를 일으킬 만큼 강력

Modern Turing Test: "Amazon에서 $10만 투자로 $100만 수익 만들기" — 2023년 기준 1~3년 내 달성 예측

기술 파도의 4가지 특성

1. 비대칭성(Asymmetry): 소규모 투입으로 대규모 효과 — 바이러스 합성, 사이버 공격
2. 초진화(Hyper-evolution): 거버넌스보다 빠르게 진화 — 규제 지체 문제
3. 범용성(Omni-use): 단일 응용 도메인이 없는 일반 목적 기술 — 통제 지점 부재
4. 자율성(Autonomy): 인간 감독에서 점진적으로 독립 — 책임 귀속 곤란

Proliferation Is the Default (확산이 기본값)

역사적 패턴:

• 인쇄기: 50년 내 1,000대 이상 보급
• 자동차·스마트폰: 10년 만에 10억 단위 보급
• 트랜지스터: 1970년대 이후 1,000만 배 증가
• 게놈 시퀀싱 비용: 2003~2022년 100만 배 감소 (Carlson Curve)

AI 기술 현황

딥러닝 계보

• AlexNet (2012): 이미지 인식 오류율 절반 → 딥러닝 혁명 선언
• DQN: Atari 게임 인간 수준 초과
• AlphaGo → AlphaZero: 바둑 정복 → 체스·장기·Go 무패
• GPT 시리즈 → ChatGPT: "자동완성이 지능의 기반"
• LaMDA, Claude, Gemini: 언어 모델의 급격한 능력 상승

Scaling Hypothesis (스케일링 가설)

데이터 + 컴퓨팅 + 파라미터 = 더 나은 AI 성능 → 현재까지 유효하며, 뇌 규모 모델이 시야에 들어옴 → 다만 언제 수확 체감이 오는지는 불확실

합성생물학 혁명

• CRISPR: 게놈 편집 비용 1/1000 이하 — 바이러스·세균 맞춤 설계 가능
• DNA 합성·인쇄: 누구나 실험실에서 유전자 서열 작성 가능
• AlphaFold: 단백질 접힘 예측 해결 (2020) — 의약품 개발 혁신
• Carlson Curve: 합성생물학 비용 하락이 반도체 Moore's Law 수준

권력과 국가

The Grand Bargain (그랜드 바게인)

국민국가의 사회계약:

국가가 시민에게 안전과 번영을 제공하는 대가로 무력 독점을 허용받는다

이 계약이 기술 파도에 의해 균열:

• 정보 독점 붕괴 (소셜미디어·딥페이크)
• 무력 독점 위협 (드론·사이버 무기·자율 무기)
• 경제적 안정 위협 (자동화로 인한 대규모 실업)

Fragility Amplifiers (취약성 증폭기)

기존 국가 약점을 AI가 증폭:

• 사이버 공격: WannaCry(2017, NHS 마비), NotPetya(2017, $10억 피해) — 소수 해커가 국가 인프라 타격
• 자율 무기: 드론 떼(drone swarm) — 비대칭 전쟁 패러다임 전환
• 허위정보: 딥페이크·대량 맞춤형 콘텐츠 → 선거·여론 조작
• 일자리 대체: 화이트칼라까지 자동화 → 세수 기반 붕괴
• 바이오 위협: CRISPR + AI로 맞춤 병원체 합성 가능

권력의 민주화와 집중의 역설

• 개인이 국가 수준 파괴력 획득 가능 → 방어 구조 붕괴
• 동시에 AI 기업들이 전례 없는 집중적 권력 축적
• 두 경향이 동시에 진행 → 국가 주권이 양쪽에서 잠식

봉쇄 이론

역사적 봉쇄 실패 사례

• 오스만 인쇄기 금지(1485~1727): 수백 년 금지 후 결국 굴복
• 러다이트 운동: 기계 파괴 운동 — 일시적 지연만 달성
• 핵 비확산: 가장 성공적 사례지만 여전히 9개국 보유, 지식 자체는 확산

왜 이번에는 더 어려운가

• 진입 비용이 핵무기 대비 수천 배 낮음
• 소수 국가·기업이 아닌 수백만 행위자가 접근 가능
• 디지털 복제 비용이 제로 → 한번 유출되면 회수 불가능

Ten Steps Toward Containment (봉쇄를 위한 10단계)

기술적 기반

1. Safety (안전): AI 안전을 위한 아폴로 프로그램 — 집중적 국가 투자, 안전을 설계에 내재화
2. Audits (감사): 투명성·외부 감사·책임 구조 — AI 시스템 설명 의무화

구조적 레버

1. Choke Points (초크 포인트): 반도체·컴퓨팅 의존성을 일시적 지연 수단으로 활용 — TSMC, ASML, GPU 공급망
2. Makers (만드는 자): 비판하는 자가 직접 만들어야 함 — "no outside, everyone is inside"
3. Businesses (기업): 수익+목적 혼합 구조 — 공익 기업(B Corp), 안전 요건 통합

거버넌스

1. Governments (정부): 국가는 생존하고 개혁해야 함 — 기술 이해 관료, 규제 역량 강화
2. International Treaties (국제 조약): IAEA·NPT 모델의 AI/합성생물학 버전
3. Culture & Norms (문화·규범): 기술 책임 문화 — 개발자 윤리, 공론장 형성
4. Global Movements (글로벌 운동): 시민사회·과학자 연대 — Pugwash 회의 모델
5. 전략적 낙관주의: 좁은 경로(The Narrow Path)를 향한 의지

The Narrow Path (좁은 경로)

봉쇄의 성공 조건:

• 개방성(혁신·민주화)과 폐쇄성(안전·통제)의 동적 균형
• 기술 능력 증가와 거버넌스 역량 증가를 동시에 달성
• 어느 단일 행위자(국가·기업)에게도 독점적 권력을 허용하지 않음

사상적 배경

Pessimism Aversion (비관주의 기피)

엘리트와 기술 낙관론자들이 어두운 시나리오를 외면하는 경향:

• 비관론은 행동을 마비시킨다는 믿음
• 기술의 파괴적 잠재력 직시 자체를 회피
• Suleyman은 이를 극복해야 올바른 행동이 가능하다고 주장

Homo Technologicus

인간은 기술과 분리 불가능한 존재:

• 기술이 인간을 만들고, 인간이 기술을 만든다
• 기술 파도를 막는 것 = 인간 본성을 거스르는 것 → 불가능에 가깝지만 관리는 가능

저자 포지션의 특수성

Suleyman은 AI를 만든 당사자로서 경고를 발신:

• DeepMind 공동창업, AGI 연구 선도
• "내가 만든 것이 위험하다"는 내부자 증언
• → The Infinity Machine의 해시비스 시각과 대비: 해시비스는 기술적 가능성 중심, Suleyman은 사회적 위협 중심

실전 적용 관점 (OWNER_CONTEXT)

AI 트레이딩 에이전트와의 연결

• ACI의 "Modern Turing Test"($10만 → $100만) = 자율 트레이딩 에이전트의 최종 형태
• 비대칭성: 소수의 잘 설계된 에이전트가 시장 전체를 교란 가능
• Choke Points 전략: 알고리즘 거래 등록제·감사 요건 = 금융 시장에서의 봉쇄 시도

기술 거버넌스의 실용적 함의

• 규제만으론 부족 (규제는 항상 기술보다 느림)
• 기술 안전을 설계에 내재화해야 → Constitutional AI (Anthropic)와 연결
• 개발자가 거버넌스에 참여하지 않으면 의미 없음 → "Makers" 단계