책 목록으로 돌아가기

**저자 핵심 명제**: 해킹은 제약을 창의적으로 극복하는 예술이다. 시스템을 이해하고 허용된 것 이상을 하는 방법을 찾는 행위 — 논리가 예술 형식이 되는 세계.

Hacking: The Art of Exploitation, 2nd Ed. — Jon Erickson (No Starch Press, 2008)

저자 핵심 명제: 해킹은 제약을 창의적으로 극복하는 예술이다. 시스템을 이해하고 허용된 것 이상을 하는 방법을 찾는 행위 — 논리가 예술 형식이 되는 세계.

• 출판: No Starch Press, 2008 / ISBN: 978-1-59327-144-2
• 구성: 7개 챕터 (0x100~0x700), LiveCD 포함
• 포커스: 이론 + 직접 코드로 작동 원리를 증명 — "기법을 쓰는 법"이 아니라 "왜 작동하는가"

챕터 구성 개요

0x100: 서론 — 해커 윤리와 정의

핵심 개념

해커 윤리 (Hacker Ethic):

• 정보의 자유로운 흐름을 믿음
• 시스템 탐구 자체에 가치를 둠
• 논리를 예술 형식으로 봄

세 가지 구분:

공진화 모델 (Co-evolutionary Model):

• 보안은 군비 경쟁 — 공격자가 방어를 개선하고, 방어자가 공격을 제한함
• "방어는 공격을 이해해야 한다"는 책의 근본 전제

0x200: 프로그래밍 — 익스플로잇의 토대

x86 메모리 구조

메모리 세그먼트:

낮은 주소 ───────────────────── 높은 주소
[텍스트] [데이터] [BSS] [힙→] [←스택]

핵심 레지스터 (x86):

리틀-엔디언 바이트 순서: x86은 가장 낮은 바이트가 낮은 주소에 저장. 0x12345678 → 메모리에 78 56 34 12 순서.

스택 프레임 구조

함수 호출 시 스택에 쌓이는 순서:

높은 주소
    [함수 인수]
    [리턴 주소 (EIP 저장값)]
    [저장된 프레임 포인터 (SFP)]
    [지역 변수 ...]
낮은 주소  ← ESP가 가리킴

함수 프롤로그/에필로그:

• 프롤로그: push ebp → mov ebp, esp → sub esp, N
• 에필로그: mov esp, ebp → pop ebp → ret

GDB 디버깅 기법

gdb ./프로그램
(gdb) break main          # 브레이크포인트 설정
(gdb) run                 # 실행
(gdb) info registers      # 레지스터 확인
(gdb) x/24x $esp          # 스택 메모리 덤프 (24 DWORD hex)
(gdb) disassemble main    # 어셈블리 역어셈블
(gdb) set disassembly-flavor intel  # Intel 문법

0x300: 익스플로잇 — 취약점 공격

버퍼 오버플로우 (Stack-based)

원리: 스택에서 버퍼 경계를 넘어 쓰면 인접 메모리를 덮어씀.

핵심 예제 — auth_overflow.c:

스택 구조:
[password_buffer 16바이트] [padding] [auth_flag]
                                      ↑ 28바이트 오프셋

• 30개의 'A' 입력 → auth_flag가 0x00004141(=16705)로 변조 → 인증 우회
• EIP를 덮어쓰면 임의 코드 실행 가능

EIP 제어 과정:

1. 버퍼 → SFP → 리턴 주소 순서로 덮어씀
2. 리턴 주소에 셸코드 주소 삽입
3. NOP 슬레드(0x90)로 주소 정밀도 완화

힙 오버플로우 (Heap-based)

예제 — notetaker.c:

• malloc()으로 노트 파일명과 내용을 힙에 할당
• 심볼릭 링크 트릭: 노트 파일 → /etc/passwd를 가리키게 함
• 오버플로우로 파일명 포인터를 덮어씀 → root 권한 파일 쓰기

BSS 세그먼트 오버플로우

예제 — game_of_chance.c:

static char name[100];             // BSS에 위치
static void (*current_game)();     // 함수 포인터 (name 100바이트 뒤)

• name 버퍼를 100바이트 이상 채우면 current_game 함수 포인터 덮어씀
• 0x42424242 주소로 점프 → BBBB 실행

포맷 스트링 취약점

원인: printf(user_input) — 포맷 문자열을 사용자가 제어.

주요 공격 벡터:

임의 주소 쓰기 기법:

• 포맷 문자열 앞에 목표 주소를 4바이트씩 삽입 (4개 주소: addr, addr+1, addr+2, addr+3)
• field-width 옵션(%NNx)으로 출력 바이트 수 조절 → %n이 쓰는 값 제어
• 각 바이트를 순차적으로 덮어쓰면 임의 32비트 값을 임의 주소에 쓸 수 있음

결과: 4회 %n 쓰기로 0xDDCCBBAA를 address에 기록

0x400: 네트워킹 — 프로토콜 이해와 공격

raw 소켓 프로그래밍

• socket(PF_INET, SOCK_STREAM, 0) — TCP 소켓 생성
• libpcap: 패킷 캡처 라이브러리
• libnet: 패킷 주입 라이브러리
• BPF (Berkeley Packet Filter): 커널 수준 패킷 필터 ("dst host x.x.x.x and tcp[tcpflags] & tcp-ack != 0")

DoS 공격 유형

TCP/IP 하이재킹

• 조건: 공격자가 피해자와 같은 네트워크 세그먼트
• 방법: libpcap으로 스니핑 → 시퀀스 번호 확보 → 피해자 IP 위장 패킷 전송
• RST 하이재킹: 올바른 ACK 번호로 RST 패킷 위장 전송 → 연결 강제 종료

0x500: 셸코드 — 기계어 수준 페이로드

execve("/bin/sh") 셸코드

push BYTE 11          ; sys_execve = 11
pop eax
push ecx              ; null terminator
push 0x68732f2f       ; "//sh"
push 0x6e69622f       ; "/bin"
mov ebx, esp          ; ebx = "/bin//sh"
push ecx              ; null for envp
mov edx, esp
push ebx              ; argv[0]
mov ecx, esp
int 0x80              ; execve("/bin//sh", ["/bin//sh", NULL], [NULL])

핵심 원칙:

• null 바이트(0x00) 회피 — 문자열 복사 함수가 null에서 중단하기 때문
• xor eax, eax 대신 push 0; pop eax 등으로 null 없이 레지스터 초기화

포트 바인딩 셸코드

sockfd = socket(PF_INET, SOCK_STREAM, 0);  // socketcall(SYS_SOCKET, args)
bind(sockfd, &addr, sizeof(addr));          // socketcall(SYS_BIND, args)
listen(sockfd, 4);
accept(sockfd, ...);
dup2(new_fd, 0/1/2);  // stdin/stdout/stderr 리다이렉트
execve("/bin/sh", ...);

• Linux syscall socketcall (#102): 모든 소켓 함수를 단일 진입점으로 처리
• 포트 31337 바인딩 → 원격 연결 시 셸 획득

폴리모픽 프린터블 ASCII 셸코드

배경: 입력 검증이 프린터블 문자(0x20~0x7e)만 허용할 때.

핵심 기법:

• and eax, 0x41414141 → %AAAA (프린터블 기계어)
• AND 연산으로 레지스터 0 초기화: 두 역 값 AND → 모두 0
• sub eax, value로 목표 값을 순환 뺄셈으로 구성
• push/pop (P·X·T·\)으로 레지스터 간 이동

TX-3399-Purr-!TTT-P\  → ESP에 860 더하기 (프린터블 ASCII만 사용)

• 로더 코드가 스택에 실제 셸코드를 뒤에서 앞으로 조립 → EIP가 도달

0x600: 카운터메저 — 방어와 우회

주요 보호 기법

ASLR 우회 — linux-gate 바운스

• linux-gate.so.1: 커널이 모든 프로세스에 같은 주소(0xffffe000)로 노출하는 가상 공유 객체
• ASLR이 켜져도 linux-gate는 항상 고정 주소
• jmp esp (0xff 0xe4) 명령이 0xffffe777에 존재
• exploit: 리턴 주소를 0xffffe777로 덮어씀 → jmp esp 실행 → ESP가 가리키는 셸코드로 점프

EIP 제어 → linux-gate의 jmp esp → ESP에 미리 쌓아둔 셸코드 실행

(이 기법은 Linux kernel 2.6.18부터 패치됨)

폴리모픽 인코딩 셸코드

• 입력 검증을 통과하는 인코더 + 런타임 디코더 조합
• 디코더는 자신이 실행되면서 실제 셸코드를 복호화·실행

0x700: 암호학

대칭 암호

• 동일한 키로 암호화·복호화
• DES: 56비트 키, Feistel 네트워크 구조 (L·R 절반을 교차 치환·혼합)
• 40비트 키의 취약성: RSA Data Security 챌린지 → Ian Goldberg(UC Berkeley)가 3.5시간 만에 해독
• 현대 표준: AES-256 (양자 컴퓨터 공격에도 키 크기 두 배 여유)

양자 컴퓨팅과 블록 암호:

• 그로버 알고리즘: 양자 컴퓨터로 브루트포스 공격 시 효과적 키 크기를 절반으로 줄임
• 대응: 키 크기를 두 배(예: 256비트)로 늘리면 충분

비대칭 암호 — RSA

핵심 수학:

P, Q = 두 소수     N = P × Q (공개)
φ(N) = (P-1)(Q-1)
E: φ(N)과 서로소인 공개 지수 (공개)
D = E^(-1) mod φ(N)  → 개인키 (비밀)

암호화: C = M^E mod N
복호화: M = C^D mod N

보안 근거: N을 소인수분해하면 P, Q → φ(N) → D를 계산 가능 — 그러나 대형 N의 소인수분해는 현재 불가능.

• 최선의 알고리즘: 수체 사전(Number Field Sieve, NFS) — 준지수 시간
• 2048비트 RSA는 현재 안전

핵심 인사이트

소유자 관점에서 중요한 것

1. 스택 메모리 구조는 모든 익스플로잇의 기초 — EIP 제어 = 코드 실행 제어. 리턴 주소 하나가 시스템 전체를 내준다.

1. 방어 기법은 레이어로 겹쳐야 의미 있다 — ASLR만, 카나리만으로는 부족. 각 기법에는 우회가 있음. Defense in Depth가 유일한 답.

1. 포맷 스트링 취약점 = 단 한 줄의 실수 — printf(buf) vs printf("%s", buf). 임의 주소 읽기와 쓰기 모두 허용. 여전히 레거시 코드에서 발견됨.

1. 셸코드 제약 조건 — 실제 공격에서 null 바이트·프린터블 문자·특정 바이트 금지 등 다양한 제약이 존재. 폴리모픽 기법이 이를 극복하는 창의적 해법.

1. 프로토콜 이해가 공격의 전제 — TCP 시퀀스 번호, IP 단편화, ICMP 구조를 모르면 SYN 플러드도 RST 하이재킹도 불가능. 이 책이 "기법"보다 "원리"를 먼저 가르치는 이유.

1. RSA 보안 = 수학 문제의 어려움 — 암호의 견고함은 단순히 "키가 크다"는 게 아니라 수학적 문제의 계산 복잡도에 근거. 양자 컴퓨팅이 이를 바꿀 수 있음.

저자

• Jon Erickson: 보안 연구자. No Starch Press와 함께 이 책을 2003년(초판), 2008년(2판)에 출간. "기법을 나열하지 않고 이해를 가르치는" 접근 방식으로 해킹 입문서 중 가장 기초가 탄탄한 책으로 평가받음.