수학적 증명으로 AI의 본질을 파고드는 딥다이브 연구소
"Prove, don't memorize."
"왜 이 수식이어야 할까?"
표면적인 사용법이나 공식 암기에서 멈추지 않고, 수식의 가정과 선행 정의에서 출발해 왜 그 결론이 따라오는지를 한 줄씩 증명하고 구현으로 확인합니다.
그래서 모든 글은 같은 흐름으로 끝납니다 — 원리(어떤 가정에서 출발하나) → 경계(언제 성립하지 않나) → 증명(어떻게 유도되고 구현으로 확인되나).
IQ의 다섯 연구소는 네 가지 지식 렌즈와 그 앎이 깃드는 마음을 하나의 체계로 연결합니다. 이 연구소는 그중 **Episteme(이론지)**의 축을 맡습니다.
| 앎의 형태 | 핵심 질문 | 연구소 | |
|---|---|---|---|
| 📐 | Episteme — 증명 가능한 이론지 | 왜 참인가? | IQ AI Lab · "Prove, don't memorize" |
| 🔧 | Techne — 만들어내는 기예지 | 어떻게 동작하는가? | IQ Dev Lab · "Beyond the docs" |
| 🧭 | Phronesis — 상황 속에서 판단하는 실천지 | 그래서 무엇을 하는가? | IQ Phronesis Lab · "Distill, don't collect" |
| 🌌 | Sophia — 제1원리에서 실재를 이해하는 이론적 지혜 | 무엇이 근본이며, 왜 이렇게 존재하는가? | IQ Physis Lab · "Derive, don't accept" |
| 🧠 | Psyche — 모든 앎이 깃드는 마음 그 자체 (덕이 아니라, 덕의 자리) | 아는 자는 무엇이며, 경험은 어떻게 생기는가? | IQ Psyche Lab · "Explain it, don't explain it away" |
다섯 연구소는 같은 깊이의 탐구를 서로 다른 방식으로 검증합니다 — AI는 증명, Dev는 코드와 측정, Phronesis는 반례, Physis는 실험, Psyche는 실험·현상학·계산 모델을 사용합니다.
Episteme의 기준 — 정의와 가정을 밝힌 뒤 결론을 직접 증명하고 구현으로 재현할 수 있는가.
이 연구소는 분야를 나열하지 않고 수학적 선행 관계로 쌓습니다. Layer 0의 수학에서 출발해 이론·신경망·아키텍처·응용·시스템·최전선으로 올라가며, 각 층의 식이 아래층의 정의와 정리에서 다시 유도됩니다.
graph TD
M6["🧭 Layer 6<br/>Frontier LLM"]
M5["⚙️ Layer 5<br/>Systems"]
M4A["🤖 4-A<br/>RL"]
M4B["🗣️ 4-B<br/>LLM"]
M4C["👁️ 4-C<br/>CV & 3D"]
M4D["📝 4-D<br/>NLP"]
M4E["🔊 4-E<br/>Audio"]
M3["🏗️ Layer 3<br/>Architectures"]
M2["🧠 Layer 2<br/>Neural Networks"]
M1["📐 Layer 1<br/>ML Theory"]
M0["🧮 Layer 0<br/>Mathematics"]
M6 --- M5
M5 --- M4A & M4B & M4C & M4D & M4E
M4A & M4B & M4C & M4D & M4E --- M3
M3 --- M2 --- M1 --- M0
style M0 fill:#e3f2fd,stroke:#1565c0,stroke-width:2px
style M1 fill:#f3e5f5,stroke:#7b1fa2,stroke-width:2px
style M2 fill:#fff3e0,stroke:#ef6c00,stroke-width:2px
style M3 fill:#e8f5e9,stroke:#2e7d32,stroke-width:2px
style M4A fill:#fce4ec,stroke:#c62828,stroke-width:2px
style M4B fill:#fce4ec,stroke:#c62828,stroke-width:2px
style M4C fill:#fce4ec,stroke:#c62828,stroke-width:2px
style M4D fill:#fce4ec,stroke:#c62828,stroke-width:2px
style M4E fill:#fce4ec,stroke:#c62828,stroke-width:2px
style M5 fill:#fff8e1,stroke:#fbc02d,stroke-width:2px
style M6 fill:#ede7f6,stroke:#4527a0,stroke-width:2px
완성의 기준 — "모델을 많이 모았나"가 아니라 "Layer 0의 가정에서 최전선 모델의 동작까지 끊김 없이 유도할 수 있나". 새 모델도 새 분야가 아니라 기존 수학과 아키텍처가 만나는 한 칸으로 들어갑니다.
🧮 Layer 0 — Mathematics 
AI의 모든 수식이 여기서 출발합니다
| 📌 Title | 📝 Key Topics | |
|---|---|---|
| 1 | Linear Algebra Deep Dive | 벡터공간, 고유값 분해, SVD, PCA 증명, 텐서 |
| 2 | Probability Theory Deep Dive | 측도 기반 확률론, 조건부 기댓값, 수렴 4종, 마팅게일 |
| 3 | Mathematical Statistics Deep Dive | MLE/MAP 유도, 가설검정, 점근이론, 베이즈 추론 |
| 4 | Calculus & Optimization Deep Dive | 편미분, 야코비안, 헤시안, 라그랑주 승수법 |
| 5 | Convex Optimization Deep Dive | 볼록 집합/함수, KKT 조건, 쌍대이론, Proximal 방법 |
| 6 | Information Theory Deep Dive | Shannon Entropy, KL-Divergence, 상호정보량, MDL |
| 7 | Stochastic Processes Deep Dive | 마르코프 체인, 브라운 운동, 마팅게일, MCMC |
| 8 | Stochastic Differential Equations Deep Dive | 이토 적분, 이토 공식, SDE, Fokker-Planck 방정식 |
| 9 | Functional Analysis Deep Dive | 힐베르트 공간, 스펙트럴 이론, RKHS |
| 10 | Information Geometry Deep Dive | 통계다양체, Fisher 정보 행렬, Natural Gradient |
📐 Layer 1 — ML Theory 
고전 ML의 수학적 토대와 일반화 이론
| 📌 Title | 📝 Key Topics | |
|---|---|---|
| 1 | ML Fundamentals Deep Dive | 선형회귀(Normal Equation 유도), 결정트리, 앙상블 수렴 증명 |
| 2 | Statistical Learning Theory Deep Dive | PAC Learning, VC 차원, Rademacher 복잡도, 균등수렴 |
| 3 | Kernel Methods Deep Dive | Mercer 정리, RKHS, SVM 쌍대 유도, 가우시안 프로세스 |
| 4 | Bayesian ML Deep Dive | 베이지안 추론, 변분 베이즈, ELBO 유도, MCMC |
| 5 | Graphical Models Deep Dive | 베이지안 네트워크, 마르코프 랜덤 필드, 믿음 전파 |
🧠 Layer 2 — Neural Network Theory 
신경망의 수학적 본질 — 역전파부터 일반화까지
| 📌 Title | 📝 Key Topics | |
|---|---|---|
| 1 | Neural Network Theory Deep Dive | 범용 근사 정리 증명, 역전파 완전 유도, Xavier/He 초기화 유도 |
| 2 | Optimization Theory Deep Dive | SGD 수렴 분석, Adam 수렴 반례, Loss Landscape, LR Scheduler |
| 3 | Generalization Theory Deep Dive | Double Descent, Neural Tangent Kernel, Grokking, Lottery Ticket |
| 4 | Regularization Theory Deep Dive | L1/L2 베이즈 해석, Dropout 앙상블 이론, BatchNorm 증명 |
🏗️ Layer 3 — Architectures 
핵심 아키텍처 수식 완전 분해
| 📌 Title | 📝 Key Topics | |
|---|---|---|
| 1 | CNN Deep Dive | Convolution 등변성, Receptive Field, ResNet 항등 근사 이론 |
| 2 | RNN & LSTM Deep Dive | BPTT 완전 유도, Vanishing Gradient 스펙트럴 분석, LSTM 게이트 수식 |
| 3 | Transformer Deep Dive | Attention 수식 완전 분해, √d 근거, Positional Encoding, Linear Attention |
| 4 | Graph Neural Network Deep Dive | 그래프 라플라시안 유도, Message Passing, 표현력 한계(WL 검사) |
| 5 | Generative Model Deep Dive | GAN minimax 수렴, VAE ELBO 완전 유도, Normalizing Flow |
🤖 Layer 4-A — Reinforcement Learning 
벨만 방정식부터 PPO 단조 개선 보장까지
| 📌 Title | 📝 Key Topics | |
|---|---|---|
| 1 | RL Foundations Deep Dive | MDP 공리적 정의, 벨만 방정식 완전 유도, 동적 프로그래밍 수렴 증명 |
| 2 | Model-Free RL Deep Dive | Monte Carlo 수렴 조건, TD Learning, Q-Learning 수렴 증명(Robbins-Monro) |
| 3 | Deep RL Deep Dive | DQN 경험 재생 이론, Double DQN 과대추정 편향 증명, Rainbow |
| 4 | Policy Gradient Deep Dive | REINFORCE 완전 유도(로그 미분 트릭), 정책 기울기 정리 증명, GAE λ-수익 유도 |
| 5 | Advanced RL Deep Dive | TRPO 단조 개선 이론, PPO 클리핑 근거, SAC 엔트로피 최대화, TD3 |
| 6 | RL Theory Deep Dive | UCB 후회 경계 증명, PAC-MDP, 탐험-활용 트레이드오프, 샘플 복잡도 |
🗣️ Layer 4-B — Large Language Models 
Scaling Law부터 Alignment까지
| 📌 Title | 📝 Key Topics | |
|---|---|---|
| 1 | LLM Pretraining Deep Dive | Scaling Law(Chinchilla 수식), 학습 안정성, 데이터 혼합 이론 |
| 2 | LLM Alignment Deep Dive | RLHF(보상 모델링), DPO(Bradley-Terry 유도), Constitutional AI |
| 3 | LLM Efficiency Deep Dive | LoRA(저랭크 분해 수학), QLoRA 양자화 오차, MoE 수식, Speculative Decoding |
| 4 | LLM Inference Deep Dive | KV Cache, PagedAttention 메모리 분석, Continuous Batching, vLLM |
👁️ Layer 4-C — Computer Vision & 3D 
이미지·공간의 수학적 구조 탐구
| 📌 Title | 📝 Key Topics | |
|---|---|---|
| 1 | Vision Transformer Deep Dive | ViT 패치 임베딩 수식, DINO 자기지도, MAE 정보이론적 해석 |
| 2 | Object Detection Deep Dive | YOLO 손실함수 유도, DETR 헝가리안 매칭, Anchor-Free 방법론 |
| 3 | Diffusion Model Deep Dive | DDPM Forward/Reverse 완전 유도, Score Matching, DDIM ODE 해석 |
| 4 | 3D & Neural Rendering Deep Dive | Volume Rendering 방정식, NeRF 유도, 3D Gaussian Splatting EWA, SDS Loss |
📝 Layer 4-D — NLP 
언어의 수학적 표현 탐구
| 📌 Title | 📝 Key Topics | |
|---|---|---|
| 1 | NLP Foundations Deep Dive | Word2Vec(Skip-gram 목적함수 유도), GloVe(행렬 분해 해석), BPE |
| 2 | Pretrained LM Deep Dive | BERT MLM 정보이론, GPT 자기회귀 수식, 전이학습 이론 |
🔊 Layer 4-E — Audio & Speech 
음성 신호의 수학 — Signal Processing과 ML의 교차점
| 📌 Title | 📝 Key Topics | |
|---|---|---|
| 1 | Audio & Speech Deep Dive | STFT/Mel 유도, CTC Loss Forward-Backward, Whisper, RVQ 신경 코덱, AudioLM |
⚙️ Layer 5 — Systems 
수학을 실제 시스템으로
| 📌 Title | 📝 Key Topics | |
|---|---|---|
| 1 | PyTorch Internals Deep Dive | Autograd(야코비안 벡터곱), CUDA 커널, 혼합 정밀도 수치 분석 |
| 2 | Distributed Training Deep Dive | Data/Model/Pipeline Parallelism, DDP AllReduce, ZeRO 메모리 분석 |
| 3 | Efficient ML Deep Dive | Pruning/Quantization/Distillation 수학, FlashAttention, vLLM |
| 4 | Experimental Statistics & MLOps Deep Dive | A/B Testing(CUPED, Sequential), 인과 추론(IPW, Doubly Robust), Drift Detection(KS, PSI, MMD), 피처 스토어, 모델 모니터링 |
🧭 Layer 6 — Frontier LLM 
LLM이 어떻게 생각하고·추론하고·지식을 가져오는가
| 📌 Title | 📝 Key Topics | |
|---|---|---|
| 1 | Mechanistic Interpretability Deep Dive | Induction Heads, Superposition, Sparse Autoencoder, Circuit Discovery, Feature Steering |
| 2 | LLM Reasoning Deep Dive | Test-time Compute Scaling, PRM, GRPO, Tree of Thoughts, MCTS for LLMs |
| 3 | Retrieval & RAG Deep Dive | Dense Retrieval, ColBERT Late Interaction, HNSW, IVF-PQ, GraphRAG |
💡 Layer 0 → Layer 6 순서로 선행 지식이 쌓입니다. 각 레포는 독립적으로도 학습 가능합니다. (총 48 repos)
graph LR
A{{🔍 Explore}} -->|논문·레퍼런스| B{{📐 Formulate}}
B -->|수식 유도| C{{✏️ Prove}}
C -->|가정 검증| D{{💻 Implement}}
D -->|NumPy 검증| E{{📝 Document}}
E -.->|다음 질문| A
style A fill:#e3f2fd,stroke:#1565c0,stroke-width:2px
style B fill:#f3e5f5,stroke:#7b1fa2,stroke-width:2px
style C fill:#fff3e0,stroke:#ef6c00,stroke-width:2px
style D fill:#e8f5e9,stroke:#2e7d32,stroke-width:2px
style E fill:#fff8e1,stroke:#fbc02d,stroke-width:2px
| Step | Description |
|---|---|
| 🔍 Explore | 논문·공식 레퍼런스에서 탐구할 개념 선정 |
| 📐 Formulate | 수학적 선행 조건 정리, 수식 구조 파악 |
| ✏️ Prove | 가정 → 보조정리 → 정리, 한 줄씩 완전 유도 |
| 💻 Implement | 프레임워크 없이 NumPy로 직접 구현·검증 |
| 📝 Document | 증명·직관·한계를 나만의 언어로 체계적 정리 |
이 연구소의 모든 글은 세 단으로 끝납니다.
| 단 | 내용 |
|---|---|
| 🧩 Principle | 출발점 — 어떤 정의와 가정에서 이 수식이 시작되나 |
| 🔬 Boundary | 경계 — 가정이 무너지면 결론은 어디까지 달라지나 |
| ✏️ Proof | 증명 — 한 줄씩 어떻게 유도되며, 구현과 수치 실험이 이를 재현하나 |
본문 10섹션 템플릿: 🎯 질문 · 🧱 선행 정의·가정 · 🔍 직관 · 📐 수식화 · ✏️ 유도·증명 · 🔬 경계·반례 · 🔗 개념 연결 · 💻 NumPy 구현 · 🧪 수치 검증 · 🤔 다음 질문
"수식을 쓸 줄 아는 것과, 수식이 왜 그렇게 생겼는지 아는 것은 다르다."
- ✏️ 증명 가능한 이해 - 블랙박스 없이, 가정부터 결론까지 직접 유도
- 🔍 한계 식별 - 수식의 가정이 무너지는 조건을 정확히 파악
- 🔗 개념 연결 - 서로 다른 알고리즘이 같은 수학적 뿌리에서 나옴을 발견
- 💻 구현 신뢰 - 수식을 코드로 직접 옮기며 이론과 실제를 연결
- 🚫 의도적 배제 - 공식 암기와 프레임워크 사용법 나열은 다루지 않음. 가정 없는 수식과 검증 없는 직관은 소음이다
수학적 증명으로 AI의 본질을 파고드는 연구자의 딥다이브 기록
The IQ Knowledge Pentad
📐 IQ AI Lab — Episteme · 🔧 IQ Dev Lab — Techne · 🧭 IQ Phronesis Lab — Phronesis · 🌌 IQ Physis Lab — Sophia · 🧠 IQ Psyche Lab — Psyche
🌀 IQ Spiral Galaxy — 🔴 Red · AI · 🟢 Green · Phronesis · 🔵 Blue · Dev · ⚫ Black · Physis · ⚪ White · Psyche
⭐️ 도움이 되셨다면 Star를 눌러주세요!
