2026.05.06- #69 - Neural Gabor Splatting, Rapid-MLX, Qwen-Scope, MetaEarth3D, Map2World, Ouster Color LiDAR, HF Model visualizer, Jim Fan Physical AI Talk

[james-joobs]

[james-joobs]

🤖 Weekly Spatial AI 리뷰 (2026.05.06)

---

🎨 Neural Gabor Splatting (University of Tokyo) — CVPR 2026

![Neural Gabor Splatting Teaser](

)
![Neural Gabor Splatting Workflow](

)

• 논문: "Neural Gabor Splatting: Enhanced Gaussian Splatting with Neural Gabor for High-frequency Surface Reconstruction"
• 저자: Haato Watanabe, Kenji Tojo, Nobuyuki Umetani (도쿄대)
• 역할: 3D Gaussian Splatting의 약점인 고주파(high-frequency) 텍스처 재구성을 개선한 enhanced 3DGS framework
• 배경: 3DGS는 빠르고 강력하지만, 정작 디테일이 중요한 선명한 텍스처·줄무늬·체크 패턴 같은 고주파 표면에서 약함. 이유는 단순함 — 각 Gaussian primitive가 단일 색상만 표현하기 때문에 색이 자주 바뀌는 영역에 엄청 많은 primitive를 쏟아부어야 함
• 핵심 질문: "하나의 primitive가 하나 이상의 색을 표현할 수 있을까?"
• 핵심 기술:
  • Neural Gabor Primitive: 각 Gaussian primitive에 **경량 신경망 모듈(SIREN 기반)**을 부착 → primitive 내부의 풍부한 color 변화 모델링
    • 로컬 2D space에서 Gabor-like 패턴을 예측 → 중첩된 Gabor kernel을 근사
    • 단일 primitive가 줄무늬·체크보드 같은 패턴을 직접 표현
  • Frequency-aware Densification: 주파수 에너지(frequency energy) 기반 primitive 분할/제거 전략
    • 고주파 영역에서 mismatch primitive를 식별 → cloning(분할) 또는 pruning(제거)으로 효율적 자원 배분
  • Custom CUDA Differentiable Gabor Rasterizer: 별도 repo diff-neural-gabor-rasterization로 구현
• 특징:
  • 훨씬 적은 primitive 수로 동일한 visual fidelity 달성 → 메모리 절약
  • Mip-NeRF360 + 자체 high-frequency 데이터셋(체크무늬 등)에서 PSNR / SSIM / LPIPS 모두 향상
  • COLMAP / NeRF Synthetic 호환, mesh rendering 지원
    🔗 Project Page | GitHub | Rasterizer | arXiv | 🎬 Video

---

⚡ Rapid-MLX — Apple Silicon 전용 초고속 로컬 AI 엔진

• 역할: Apple Silicon(M1~M5) 전용 local LLM inference engine — Ollama 대비 4.2배 빠름, OpenAI API 호환 drop-in replacement

• 배경: macOS에서 LLM을 로컬로 돌리는 도구는 Ollama / llama.cpp가 사실상 표준이지만 Apple Silicon의 unified memory + Metal compute를 100% 활용하지 못함. Rapid-MLX는 Apple의 MLX framework 위에 풀스택으로 구축

• 핵심 기술:

  • MLX Native + Unified Memory: Metal compute kernel 직접 사용, CPU↔GPU 복사 0
  • Prompt Caching (Sub-100ms TTFT):
    • Standard transformer: KV cache trimming
    • Hybrid model (Qwen3.5 DeltaNet 등): RNN state snapshot
    • 0.08초 만에 첫 토큰 출력 (Kimi-Linear-48B, cached prompt 기준)
  • 17개 Tool Parser: 양자화로 인한 모델 성능 저하 자동 복구 → Qwen / GLM / GPT-OSS에서 100% tool-calling 성공률
  • Reasoning 분리: Chain-of-Thought를 별도 출력 필드로 격리
  • Cloud Routing: 컨텍스트 큰 요청은 자동으로 cloud LLM에 offload
  • Multimodal: Vision (mlx-vlm), Audio STT/TTS, Embeddings 통합 API
  • OpenAI API 완벽 호환 + FastAPI 서버 + continuous batching

• 벤치마크 (Mac Studio M3 Ultra 256GB):

  모델	Rapid-MLX	Ollama	속도 향상
  Qwen3.5-9B	108 tok/s	41 tok/s	2.6×
  Phi-4 Mini 14B	180 tok/s	-	-
  Nemotron-Nano 30B	141 tok/s	-	-
  Qwen3.5-122B (96GB Mac)	57 tok/s	-	-
  Qwen3-Coder-Next TTFT	0.16s (snapshot)	0.66s (cold)	4.3×

  종합: 22개 모델 6개 엔진 비교에서 16/18 모델 1위, 평균 4.2× faster than Ollama

• 에이전트 통합: Claude Code · Cursor · Aider · Continue.dev · LangChain · smolagents · Open WebUI · LibreChat

• 설치: brew install raullenchai/rapid-mlx/rapid-mlx 또는 pip install rapid-mlx

• 특징: 2,000+ unit test, regression harness, rapid-mlx doctor 자가진단, Apache 2.0
  🔗 GitHub | Comparative Engine Study

---

🔬 Qwen-Scope — Sparse Autoencoder로 LLM 내부 들여다보기

• 논문/블로그: "Qwen-Scope: Turning Sparse Features into Practical Tools" (Alibaba Qwen Team, 2026.04.30)
• 역할: Qwen3 / Qwen3.5 family를 위한 오픈소스 Sparse Autoencoder(SAE) 모음 — LLM 내부 활성화를 사람이 해석 가능한 sparse feature로 분해
• 배경:
  • SAE = LLM의 내부 신호를 분해하는 도구: Anthropic이 Claude의 내부 feature를 분석한 연구로 유명해진 기법
  • 그러나 Anthropic은 결과만 발표하고 도구 자체는 비공개 → 외부 연구자는 재현·검증 불가
  • Qwen 팀의 결정적 차이: 모델뿐 아니라 해석 도구(SAE) 자체를 함께 오픈 → 학계 + 일반 연구자 모두가 직접 들여다볼 수 있게 됨
• 공개 구성:
  • 14개 SAE weight set × 7개 모델 변형 (5 dense + 2 MoE)
    • Dense: Qwen3-1.7B / Qwen3-8B / Qwen3.5-2B / Qwen3.5-9B / Qwen3.5-27B
    • MoE: Qwen3-30B-A3B / Qwen3.5-35B-A3B
  • Top-K activation rule (k=50 또는 k=100)
  • Dense 모델: 16× hidden-size dictionary expansion
  • MoE 모델: 32K~128K dictionary 폭
  • Residual-stream SAE (SAE-Res-*)
• 핵심 응용:
  • Inference-time Steering: weight 업데이트나 prompt engineering 없이 feature 방향만 조작해 출력 제어
  • SASFT (SAE-guided SFT): language-specific feature activation을 억제하는 보조 loss → Gemma-2 / Llama-3.1 / Qwen3 family에서 code-switching 50%+ 감소
  • Multilingual Toxicity Classifier: 13개 언어에서 F1 > 0.90, 강력한 cross-lingual transfer
  • Safety Data Synthesis: 타겟 safety feature 99.74% coverage
• 특징: HuggingFace Space에서 라이브 데모 제공, Anthropic 대비 재현 가능한 해석성 연구의 출발점
  🔗 Blog | Paper PDF | HuggingFace Collection | HuggingFace Space

---

🚀 MORI-IO KV Connector (vLLM × AMD)

• 역할: 단일 노드 환경에서 vLLM의 PD(Prefill-Decode) 분리 아키텍처 구현체 — RDMA 기반 KV cache handoff로 처리량 2.5배 향상

• 배경: PD Disaggregation 개념은 보통 multi-node cluster를 전제 → 인프라 비용·복잡도 부담. AMD + Embedded LLM이 8x MI300X 단일 노드 안에서 PD 분리를 실현해 진입장벽을 크게 낮춤

• 아키텍처:

  • Prefill instance: GPU 0~3 (4개)
  • Decode instance: GPU 4~7 (4개)
  • Proxy orchestrator가 요청 라우팅
  • MORI library (AMD ROCm RDMA primitives) 기반 KV cache 전송

• 2가지 RDMA 전송 모드:

  • Read Mode: prefill 완료 후 decode가 KV cache를 RDMA로 pull
  • Write Mode (기본값): prefill이 연산 도중에 KV cache를 decode GPU 메모리에 직접 push → 계산-전송 오버랩으로 handoff latency 최소화

• 벤치마크 결과 (Qwen3-235B-A22B-FP8 / 2000 input + 1000 output token / 8 req/s / SLO TTFT<1s & ITL<50ms):

  지표	Standard 8-GPU 서빙	MORI-IO PD 분리	향상
  Goodput	1×	2.5×	2.5배
  SLO 충족	30/100 요청	73/100 요청	2.43배
  ITL Spike	부하 시 발생	제거됨	-

• 하드웨어 스택: 8× AMD Instinct MI300X (각 192GB HBM, 750W) + 2× AMD EPYC 9654 (96-core), ROCm 6.10.5, PyTorch 2.9.1, vLLM 0.16.0rc1

• 특징: vLLM PR #29304로 머지, 다이어그램·실제 코드·벤치마크가 깔끔하게 정리된 PD 분리 레퍼런스 자료
  🔗 Blog | vLLM PR #29304 | MORI Library | vLLM Disagg Docs

[SunandBean]

MetaEarth3D

• paper: https://arxiv.org/pdf/2604.22828
• site: https://jinqicao.github.io/metaearth3d/
• slide: MetaEarth3D_World_Blueprint.pdf

[연구 배경 및 목적]

• 기존의 한계: 기존 생성형 AI 및 월드 모델은 단일 객체나 실내 등 경계가 있는(Bounded) 환경을 생성하는 데 국한되어, 수천 킬로미터에 달하는 대규모 세계의 '공간적 규모(Spatial Scale)'를 모델링하지 못함.
• 새로운 모델 제안: 이러한 한계를 극복하고 대규모 지형부터 미세한 도시 블록까지 아우르는 행성 규모(Planetary scale)의 3D 공간 생성 파운데이션 모델인 MetaEarth3D를 최초로 개발함.

[핵심 방법론: 점진적 확률 기반 생성 프레임워크]
거대한 3D 환경 생성을 위한 연산 병목을 해결하기 위해, 생성 과정을 '스케일 공간'과 '차원 공간'의 점진적 변환으로 분리함.

• 스케일 공간 (무제한 2D 이미지 생성):
  • 저해상도에서 고해상도로 점진적인 위성 이미지를 생성하는 재귀적 확산 네트워크(Recursive diffusion network)를 도입함.
  • 단일 신경망 파라미터를 재사용해 효율성을 높였으며, 슬라이딩 윈도우 기반 확률 모델을 사용해 경계선 픽셀이 매끄럽게 연결되는 무제한 2D 지도를 생성함.
• 차원 공간 (기하학-텍스처 분리형 3D 변환):
  • 기하학(Geometry) 추론: 단일 2D 이미지의 시각적 단서(그림자, 원근 등)를 바탕으로 지형의 고도 맵(Elevation map)을 예측하여 2.5D 구조를 생성함.
  • 텍스처(Texture) 인페인팅: 위성 시점에서 보이지 않는 건물 외벽 등의 수직면 텍스처를 다중 시점 생성 네트워크로 채워 넣음. 이때 시점 간의 시각적 일관성을 유지하기 위해 '카메라 포즈 조건화'와 '교차 뷰 로컬 어텐션(Cross-view local attention)' 모듈을 적용함.

[학습 데이터 및 모델 성능]

• 초대형 데이터셋 구축: 글로벌 단위의 다중 해상도 위성 이미지, 지리 좌표가 정렬된 고도 맵, 다중 시점 도시 이미지 등 약 1,000만 개 규모의 고품질 데이터를 구축하여 모델을 학습시킴.
• 시각적 고품질: 기존 3D 도시 생성 SOTA 모델(CityDreamer, GaussianCity) 대비 영상 품질 지표인 FID를 약 12.5% 향상시킴. 명시적 메쉬(Mesh) 구조를 사용하여 궤적 비행 시에도 시야 왜곡이 없는 높은 공간적 일관성을 제공함.
• 통계적 현실성 입증: 생성된 지형의 의미론적 특징과 높이 분포가 실제 지구 환경의 지리 통계 법칙과 매우 유사하게 나타나 현실성을 증명함.

[생성형 데이터 엔진(Generative Data Engine)으로서의 활용]

• MetaEarth3D는 고품질 3D 메쉬와 함께 내부적으로 자체 라벨링된 3D 정보(고도, 3D 객체 관계 등)를 제공하므로, 시뮬레이션을 위한 데이터 엔진으로 활용이 가능함.
• 이를 통해 7,690개의 초광역 3D 공간 추론 데이터셋을 합성한 뒤 오픈소스 시각-언어 모델(VLM)을 학습시킨 결과, 실제 드론 영상 기반의 기하학 및 공간 추론 등 여러 인지 작업에서 모델의 성능이 대폭 향상됨.

---

Map2World

• paper: https://arxiv.org/pdf/2605.00781
• slide: Map2World_Architecture_Blueprint.pdf

[연구 배경 및 한계]

• 기존 방식의 한계: 기존의 3D 월드 생성 기술은 주로 엄격한 격자(Grid) 기반 레이아웃에 제한되어 있어 실제 환경의 불규칙한 경계를 표현하기 어려움.
• 객체 간 일관성 부족: 3D 에셋 생성기를 활용해 월드 크기로 확장하려는 기존 시도들(예: SynCity)은 생성된 타일(객체) 간의 맥락적 단절이나 스케일 불일치 현상이 발생하여, 전체 씬이 조화롭지 못하고 틈새가 발생하는 문제가 있음.

[핵심 방법론: Map2World 프레임워크 제안]

• 자유로운 형태의 세그먼트 맵 조건화: 격자 형태에 얽매이지 않고, 사용자가 정의한 임의의 형태와 크기를 가진 세그먼트 맵(분할 지도)과 텍스트 프롬프트를 동시에 조건으로 받아 3D 월드를 생성함.
• 잠재 융합(Latent Fusion) 기반 공간 확장: 사전 학습된 3D 에셋 생성기(TRELLIS)를 기반으로 하되, 겹치는 3D 큐브 윈도우들을 잠재 공간(Structured Latent Space)에서 결합하는 다중 확산(Multi-diffusion) 전략을 사용하여 경계선 없이 매끄러운 전역 스케일의 3D 씬을 구축함.
• 디테일 향상 네트워크(Detail Enhancer): 전역 구조의 일관성을 해치지 않으면서 미세한 디테일을 추가하기 위해, 큰 큐브의 대략적인 잠재 정보와 인접한 큐브의 잠재 정보를 함께 조건으로 받아 해상도를 높이는 업스케일링 모듈을 도입함.
• 스케일 인식 초기 생성 최적화: 씬의 스케일을 제어하고 최적화 궤적을 안정화하기 위해 주파수(Spectral) 도메인에서 초기 구조 노이즈를 최적화하는 기법을 적용함.

[실험 결과 및 의의]

• 강건한 생성 능력: 데이터가 부족한 한계를 에셋 생성기의 강력한 사전 지식(Prior)으로 극복하여, 복잡하고 다양한 도메인 환경에서도 고품질의 3D 월드 생성이 가능함.
• 압도적인 시각적·구조적 성능: 기존 3D 확장 모델(SynCity, GaussianCube) 대비 선명도, 씬 완성도, 일관성, 현실성을 종합적으로 측정하는 새로운 평가 지표인 **'World Quality (WQ)'**에서 가장 우수한 성능을 달성함.
• 복잡한 맵 처리: 기존 모델이 처리하지 못하는 복잡하고 불규칙한 모양의 세그먼트 맵에서도 각 영역에 맞는 객체를 구조적 왜곡 없이 매끄럽게 연결하여 생성하는 데 성공함.

[changh95]

Ouster Color LiDAR

• L4 architecture chip
  • x2 range, x2 resolution
  • Native color sensing: Understand road signs, interpret brake lights, colorized map
  • L4 chip (128 channel) + L4 Max chip (256 channel)

HuggingFace Model visualizer

• https://hfviewer.com/lerobot/pi0fast-base

Jim Fan

• https://lilys.ai/digest/9444324/10887979?s=1&noteVersionId=7402205
• VLA는 끝났다 -> World Action Model (WAM)이 온다
• Teleop은 끝났다 -> Human 데이터가 온다
• sim-to-real RL은 끝났다 -> Real-sim-real physical autoresearch가 온다