수학적 모델을 넘어 DL 기반 고해상도 이미지 복원 체계 구축
Image Reconstruction Using Deep Learning: A Complete Guide
Bellman이 1952년 제안한 동적 프로그래밍의 HJB 방정식이 1840년대 물리학의 Hamilton-Jacobi 방정식과 동일한 구조를 가짐을 발견하여 강화학습과 확산 모델을 자연스럽게 연결한다
Hamilton-Jacobi-Bellman Equation: Reinforcement Learning and Diffusion Models
Hugging Face Diffusers가 모놀리식 DiffusionPipeline 대신 재조합 가능한 블록 기반 아키텍처로 전환해 커스텀 파이프라인 구성 시간을 단축
Introducing Modular Diffusers - Composable Building Blocks for Diffusion Pipelines
Photoroom이 픽셀 공간 학습, 지각 손실, 토큰 라우팅, 표현 정렬 등 4가지 기법을 결합하여 32개 H200 GPU로 24시간 내에 텍스트-이미지 확산 모델 학습
PRX Part 3 — Training a Text-to-Image Model in 24h!
PRX 팀이 Flow Matching 기반 텍스트-이미지 모델의 학습 파이프라인을 체계적으로 검증해 REPA 정렬, 토큰 라우팅, BF16 정밀도 관리 등으로 수렴 속도 및 이미지 품질 개선
Training Design for Text-to-Image Models: Lessons from Ablations
Inception이 diffusion 기반 언어 모델을 도입해 기존 autoregressive 방식 대비 5~10배 빠른 토큰 생성
Generating text with diffusion (and ROI with LLMs)
Hugging Face Diffusers 팀이 오픈소스 비디오 생성 모델을 라이브러리에 통합하여 커뮤니티의 접근성 확대 및 LTX-Video, Mochi-1, CogVideoX 등 5개 이상의 모델 지원
State of open video generation models in Diffusers
Hugging Face Diffusers가 Stable Diffusion 3 Medium을 통합하며 MMDiT 아키텍처와 Rectified Flow Matching으로 텍스트-이미지 생성 파이프라인 제공
Diffusers welcomes Stable Diffusion 3
Segmind가 Feed-Forward 레이어를 Mixture-of-Experts 레이어로 교체하여 여러 확산 모델을 하나의 프레임워크로 통합
SegMoE: Segmind Mixture of Diffusion Experts
Würstchen이 42배 공간 압축을 달성해 Stable Diffusion XL 대비 이미지 생성 속도 향상 및 GPU 학습 비용 16배 감소
Introducing Würstchen: Fast Diffusion for Image Generation
Hugging Face Diffusers 라이브러리가 AudioLDM 2 추론 최적화를 통해 10초 음성 생성 시간을 30초에서 1초로 단축
AudioLDM 2, but faster ⚡️
Segmind가 Knowledge Distillation 기법으로 Stable Diffusion 모델을 35~55% 경량화하면서 추론 속도를 최대 100% 향상
Open-sourcing Knowledge Distillation Code and Weights of SD-Small and SD-Tiny
Hugging Face 연구팀이 InstructPix2Pix의 학습 방식에 FLAN V2의 instruction-tuning 개념을 결합하여 Stable Diffusion이 카르툰화·이미지 디레이닝 같은 특정 이미지 변환 작업을 명령어 기반으로 수행하도록 fine-tuning
Instruction-tuning Stable Diffusion with InstructPix2Pix
Hugging Face가 Text-to-Video 모델의 아키텍처 진화와 Diffusion 기반 접근법을 통해 텍스트 설명으로부터 시간적·공간적으로 일관성 있는 비디오 생성 기술의 현황 정리
A Dive into Text-to-Video Models
Microsoft와 중국 과학기술대학이 양자화된 잠재 공간에서 작동하는 이산 확산 모델 VQ-Diffusion을 개발해 자동회귀 모델 대비 15배 빠른 이미지 생성 달성
VQ-Diffusion
Hugging Face의 Diffusers 라이브러리 v0.3이 Image-to-Image, Textual Inversion, Inpainting 파이프라인을 추가하고 VRAM 사용량을 3.2GB로 감소시키며 Mac OS 및 ONNX 지원으로 하드웨어 접근성 확대
What's new in Diffusers? 🎨
Ho et al.가 DDPM(Denoising Diffusion Probabilistic Models)을 제안해 신경망이 순방향 노이징 프로세스를 역방향으로 학습하는 생성 모델 구축
The Annotated Diffusion Model