26M 파라미터 기반 초경량 Tool Calling 전용 모델 Needle의 효율적 아키텍처
Needle and the Return of the Tiny Specialist Model
Supertonic 3 - 초경량 온디바이스 TTS 출시, 31개 언어 및 감정 태그 지원
99M Parameters 기반 31개 언어 지원 초경량 On-device TTS 구현
Amharic 특화 Voice AI 도입으로 교육 비용 90% 절감 및 학습 속도 40% 향상
Building an AI Tutor for 40 Million Ethiopian Students Who Learn in Amharic
개발자가 Vision Transformer를 동물 행동 데이터셋으로 파인튜닝해 수의사 벤치마크(78%)를 초과하는 82.4% 정확도의 반려동물 스트레스 감지 API 구축
I Built an AI That Detects Pet Stress From Photos — Here's the Stack
Dropbox가 저비트 양자화(Low-bit Quantization) 기법으로 대규모 AI 모델의 메모리 사용량을 감소시키고 행렬 연산 처리량을 최대 2배 증가
How low-bit inference enables efficient AI
IBM이 Granite 4.0 Nano 모델군을 출시해 350M~1.5B 파라미터 범위에서 Qwen, Gemma 등 경쟁 모델 대비 벤치마크 성능 향상
Granite 4.0 Nano: Just how small can you go?
Intel이 Optimum Intel과 OpenVINO를 활용해 SmolVLM을 Intel CPU에서 실행하며 PyTorch 대비 12배 TTFT 단축 및 65배 처리량 증대
Get your VLM running in 3 simple steps on Intel CPUs
Hugging Face와 Axolotl이 Accelerate 라이브러리에 ND-Parallel 통합으로 여러 GPU 간 복합 병렬화 전략 조합을 설정 파일 몇 줄로 구현 가능하게 구축
Accelerate ND-Parallel: A guide to Efficient Multi-GPU Training
Hugging Face가 vLLM, torch.compile, CUDA graphs, float8 KV cache를 조합해 Whisper 음성인식 추론 성능을 8배 향상
Blazingly fast whisper transcriptions with Inference Endpoints
Hugging Face가 Intel Gaudi 하드웨어를 Text Generation Inference에 네이티브 통합으로 별도 포크 제거 및 최신 기능 동시 지원
🚀 Accelerating LLM Inference with TGI on Intel Gaudi
Hugging Face Diffusers 팀이 오픈소스 비디오 생성 모델을 라이브러리에 통합하여 커뮤니티의 접근성 확대 및 LTX-Video, Mochi-1, CogVideoX 등 5개 이상의 모델 지원
State of open video generation models in Diffusers
Sentence Transformers 라이브러리를 활용한 정적 임베딩 모델 학습으로 CPU 추론 성능을 100~400배 향상
Train 400x faster Static Embedding Models with Sentence Transformers
Hugging Face Diffusers가 Stable Diffusion 3.5 Large 모델을 지원하면서 QK normalization과 dual attention layers 추가로 이미지 생성 품질 향상
Diffusers welcomes Stable Diffusion 3.5 Large
Google이 Gemma 2를 출시해 9B/27B 두 가지 크기의 오픈 LLM 모델을 제공하며 슬라이딩 윈도우 어텐션과 로짓 소프트 캐핑으로 성능 개선
Welcome Gemma 2 - Google’s new open LLM
TII가 11B 파라미터 기반의 경량 LLM과 VLM을 5000B 토큰으로 학습하여 Falcon-40B의 1/4 크기에서 동등한 성능 달성
Falcon 2: An 11B parameter pretrained language model and VLM, trained on over 5000B tokens and 11 languages
Hugging Face가 AWS Inferentia2 칩 지원을 SageMaker와 Inference Endpoints에 통합해 100,000개 이상의 모델 배포 가능
Deploy models on AWS Inferentia2 from Hugging Face
Hugging Face가 PyTorch 양자화 백엔드 Quanto를 개발해 float32 모델을 int8, int4, float8 등 저정밀도로 변환하고 CUDA 장치에서 최적화된 연산 지원
Quanto: a PyTorch quantization backend for Optimum
Microsoft가 ONNX Runtime으로 Hugging Face의 130,000개 이상 모델을 최적화해 Whisper-tiny 모델의 추론 레이턴시를 PyTorch 대비 74.30% 감소
Accelerating over 130,000 Hugging Face models with ONNX Runtime
Hugging Face Transformers가 bitsandbytes와 auto-gptq 두 가지 양자화 방식을 비교 분석하여 추론 속도와 파인튜닝 성능의 트레이드오프를 명확히 제시
Overview of natively supported quantization schemes in 🤗 Transformers
Diffusers 팀이 T2I-Adapter를 SDXL에 통합해 ControlNet 대비 파라미터 93.69% 감소(1251M → 79M) 및 매 디노이징 스텝마다 1회만 실행으로 추론 속도 향상
Efficient Controllable Generation for SDXL with T2I-Adapters