HBM 병목 해결을 위한 Online Softmax 기반 Flash Attention 설계 분석
I Built Flash Attention From Scratch — Here's What Nobody Tells You About It
10년 된 Xeon이면 충분하다
2016년형 Xeon 및 DDR3 환경에서 MTP 및 MoE 최적화를 통한 Gemma 4 26B 실행
Memory Wall 극복을 위한 CIM 도입 및 RWKV 기반 100배 속도 개선
I Thought AI Was Slow Because It Wasn't Smart Enough. Turns Out It's Exhausted From Carrying Things.
Compute-bound에서 Memory-bound로의 관점 전환을 통한 AI Scaling 최적화
The Hidden Side of AI Nobody Talks About...
KV Cache 3.5-bit 압축을 통한 VRAM 6배 절감 및 추론 효율화
Google’s TurboQuant Compression May Support Faster Inference, Same Accuracy on Less Capable Hardware
447 TB/cm²의 제로 보존 에너지 – 불소그래판 기반 원자 규모 메모리
C-F 피라미드 반전 기반 447TB/cm² 밀도의 원자 규모 메모리 설계