LLM Inference

2 posts

• [LLM 추론] CPU 스레드와 NUMA 메모리 접근

  2026년 10월 21일

  GPU 자원이 부족한 환경에서 CPU·RAM·디스크의 역할을 구분하고, 스레드 수와 NUMA 메모리 배치가 추론 처리량에 미치는 영향을 설명합니다.

• [LLM 추론] Attention 비용과 KV Cache·GQA·MLA 최적화

  Updated:2026년 8월 25일

  Prefill과 Decode의 병목을 구분하고, KV Cache·GQA·MLA가 추론 비용을 줄이는 원리를 서빙 관점에서 정리합니다.