Tokenization
2 posts
[AI Agent] Cost Optimization Preview (9주차)
Updated:AI Agent의 LLM 비용이 커지는 원인을 LLM, 애플리케이션, 인프라 관점에서 정리하고 비용 최적화 기준을 제시합니다.
[AI/ML] 어휘와 토크나이저
Updated:LLM이 텍스트를 처리하는 기본 단위인 토큰과 어휘집의 개념을 살펴보고, 토크나이저가 문장을 모델 입력으로 변환하는 과정을 단계별로 정리합니다.