Tokenizer

1 posts

• [AI/ML] 어휘와 토크나이저

  Updated:2026년 6월 28일

  LLM이 텍스트를 처리하는 기본 단위인 토큰과 어휘집의 개념을 살펴보고, 토크나이저가 문장을 모델 입력으로 변환하는 과정을 단계별로 정리합니다.