LLM
17 posts
양자화의 scale, zero-point, group size와 W4A16 계산 과정을 살펴보고 메모리 절약이 추론 속도에 미치는 영향을 정리합니다.
- Updated:
Hugging Face 모델 저장소에서 가중치 크기, KV cache, 컨텍스트 길이와 서빙 설정을 확인하는 방법을 Qwen3.8-Flash-Next 사례로 정리합니다.
- Updated:
Cybench, CyberGym, ExploitBench, ExploitGym이 각각 무엇을 평가하는지 단계별로 정리합니다.
- Updated:
TMax를 통해 terminal-agent RL에서 task prompt, sandbox, verifier, GRPO/DPPO가 어떻게 연결되는지 정리합니다.
- Updated:
Mid-training은 Fine-tuning처럼 정답 응답을 맞추는 단계가 아니라, 터미널 모델에 필요한 능력 분포와 데이터 흐름을 다시 조정하는 continued training 단계다.
- Updated:
LLM이 텍스트를 처리하는 기본 단위인 토큰과 어휘집의 개념을 살펴보고, 토크나이저가 문장을 모델 입력으로 변환하는 과정을 단계별로 정리합니다.
- Updated:
토큰 제한과 할루시네이션 문제를 해결하는 RAG(검색-증강-생성)의 개념과 구조를 소개합니다. 청킹, 임베딩, 벡터 저장소를 통한 의미론적 검색과 LangChain, LlamaIndex 등 주요 프레임워크를 다룹니다.
- Updated:
Zero-shot, Few-shot, Chain-of-Thought, Self-Consistency 등 프롬프트 엔지니어링 기법을 순차적으로 적용하여 LLM 정답률을 개선하는 방법과, Reasoning 모델의 등장으로 달라진 프롬프트 설계 패러다임을 다룹니다.
- Updated:
LLM의 작동 원리와 모델 선택 기준을 이해하고, 구조화된 출력과 프롬프트 분리를 통해 안정적인 AI 시스템을 구축하는 방법을 다룹니다.
- Updated:
Bedrock의 Qwen3-VL 모델로 PDF 테이블을 추출할 때 rowspan/colspan 병합 셀 처리 오류를 프롬프트 개선으로 해결하는 방법을 소개합니다.
Sagemaker를 활용하여 Fine-tuning을 수행하였습니다.
Sagemaker를 통해 LLM 모델을 파인튜닝하고 테스트합니다.
Sagemaker Ground Truth 기능을 활용해 휴먼 피드백을 실행합니다.
- Updated:
Sagemaker 환경에서 Custom dataset을 통해 모델의 성능을 평가합니다.
Sagemaker를 통해 LLM 모델의 성능을 평가할 수 있습니다.
- Updated:
RAG 성능 평가를 위한 프레임워크 Deepeval을 통해 검색과 생성 성능을 정밀 측정하고, 서비스 품질과 사용자 만족도를 향상시킬 수 있습니다.
Llamaindex와 Llama3로 RAG, Text-to-SQL, 에이전트 등 GenAI 핵심 패턴 구축 방법을 학습하고 테스트합니다. 실용적인 AI 앱 개발 방법을 익혀보세요.