LLM
21 posts
- Updated:
개인정보 보호 문서 12개를 예로 청킹, Keyword·Vector 검색, 컨텍스트 구성과 근거 기반 답변의 동작 및 단계별 실패 원인을 설명합니다.
프롬프트의 구성 요소와 Zero-shot·Few-shot, 추론 설정, ReAct를 살펴보고 실패 분석과 평가를 바탕으로 품질·비용·지연을 개선합니다.
Transformer Explainer로 토큰·임베딩·Attention·샘플링의 흐름을 살펴보고, 구조화 출력과 사실 검증의 역할을 구분합니다.
AI Agent 2기 1주차 수업 자료입니다. 토큰과 Context window, LLM의 생성 흐름, API 요청과 생성 설정, 구조화 출력과 검증을 이커머스 CS 분류 사례로 살펴봅니다.
양자화의 scale, zero-point, group size와 W4A16 계산 과정을 살펴보고 메모리 절약이 추론 속도에 미치는 영향을 정리합니다.
- Updated:
Hugging Face 모델 저장소에서 가중치 크기, KV cache, 컨텍스트 길이와 서빙 설정을 확인하는 방법을 Qwen3.8-Flash-Next 사례로 정리합니다.
- Updated:
Cybench, CyberGym, ExploitBench, ExploitGym이 각각 무엇을 평가하는지 단계별로 정리합니다.
- Updated:
TMax를 통해 terminal-agent RL에서 task prompt, sandbox, verifier, GRPO/DPPO가 어떻게 연결되는지 정리합니다.
- Updated:
Mid-training은 Fine-tuning처럼 정답 응답을 맞추는 단계가 아니라, 터미널 모델에 필요한 능력 분포와 데이터 흐름을 다시 조정하는 continued training 단계다.
- Updated:
LLM이 텍스트를 처리하는 기본 단위인 토큰과 어휘집의 개념을 살펴보고, 토크나이저가 문장을 모델 입력으로 변환하는 과정을 단계별로 정리합니다.
- Updated:
토큰 제한과 할루시네이션 문제를 해결하는 RAG(검색-증강-생성)의 개념과 구조를 소개합니다. 청킹, 임베딩, 벡터 저장소를 통한 의미론적 검색과 LangChain, LlamaIndex 등 주요 프레임워크를 다룹니다.
- Updated:
Zero-shot, Few-shot, Chain-of-Thought, Self-Consistency 등 프롬프트 엔지니어링 기법을 순차적으로 적용하여 LLM 정답률을 개선하는 방법과, Reasoning 모델의 등장으로 달라진 프롬프트 설계 패러다임을 다룹니다.
- Updated:
LLM의 작동 원리와 모델 선택 기준을 이해하고, 구조화된 출력과 프롬프트 분리를 통해 안정적인 AI 시스템을 구축하는 방법을 다룹니다.
- Updated:
Bedrock의 Qwen3-VL 모델로 PDF 테이블을 추출할 때 rowspan/colspan 병합 셀 처리 오류를 프롬프트 개선으로 해결하는 방법을 소개합니다.
Sagemaker를 활용하여 Fine-tuning을 수행하였습니다.
Sagemaker를 통해 LLM 모델을 파인튜닝하고 테스트합니다.
Sagemaker Ground Truth 기능을 활용해 휴먼 피드백을 실행합니다.
- Updated:
Sagemaker 환경에서 Custom dataset을 통해 모델의 성능을 평가합니다.
Sagemaker를 통해 LLM 모델의 성능을 평가할 수 있습니다.
- Updated:
RAG 성능 평가를 위한 프레임워크 Deepeval을 통해 검색과 생성 성능을 정밀 측정하고, 서비스 품질과 사용자 만족도를 향상시킬 수 있습니다.
Llamaindex와 Llama3로 RAG, Text-to-SQL, 에이전트 등 GenAI 핵심 패턴 구축 방법을 학습하고 테스트합니다. 실용적인 AI 앱 개발 방법을 익혀보세요.