Posts
184 posts
Featured Posts
4 selectedAll Posts
180 posts[AI Agent] AI Engineering Review (12주차)
Updated:AI Agent 과정을 정리합니다. LLM 기초와 프롬프트 엔지니어링에서 시작해 RAG, Evaluation, Agent 설계, Observability, Cost, Security, Fine-tuning까지 운영 가능한 AI 시스템을 만들기 위해 필요한 흐름을 되짚습니다.
[AI Agent] LLM Training Preview (11주차)
Updated:LLM의 Pre-training과 Post-training 차이를 정리하고 Fine-tuning의 목적, 데이터 구조와 설계 방법을 정리했습니다.
[AI Agent] AI Security Preview (10주차)
Updated:LLMOps 관점에서 AI 시스템의 보안 위험을 데이터 오염, 프롬프트 인젝션, jailbreaking, guardrail, 모델 정렬과 안전 학습까지 연결해 정리합니다.
[AI Agent] Cost Optimization Preview (9주차)
Updated:AI Agent의 LLM 비용이 커지는 원인을 LLM, 애플리케이션, 인프라 관점에서 정리하고 비용 최적화 기준을 제시합니다.
[AI/ML] 어휘와 토크나이저
Updated:LLM이 텍스트를 처리하는 기본 단위인 토큰과 어휘집의 개념을 살펴보고, 토크나이저가 문장을 모델 입력으로 변환하는 과정을 단계별로 정리합니다.
[AI Agent] LLM Observability Preview (8주차)
Updated:LLM Observability는 AI Agent가 어떤 입력을 받았고, 어떤 prompt와 context로 model을 호출했으며, 어떤 retrieval과 tool 실행을 거쳐 답변을 만들었는지 추적하는 운영 체계입니다. Evaluation이 결과를 판정한다면, Observability는 그 결과가 만들어진 과정을 다...
[AI Agent] Multi Agent Preview (7주차)
Updated:Tool/Capability, Execution Pattern, Agent Archetype 관점에서 Agentic AI Design Pattern을 정리합니다
[AI Agent] AI Agent Review(6주차)
Updated:AI Agent의 가능성과 성과가 만들어지면서 다양한 애플리케이션이 만들어집니다. 하지만 Production에서 돌리기 위한 문제가 많이 발생하죠. 따라서 저희는 문제가 정말 Agent로 풀어야 하는 문제인가를 먼저 정리합니다.
[AI Agent] AI Agent Preview (6주차)
Updated:LLM이 런타임에 다음 행동을 스스로 결정하는 AI Agent의 개념부터 설계까지 알아봅시다. AI Agent를 설계하는 것과 Workflow와의 차이, 4대 구성요소를 통해 Agent 구축의 기초를 다집니다.
[AI Agent] LLM Evaluation Review (5주차)
Updated:생성형 AI 시대, 데모 제작은 빨라졌지만 검증 체계 구축이 더 중요해졌습니다. Golden Dataset, LLM-as-a-Judge, RAGAS를 활용한 체계적 평가 방법으로 RAG 시스템의 검색과 생성을 분리 평가하고, 평균이 아닌 실패 패턴 분석으로 운영 가능한 구조를 설계하세요.
[AI Agent] LLM Evaluation Preview (5주차)
Updated:LLM/RAG 시스템의 품질을 숫자로 증명하는 평가 체계를 소개합니다. Golden Dataset, Calibration Dataset, LLM-as-a-Judge, RAGAS 메트릭을 통해 감에 의존하는 평가에서 데이터 기반 의사결정으로 전환하는 방법을 다룹니다.
[AI Agent] Advanced RAG 리뷰(4주차)
Updated:Naive RAG의 한계를 Query, Retrieval, Generation 3단계로 나누어 보완하는 Advanced RAG 기법들을 실무 관점에서 정리합니다. Hybrid Search와 Re-ranking 등 우선 적용할 기법부터 GraphRAG, Agentic RAG 같은 최신 아키텍처까지 전체 지형을 다룹니다.
[AI Agent] Advanced RAG Preview(4주차)
Updated:Advanced RAG는 Hybrid Search로 의미와 키워드를 동시에 검색하고, Re-ranking과 메타데이터 필터링으로 정확성을 높입니다. 벡터 검색과 BM25를 결합하여 RAG의 검색 정밀도와 재현율 문제를 해결합니다.
[AI Agent] RAG 리뷰(3주차)
Updated:RAG 파이프라인 구축 시 Golden Dataset으로 품질을 객관적으로 측정하고, PDF 로더, 청킹 전략, 임베딩 모델을 단계별로 최적화하여 신뢰성 높은 AI 시스템을 만드는 방법을 소개합니다.
[AI Agent] RAG Preview(3주차)
Updated:토큰 제한과 할루시네이션 문제를 해결하는 RAG(검색-증강-생성)의 개념과 구조를 소개합니다. 청킹, 임베딩, 벡터 저장소를 통한 의미론적 검색과 LangChain, LlamaIndex 등 주요 프레임워크를 다룹니다.
[AI Agent] Prompt Engineering 리뷰(2주차)
Updated:Zero-shot, Few-shot, Chain-of-Thought, Self-Consistency 등 프롬프트 엔지니어링 기법을 순차적으로 적용하여 LLM 정답률을 개선하는 방법과, Reasoning 모델의 등장으로 달라진 프롬프트 설계 패러다임을 다룹니다.
[AI Agent] LLM 기초 정리
Updated:LLM의 작동 원리와 모델 선택 기준을 이해하고, 구조화된 출력과 프롬프트 분리를 통해 안정적인 AI 시스템을 구축하는 방법을 다룹니다.
[AI Agent] AI Agent OT 정리
Updated:AI Agent 과정의 간단한 개요입니다. AI Agent의 과정과 AI Agent의 간단한 구성, 사례. 그리고 달성하고자 하는 목표와 필요한 리소스까지 간단하게 정리했습니다.
[Security] 악성코드 샘플 분석 2차 (동적 분석)
Updated:정적 분석 후 동적 분석으로 악성코드의 자기삭제 메커니즘, 레지스트리 변조, C2 통신 시도를 추적했습니다. WireShark, Process Monitor, ANY.RUN을 활용한 상세 분석 결과를 제시합니다.
[LLM] VLM으로 표를 정확히 추출하기
Updated:Bedrock의 Qwen3-VL 모델로 PDF 테이블을 추출할 때 rowspan/colspan 병합 셀 처리 오류를 프롬프트 개선으로 해결하는 방법을 소개합니다.
[LLM] 한국어 토큰 사용량과 모델 간 토큰 사용량 차이 정리
Claude와 Gemini의 한국어 토큰 사용량 차이를 분석했습니다. Claude가 평균 20% 이상 더 많은 토큰을 소비하는 이유와 장기적으로 모델을 운영하기 위한 방법을 간략하게 정리했습니다.
[Security] 악성코드 샘플 분석 2차 (기초 분석, 정적 분석)
Updated:UPX와 SVK Protector로 패킹된 악성코드를 언패킹하여 정적 분석을 수행했습니다. wiseman.exe와 DXMSFT.DLL 파일에서 C2 서버 통신, 프로세스 인젝션, 금융사 도메인 탈취 등 금융 해킹을 목표로 하는 악성 행위를 확인했습니다.
[Security] 악성코드 샘플 분석 1차
2011년 Trojan.Kraddare 악성코드를 정적·동적 분석으로 실제 분석했습니다. VirusTotal, PEStudio, Process Monitor 등 도구를 활용해 관리자 권한 탈취, C2 통신, 파일 드롭 행위를 추적했습니다.
[AI/ML] LLM as Judge를 통한 환각 제어 방법
LLM-as-Judge로 RAG 시스템의 환각을 탐지하되, Position Bias, Verbosity Bias 등 6가지 편향을 인식하고 Position Swapping, 다중 Judge 앙상블, 컨텍스트 직접 인용 등으로 평가 신뢰도를 높이는 실무 가이드입니다.
[AI/ML] Qwen3-VL-4B 강화 학습(RL) 기반 파인튜닝(Unsloth) 가이드
Updated:GRPO를 활용해 Qwen3-VL을 강화학습으로 파인튜닝하는 실전 가이드. Unsloth와 TRL로 수학 문제 해결 능력을 향상시키는 방법과 보상함수 설계법을 제시합니다.
[AI/ML] Qwen3 VL 8B SFT LoRA Fine Tuning 가이드
Updated:LoRA를 활용하여 Qwen3-VL-8B을 건설현장 균열 이미지 데이터셋(2,057개)으로 효율적으로 파인튜닝하고 SageMaker vLLM으로 배포하는 전체 파이프라인을 확인합니다
[CKS] Mutable vs Immutable Infrastructure & Audit Log
Kubernetes 클러스터의 불변 인프라 패턴과 감사 로깅을 통해 런타임 컨테이너 보안을 강화하는 방법을 다룹니다. 읽기 전용 파일 시스템, Pod 보안 정책, Audit 로그를 통해 무단 수정을 방지하고 의심 활동을 감지합니다.
[CKS] Supply Chain Security (3)
Kubernetes 보안을 위해 이미지 레지스트리 접근 제어, ImagePolicyWebhook을 통한 화이트리스트 정책, Trivy를 통한 CVE 취약점 스캔, 리소스 정적 분석 등을 구성하는 방법을 다룹니다.
[CKS] Supply Chain Security (2)
KubeLinter는 Kubernetes Manifest 파일을 자동으로 검사하여 보안 문제, 리소스 부족, 모범 사례 위반 등을 식별합니다. CI/CD 파이프라인에 통합하여 배포 전 구성 문제를 미리 방지할 수 있습니다.
[CKS] Supply Chain Security (1)
Kubernetes 보안을 위한 안전한 소프트웨어 공급망 구축 방법을 소개합니다. SBOM 생성, 취약점 스캔, 컨테이너 이미지 최소화 등을 통해 개발부터 배포까지 보안을 강화할 수 있습니다.
[CKS] Pod to Pod Encryption (Cilium)
Updated:Cilium은 eBPF 기술을 활용하여 쿠버네티스 Pod 간 통신을 WireGuard나 IPSec으로 암호화합니다. 최소 오버헤드로 Zero Trust 보안을 구현하며 네트워크 정책과 모니터링을 제공합니다.
[Security] 악성코드 분석을 위한 정적, 동적 분석 도구 정리
정적·동적 분석 도구를 통한 악성코드 분석 방법을 정리했습니다. PEStudio, Wireshark, Process Monitor 등 실무 도구로 파일 구조, 네트워크 통신, 프로세스 행동을 추적하여 악성 특징을 탐지합니다.
[CKS] 멀티 테넌트의 DNS 구성
Kubernetes 클러스터에서 CoreDNS 구성을 통해 네임스페이스 간 DNS 쿼리를 제한하여 테넌트 격리를 강화하는 방법입니다.
[CKS] API 우선 순위와 공정성 & Pod 순위와 선점, QoS
Kubernetes에서 API 우선순위 및 공정성, Pod 우선순위, QoS를 활용하여 다중 테넌트 환경에서 리소스를 효율적으로 관리하고 중요 애플리케이션의 가용성을 보장하는 방법입니다.
[CKS] Minimize Microservice Vulnerabilities (7) - Implementing Resource Quotas in Kubernetes
Kubernetes에서 mTLS와 Service Mesh(Istio)를 통해 Pod 간 통신을 암호화하고, Namespace, RBAC, 네트워크 정책으로 멀티 테넌트 환경을 안전하게 격리 및 관리하는 방법을 소개합니다.
[CKS] Minimize Microservice Vulnerabilities (6) - Container Sandboxing
Updated:Kubernetes 보안을 위한 컨테이너 격리 기술을 소개합니다. Seccomp, AppArmor, gVisor, Kata Containers 등 샌드박싱 방식과 RuntimeClass를 통한 런타임 구성 방법을 재정리했습니다.
[CKS] Demo Encrypting Secret Data at Rest
Kubernetes etcd에 저장된 Secret 데이터를 AES-CBC 암호화로 보호하는 방법입니다. 암호화 설정을 활성화하여 기밀 정보 노출을 방지할 수 있습니다.
[CKS] Minimize Microservice Vulnerabilities (5) - Manage Kubernetes secrets
Updated:Kubernetes Secrets 관리 방법을 배웁니다. ConfigMap과의 차이, base64 인코딩, Pod 주입 방식, etcd 저장 시 암호화 활성화까지 보안 관리의 전반을 다룹니다.
[CKS] Minimize Microservice Vulnerabilities (4) - OpenPolicy Agent(OPA)
OPA는 중앙 집중식 정책 결정 엔진이며, Kubernetes에서 OPA Gatekeeper로 Admission Controller로 동작하여 레이블 강제, 이미지 정책, 권한 제한 등 클러스터 리소스 생성 요청을 관리합니다.
[CKS] Minimize Microservice Vulnerabilities (3) - Pod Security
Pod 보안 정책 가이드. Pod Security Policies, Pod Security Admission, Pod Security Standards의 개념과 설정 방법을 통해 클러스터 보안을 강화하는 방법을 설명합니다.
[CKS] Minimize Microservice Vulnerabilities (2) - Validating and Mutating Admission Controllers
쿠버네티스 Admission Controller를 통해 API 요청을 검증하거나 수정하는 방식을 알아봅니다. Validating과 Mutating 컨트롤러, 그리고 Webhook을 활용한 사용자 정의 승인 로직 구현 방법을 설명합니다.
[AWS] ECS OIDC Connect와 Managed Instance 테스트
Github OIDC 연동으로 AWS ECS에 자동 배포하는 방법을 소개합니다. Managed Instance로 인스턴스 관리를 자동화하고, 카나리 배포로 안전하게 배포하며, 문제 발생 시 롤백 가능합니다.
[CKS] Minimize Microservice Vulnerabilities (1)
쿠버네티스 Security Context와 Admission Controllers를 통해 Pod 수준에서 사용자 권한을 제어하고, API 요청 검증 및 보안 정책을 강화하는 방법을 살펴봅니다.
[CKS] Kubernetes 시스템을 강화하는 방법(3)
Kubernetes v1.31부터 GA된 AppArmor를 활용해 컨테이너의 파일 접근, 네트워크, capabilities 등 리소스 접근을 제어하고 보안을 강화하는 방법을 정리했습니다.
[CKS] Kubernetes 시스템을 강화하는 방법(2)
쿠버네티스 클러스터의 최소 권한 원칙을 구현하기 위해 시스템 호출을 제한하는 seccomp 기능을 설정하는 방법을 소개합니다. strace와 Tracee를 통한 시스템 호출 분석부터 Docker 기본 프로파일 적용, 커스텀 seccomp 프로필 생성까지 다룹니다.
[CKS] Kubernetes 시스템을 강화하는 방법(1)
쿠버네티스 클러스터 보안을 위한 최소 권한 원칙을 구현하는 방법을 다룹니다. 노드 접근 제한, 사용자 권한 관리, SSH 보안, 불필요한 서비스 제거, 커널 모듈 블랙리스트, 포트 비활성화, 방화벽 설정 등을 통해 Attack Surface를 최소화합니다.
[CKS] Kubernetes 노드 보안 강화
Kubernetes 노드 메타데이터 보호 전략으로 RBAC, 네트워크 정책, 감사 로그를 활용하여 민감한 시스템 정보 노출을 방지하고 워크로드 무결성을 보장합니다.
[CKS] Docker Securing the Daemon
Docker 데몬의 외부 노출 시 TLS 및 mTLS 암호화 통신을 통해 보안을 강화하고, 클라이언트 인증서로 상호 인증을 구현하여 Kubernetes 보안을 확보하는 방법입니다.
[CKS] Docker Service Configuration
Docker 데몬을 Unix 소켓 또는 TCP를 통해 설정하는 방법을 다룹니다. 로컬 통신부터 TLS 암호화를 적용한 원격 접근 보안까지 단계별로 설명합니다.
[AI/ML] 미니 배치와 데이터 로더
PyTorch의 DataLoader를 활용한 미니 배치 학습 방식입니다. 메모리 제약을 극복하기 위해 데이터를 작은 단위로 나누어 학습하며, Dataset과 DataLoader를 통해 효율적으로 배치 단위 훈련을 구현합니다.
[AI/ML] nn.Module과 클래스로 구현하기
Updated:PyTorch의 nn.Linear와 F.mse_loss를 활용한 선형 회귀 및 다중 선형 회귀 구현 방법을 다룹니다. 클래스 기반 모델 구현과 경사하강법 최적화 과정, 학습률 조정의 중요성을 설명합니다.
[AWS] DynamoDB 스키마 설계 가이드
Updated:DynamoDB는 RDBMS와 달리 액세스 패턴을 먼저 정의한 후 키를 설계합니다. PK/SK 설계와 GSI를 활용하여 비정규화된 데이터로 빠른 조회를 구현하는 방법을 소개합니다.
[AI/ML] 다중 선형 회귀
PyTorch를 이용한 다중 선형 회귀 구현 방법을 소개합니다. 행렬 연산으로 여러 입력 변수를 효율적으로 처리하고, 경사하강법으로 최적화하는 과정을 다룹니다.
[AI/ML] 선형 회귀와 자동 미분
Updated:PyTorch로 선형 회귀 모델을 구현하는 기초를 설명합니다. 데이터 준비, 가설 수립, MSE 비용 함수, 경사 하강법 옵티마이저를 통해 가중치를 반복 업데이트하여 최적의 직선을 찾는 방법을 다룹니다.
[Security] 샘플 분석 환경 구성
악성코드를 분석하기 위해선 악성코드의 기능, 동작 방식, 목적을 파악하기 위해 환경 구성이 필요합니다. 해당 문서에서는 악성 코드 분석 환경을 구성하는 가이드 방법을 작성했습니다
[AI] vLLM 특징 및 구성 정리
vLLM을 활용해 효율적인 LLM 서빙 환경을 구축하는 과정과 핵심 기술을 정리했습니다. 메모리 최적화 원리를 살피고 실제 배포 시 발생한 이슈 해결 사례를 통해 안정적인 운영 노하우를 공유합니다.
[Security] 정적분석과 동적분석
Updated:악성코드 분석 방법론인 정적 분석과 동적 분석을 정리했습니다.
[Security] VirusTotal
Updated:VirusTotal의 기능, 세부적인 사용법과 분석 방법론을 정리했습니다.
[Security] 보안관제
보안관제는 24시간 실시간으로 IT 자산을 모니터링하여 사이버 위협을 예방, 탐지, 대응하는 서비스입니다. 침해사고 발생 시 피해를 최소화하고 자산을 보호합니다.
[Security] 악성코드 탐지 지표와 유형
Updated:악성코드 탐지 시스템의 성능은 오탐과 미탐의 균형에 달려있습니다. 각 지표의 의미를 이해하고, 비즈니스 환경에 최적화된 보안 전략을 수립하는 방법을 알아봅니다.
[Security] Firewall, DDoS, IDS 와 IPS 의 특징 및 차이점
Updated:네트워크 보안의 핵심인 방화벽, DDoS 방어, IDS, IPS의 차이를 알아봅니다. 위협을 탐지, 분석하고 실시간으로 차단하여 안정적인 서비스 운영을 보장하는 방법을 설명합니다.
[Network] 계층 별 프로토콜 (2)
Updated:SSH, HTTPS, DNS는 안전한 통신을 위한 프로토콜입니다. 원격 접속과 웹 통신을 암호화하고, 도메인을 IP로 연결하여 인터넷을 안전하고 편리하게 만드는 핵심 기술의 차이를 설명합니다.
[Network] 계층 별 프로토콜(1)
Updated:인터넷 통신의 기반인 FTP, 이메일, ICMP 프로토콜의 원리를 알아봅니다. 파일 전송부터 네트워크 오류 진단까지, 각 기술이 통신 문제를 어떻게 해결하는지 핵심만 설명합니다.
[MLOps] Apache Airflow 기능 및 용어 정리
Apache Airflow의 핵심 구성 요소인 DAG, Operator 등을 활용하여 복잡한 데이터 파이프라인을 자동화하는 방법을 소개합니다. 파이썬 코드로 워크플로우를 손쉽게 관리할 수 있습니다.
[MLOps] Data Pipeline Orchestration - Airflow, Perfect
데이터 오케스트레이션 툴은 복잡한 파이프라인의 종속성, 에러, 모니터링 과제를 해결합니다. 워크플로우를 자동화하여 안정적이고 효율적인 데이터 흐름을 구축할 수 있습니다.
[MLOps] Feature Store
실시간 머신러닝의 데이터 신선도, 속도, 정확성 문제를 해결하는 피쳐 스토어. 훈련과 서빙 환경의 피쳐를 일관되게 관리하여 신뢰도 높은 AI 서비스를 가능하게 합니다.
[MLOps] 대용량 데이터셋을 다루는 여러가지 도구(Spark, Kafka, Flink)
Apache Spark, Kafka, Flink를 이용해 대규모 데이터와 실시간 스트림을 빠르고 안정적으로 처리하여 비즈니스 가치를 만드는 핵심 기술을 알아봅니다.
[Network] 계층별 장비 정리
Updated:네트워크 계층 별 장비를 확인하고, 특징을 정리하였습니다.
[MLOps] 소규모 및 중규모 데이터 처리
Updated:Pandas는 소규모 데이터 변환에 최적화된 라이브러리입니다. 결측치 처리, 중복 제거, 집계 등 기능으로 지저분한 데이터를 정제하고 분석 효율을 높여줍니다.
[MLOps] Data Cleaning & Data Transformation
데이터 품질은 신뢰도 높은 분석의 핵심입니다. 데이터 정제와 표준화를 통해 분석의 정확성을 확보하고, 가치 있는 비즈니스 인사이트를 도출하는 방법을 제시합니다.
[MLOps] DataLake
데이터 레이크는 모든 데이터를 원본 그대로 저장하는 중앙 저장소입니다. 분산된 데이터를 통합하여 고급 분석과 머신러닝 모델 개발의 핵심 기반으로 활용할 수 있습니다.
[MLOps] Data Ingestion - ETL
CRM, 데이터베이스 등 여러 시스템에 흩어진 데이터를 ETL 프로세스로 통합하여, 비즈니스 분석과 의사결정에 활용하는 방법을 알아봅니다.
[MLOps] Data Collection & Preparation
고객 데이터를 분석하는 ML 예측 모델로 개인화된 경험을 제공하세요. 정확한 데이터 준비는 고객 유지와 수익 증대의 핵심입니다.
[MLOps] MLOps Architecture
MLOps는 머신러닝 모델 개발부터 배포, 운영까지 전체 수명 주기를 자동화합니다. 복잡한 과정을 간소화하여 안정적이고 효율적인 AI 서비스 운영을 지원합니다.
[MLOps] MLOps를 위한 올바른 도구 찾기
MLOps 파이프라인 구축에 필요한 핵심 도구 모음입니다. 모델 배포부터 관리까지 전 과정을 자동화하여 운영 효율성과 재현성을 높일 수 있습니다.
[MLOps] CI / CD / CT / CM
MLOps의 핵심인 CI/CD/CT/CM을 통해 머신러닝 모델의 개발, 배포, 학습, 모니터링 전 과정을 자동화하고 안정적으로 운영하는 방법을 소개합니다.
[MLOps] LifeCycle
MLOps는 머신러닝 모델의 전체 생애주기를 체계적으로 관리하는 프레임워크입니다. 이를 통해 복잡한 ML 프로젝트를 효율화하고 지속적인 성능 개선을 지원합니다.
[MLOps] DevOps와 MLOps 비교
MLOps는 DevOps를 확장한 개념으로, 머신러닝 모델의 배포, 모니터링, 재훈련 등 전체 수명 주기를 자동화하여 모델의 지속적인 성능과 가치를 보장합니다.
[MLOps] Introducing MLOps Engineer
MLOps 엔지니어는 ML 파이프라인을 자동화하여 모델의 개발부터 배포, 운영까지의 과정을 효율화합니다. 이를 통해 모델을 더 빠르고 안정적으로 실제 서비스에 적용할 수 있도록 돕습니다.
[AWS] AWS 기반 데이터 파이프라인 서비스 정리
스트림과 배치 처리의 차이를 이해하고, Kinesis, Glue, Athena 등 다양한 AWS 데이터 서비스를 활용하여 효율적인 데이터 파이프라인을 구축하는 방법을 알아봅니다.
[RAG] 한국어 Reranker 모델을 사용하여 RAG 성능 올리기
ReRanking 모델을 사용하여 RAG의 출력 품질을 향상시킬 수 있습니다.
[RAG] 더 나은 RAG를 위해 Retrieval pipeline 개선하기
벡터 검색 품질을 향상시키기 위한 Sentence-window 청킹 방식을 테스트해보고 정리하였습니다.
[Parser] UpstageLayoutAnalysisLoader 를 활용한 문서 파싱
UpstageDocumentParser를 사용하여 PDF를 분석하였습니다. 이를통해 이미지, 그래프를 분석하고 다각도 분석을 수행할 수 있도록 구성합니다.
[Model] 간단한 bge-m3 모델 테스트
임베딩 용어를 이해하기 위해 bg3-m3 모델을 활용하여 테스트를 진행하였습니다.
[Neo4j] 외부 데이터셋을 활용한 GraphDB 간단 테스트
간단하게 GraphDB를 테스트해보고 정리하였습니다.
[GraphDB] GraphRAG(Neo4j)
Updated:최근 여러 RAG 기법들을 활용하고 있습니다. 여러 방식으로 데이터를 파싱해보고 RAG 구조를 구현해보며 각 방식의 장점과 단점을 확인해보았습니다.
[SageMaker] SageMaker Jumpstart를 사용한 LLM Fine Tuning - Supervised fine tuning (SFT)
Sagemaker를 활용하여 Fine-tuning을 수행하였습니다.
[SageMaker] SageMaker Jumpstart를 사용한 LLM Fine Tuning - DAFT(Domain-Agnostic Fine-Tuning)
Sagemaker를 통해 LLM 모델을 파인튜닝하고 테스트합니다.
[SageMaker] SageMaker Jumpstart Evaluation(Ground Truth)을 구성하여 사람이 LLM 평가하기
Sagemaker Ground Truth 기능을 활용해 휴먼 피드백을 실행합니다.
[SageMaker] SageMaker Jumpstart의 Custom dataset을 통해 LLM 평가하기
Updated:Sagemaker 환경에서 Custom dataset을 통해 모델의 성능을 평가합니다.
[SageMaker] SageMaker Jumpstart의 Public Datasets를 통해 LLM 평가하기
Sagemaker를 통해 LLM 모델의 성능을 평가할 수 있습니다.
[AWS] Personalize에서 생성형 AI를 활용한 Content Generator
Updated:AWS Personalize를 통한 GenAI 추천기
[OpenSearch] OpenSearch 기능 Deep dive
OpenSearch의 구성과 검색, 분석 대시보드, 이상 탐지, 시각화까지 모든 내용을 한번 정리하였습니다.
[SageMaker] AWS 내장 알고리즘
Sagemaker 내장 알고리즘을 정리하였습니다.
[AI] General Deep Learning and Machine Learning Modeling
Updated:기본적인 ML/DL 내용을 정리하였습니다.
[AI] Pinecone을 활용한 Vector Database부터 DeepEval을 활용한 평가까지
Pinecone 환경에서 Sparse Vector와 Dense Vector를 활용한 검색부터 DeepEval을 활용한 평가까지 테스트하였습니다.
[CKS] 28. Docker Securing the Daemon
도커 데몬 원격 접속 시 발생할 수 있는 보안 위협을 방지합니다. TLS 인증으로 트래픽을 암호화하고 허가된 사용자만 접속을 제어하여 시스템과 데이터를 안전하게 보호할 수 있습니다.
[CKS] 27. Docker Service Configuration
systemd 환경에서 Docker 데몬의 상태 관리와 원격 제어 방법을 설명합니다. TCP와 TLS를 활용해 외부에서도 안전하게 컨테이너를 관리할 수 있습니다.
[CKS] 26. Ingress
Updated:쿠버네티스 Ingress: 단일 URL로 외부 요청을 받아 경로/호스트 기반 지능적 라우팅을 제공하며, 서비스 관리 복잡성과 비용을 절감합니다.
[CKS] 25. Network Policy
쿠버네티스 네트워크 정책으로 파드 간 통신 규칙을 설정하여 보안을 강화합니다. 불필요한 접근을 차단하고 중요 서비스만 선택적으로 노출하세요.
[CKS] 24. Developing Network Policies
쿠버네티스 파드 통신, 기본 허용 대신 네트워크 정책으로 보안을 강화하세요. 레이블, 네임스페이스, IP 기반으로 정교한 접근 제어가 가능합니다.
[CKS] 23. Kubernetes Version Upgrade Demo
Updated:Kubeadm을 활용한 쿠버네티스 클러스터 업그레이드 가이드입니다. Control Plane부터 Worker Node까지 단계별로 안전하게 최신 버전을 적용하세요.
[CKS] 22. Kubernetes Version Upgrade
쿠버네티스 업그레이드로 클러스터 안정성을 확보하고 서비스 중단을 최소화하세요. 제어 영역과 워커 노드의 단계별 업그레이드 방법을 안내합니다.
[CKS] 21. Kubernetes Software Versions
쿠버네티스 버전 관리(Major.Minor.Patch)로 새 기능과 버그 수정을 관리하며, 알파/베타/안정 릴리즈로 안정적인 운영을 지원합니다.
[CKS] 20. Kubernetes 배포 전 Platform 바이너리 파일 검증하기
쿠버네티스 다운로드 파일, 체크섬 검증으로 악성코드 감염을 막아 안전한 클러스터 운영을 지원합니다.
[CKS] 19. Securing Kubernetes Dashboard
Updated:쿠버네티스 대시보드 인증 방법을 안내합니다. 토큰 및 Kubeconfig으로 RBAC 기반의 안전한 클러스터 접근 및 관리가 가능합니다.
[CKS] 18. Kubernetes Dashboard
쿠버네티스 대시보드로 클러스터를 시각적으로 관리하고 앱 배포, 리소스 모니터링을 편리하게 수행하세요. 안전한 사용을 위해 접근 보안 설정은 필수입니다.
[CKS] 17. Kubectl Proxy Port Forward
kubectl proxy와 port-forward로 K8s API 및 내부 서비스에 안전하게 접근하고, 복잡한 인증 절차 없이 개발 및 원격 작업을 간소화합니다.
[CKS] 16. kubelet Security
Kubelet은 파드 생명주기 관리와 상태 보고를 담당합니다. 따라서 kubelet 보안 설정을 강화하여 안전한 클러스터 운영 방법을 확인합니다.
[CKS] 1-15. Cluster Roles and Role Bindings
쿠버네티스 클러스터 역할과 바인딩은 클러스터 범위 리소스의 접근 제어를 통해 전체 시스템의 안정적 운영과 보안을 지원합니다.
[CKS] 1-14.RBAC
쿠버네티스 RBAC는 역할 기반으로 사용자 권한을 세밀하게 제어하여 클러스터 보안을 강화하고 안정적인 리소스 관리를 지원합니다.
[CKS] 1-13. Authorization
인가(Authorization): 사용자 및 앱의 클러스터 접근 권한을 관리하여 보안을 강화하고 안정적 운영을 지원하는 핵심 기능입니다.
[CKS] 1-12. Bootstrap token for authentication & Service Account token and use it to access API server Lab
Updated:kubeadm 부트스트랩 토큰으로 워커 노드를 안전하게 추가하고 초기 역할을 부여하며, RBAC를 통해 클러스터 전반의 권한을 정교하게 관리합니다.
[CKS] 1-11. API Groups
쿠버네티스 API는 기능별 그룹으로 구성되어 체계적인 리소스 관리와 확장을 지원합니다.
[CKS] 1-10. KubeConfig
KubeConfig는 kubectl 사용 시 번거로운 인증서 및 서버 정보 입력을 자동화하여 클러스터 접근을 효율화합니다.
[CKS] 1-9 Certificates API
쿠버네티스 Certificates API는 번거로운 클러스터 인증서 발급 및 관리 작업을 자동화합니다. CSR 객체를 API로 제출하여 안전하고 효율적인 인증서 관리가 가능합니다.
[CKS] 1-8. TLS Certificates
Updated:안정적인 쿠버네티스 운영을 위해 인증서 관리와 로그 분석은 보안을 강화하고 문제를 신속하게 해결하는 방법을 알아봅니다.
[CKS] 1-7. k8s TLS 인증서 생성
Updated:OpenSSL로 CA, 클라이언트, 서버 인증서를 생성하고 mTLS 통신으로 클러스터 전체를 안전하게 보호하는 방법을 확인합니다.
[CKS] 1-6. TLS in k8s
내부 통신에 인증서를 적용하여 데이터를 보호하고, 안전한 서비스 운영 환경을 구축하는 방법
[CKS] 1-5. TLS Basic
인증서를 통해 서버 신원 확인과 데이터 암호화로 정보 유출 및 사이트 위변조를 방지하여 신뢰를 구축합니다.
[CKS] 1-4. Service Accounts
Updated:K8s 애플리케이션의 API 접근, 서비스 어카운트 활용 방법과 자동화된 토큰 관리로 클러스터 상호작용의 보안과 효율성을 동시에 높입니다.
[CKS] 1-3. Authentication
쿠버네티스 보안의 핵심, 사용자 접근 관리. kube-apiserver 인증/인가 처리 방식 확인을 확인합니다.
[CKS] 1-2. Security Primitives
Updated:안전한 k8s 운영을 위한 핵심 보안. 호스트, API, 통신, 네트워크 정책 강화로 앱을 보호하고 보안 위협을 해결하세요.
[CKS] 1-1. CIS Benchmarks
시스템 보안 강화를 위한 CIS 벤치마크 활용과 자동화된 보안 감사로 서버 및 K8s(kube-bench) 취약점을 점검하고 해결합니다.
k8s attack surface 이해
클라우드 네이티브 4C 보안
[RAG] 성능 측정 방식 테스트
Updated:RAG 성능 평가를 위한 프레임워크 Deepeval을 통해 검색과 생성 성능을 정밀 측정하고, 서비스 품질과 사용자 만족도를 향상시킬 수 있습니다.
BM25 검색 원리
BM25: 검색어와 문서 관련성을 TF, IDF, 문서 길이로 정교하게 계산하여 최적 검색 결과를 찾아주는 핵심 알고리즘.
[EKS] Pod Identity Not working. (IRSA vs Pod Identity)
EKS ALB 컨트롤러 'ServiceAccount' 에러 해결. Helm 옵션으로 생성하고, Pod Identity로 IAM 역할을 관리하는 방법을 설명합니다.
Grafana 알람 설정 정리
Grafana 용어 정리
[EKS] 클러스터 업그레이드 모범 사례
Updated:Amazon EKS 업그레이드 모범사례를 정리하고 최신 Kubernetes로 안전하게 전환하고 클러스터 안정성을 높이는 전략을 확인하였습니다.
[EKS] 액세스 정책 권한 검토
Updated:AWS EKS 사용 중 'nodes' 접근 불가 에러 발생 시, AmazonEKSAdminPolicy와 ClusterAdminPolicy의 권한 범위를 확인하세요.
[EKS] Conflicts found when trying to apply. Will not continue due to resolve conflicts mode. 에러 발생
Updated:EKS 버전 업그레이드 시 kube-proxy 애드온 충돌? self-managed에서 EKS managed 전환 시 Override 옵션으로 ConfigMap 충돌 문제를 해결하세요.
AWS 데이터 엔지니어링을 위한 AI/ML
Updated:AWS 데이터 엔지니어링 서비스(Data Pipeline, Batch, DMS, Step Functions 등)로 데이터 이동, 처리, 마이그레이션, 워크플로우를 효율적으로 구축하세요.
AWS 데이터 분석을 위한 AI/ML
파이썬 라이브러리와 AWS Athena, QuickSight, EMR, Spark로 데이터를 처리, 분석, 시각화하여 ML 모델링에 필요한 인사이트를 얻습니다.
Lambda를 활용한 Tag Automation
AWS SDK로 리소스 태그 관리를 자동화하는 방법과 Lambda 설정 과정을 설명합니다.
Amazon S3로 DB 스냅샷 데이터 내보내기
RDS 스냅샷을 S3에 저장하는 옵션은 분석용으로 활용 가능합니다. 이를 확인하기위해 테스트를 진행하였습니다.
RDS Cross-Region Replication & Failover 테스트
Updated:AWS RDS와 Aurora Global Database를 활용한 리전 간 재해 복구 솔루션 테스트입니다. 읽기 전용 복제본 기반 Failover와 글로벌 데이터베이스 클러스터 구성을 확인합니다.
ArgoCD Rollout Blue/Green, Canary
Blue/Green 및 Canary 배포 전략으로 무중단 배포, 롤백을 통해 서비스 안정성을 높일 수 있습니다.
Kustomize 개념과 helm 비교
Updated:Kustomize는 YAML 리소스의 재사용과 효율적인 환경별 관리를 가능하게 합니다.
조직 단위의 Service quotas 제어
AWS 할당량 요청 템플릿을 사용해 새 계정의 할당량을 자동 요청하여 관리 효율성을 높입니다.
AWS Config이란?
AWS Config는 AWS 리소스의 구성 변경을 추적하고 규정 준수를 지원하여 보안을 강화합니다.
CloudFormation StackSet 서비스란?
Updated:AWS CloudFormation StackSet으로 여러 계정 및 리전에서 스택을 효율적으로 관리하고 배포할 수 있습니다.
CloudFormation Stacksets 테스트
AWS CloudFormation StackSets를 통해 여러 계정에 리소스를 자동으로 배포하여 관리 효율성을 높입니다.
[EKS] Loki 구성 및 EKS 환경에서의 구축
Updated:Loki는 로그 집계 시스템으로, 메타데이터 중심의 인덱싱으로 효율적 로그 관리 및 Grafana 통합을 제공합니다.
[EKS] Dynamic 볼륨 설정
Updated:EKS EBS를 동적으로 확장하는 방법과 IAM 역할 설정 및 StorageClass 생성을 안내합니다.
AWS Control Tower Account Factory
AWS Control Tower Account Factory는 계정 생성 및 관리를 자동화하여 보안 및 운영 효율성을 높입니다.
k8s Gateway API
Kubernetes Gateway API는 L4 및 L7 라우팅을 통해 인프라의 트래픽 관리를 혁신합니다.
Bedrock 태깅하는 방법
AWS Bedrock의 Boto3를 사용하여 태그 지정된 추론 프로필 생성 및 ConverseAPI 호출로 비용 추적 가능.
eBPF(Extended Berkeley Packet Filter)
eBPF는 커널에서 애플리케이션을 효율적으로 관찰하며, 성능 및 보안 문제를 해결합니다.
k6를 활용한 부하테스트
k6는 효율적인 부하 테스트 도구로, CI/CD 통합이 용이하여 현대 소프트웨어 개발에 필수적입니다.
CloudFormation 자동 배포
AWS CloudFormation 스택 세트를 효율적으로 업데이트하고 자동 배포를 통해 관리합니다.
IAM Policy SourceIP Access 제한 관련한 건
Updated:S3에서 `kms:decrypt` 권한이 광고되지 않은 이유를 파악하고 IP 정책 설정 문제를 해결합니다.
ECS Task Role. vs Task Execution Role. vs Service Role
ECS IAM 역할로 컨테이너 권한 부여, AWS 리소스 접근 제어를 지원합니다.
[ECS] Service Connect
Amazon ECS Service Connect는 서비스 간 통신을 간편하게 설정하고 모니터링할 수 있게 합니다.
[EKS] VPC CNI Prefix delegation
EKS VPC CNI의 Prefix Delegation 모드는 IP 관리 최적화와 높은 Pod 밀도를 통해 성능 향상을 제공합니다.
Horizontal Pod AutoScaler (HPA)
HorizontalPodAutoscaler로 Kubernetes 워크로드를 자동 조정하여 자원 할당 최적화 및 비용 절감 실현.
S3 백업을 이용한 S3 복원
AWS S3 복원 방법을 단계별로 안내하며, 백업 및 복구 설정의 중요성을 강조합니다.
Observability란?
Observability는 시스템의 내부 상태를 진단하고 성능 향상을 지원하여 문제를 사전 해결합니다.
gRPC란?
gRPC는 고성능의 오픈 소스 RPC 프레임워크로, 마이크로서비스와 실시간 통신에 적합하다.
ECS FireLens 기반 OpenSearch 연동 테스트
Updated:Amazon ECS FireLens로 애플리케이션 로그를 OpenSearch에 전송하고 분석하여 효율적인 로그 관리 시스템을 구축합니다.
k8s Operator란?
쿠버네티스 오퍼레이터는 애플리케이션의 배포, 관리, 운영을 자동화하여 효율성을 높입니다.
Istio 시작하기
Istio는 마이크로서비스의 복잡성을 해결하며, Sidecar 패턴으로 통신 관리를 최적화합니다. Ambient 모드로 자원 사용을 효율화합니다.
[EKS] backup & restore Velero
Velero는 Kubernetes 클러스터의 안전한 백업과 복구를 지원하며, 다양한 클라우드 환경에서 리소스 마이그레이션을 간편하게 수행합니다.
Istio advanced
Istio를 통해 요청 라우팅, A/B 테스트, 트래픽 관리 규칙을 사용하여 Kubernetes 환경에서 효율적인 서비스 배포가 가능하다.
ECS Task Role. vs Task Execution Role. vs Service Role
ECS에서 IAM 역할을 통해 컨테이너의 AWS 리소스 접근 권한을 관리합니다.
git에서 Issue를 참조하는 커밋 만들기
Git에서 이슈를 참조하는 커밋을 통해 이슈 관리가 효율적으로 이루어질 수 있습니다.
AWS Container 환경 로깅시스템 구축하기
Updated:AWS 환경의 컨테이너 로깅 시스템을 이해하고, 효율적인 로그 수집 및 분석 방법을 제시합니다.
opentelemetry에 대한 이해
OpenTelemetry는 다양한 백엔드와 호환되어 소프트웨어의 성능 분석 및 관측성을 향상시킵니다.
Fargate vs EC2 Instance Deploy
Fargate는 유연한 관리와 확장을 제공하며 EC2보다 비용이 높지만, 운영 효율성이 향상됩니다.
Git Rebase 이해하기
Updated:Git rebase는 커밋을 다른 브랜치 위로 재배치하여 깔끔한 히스토리를 만들어줍니다.
오픈소스에 기여하기
오픈소스 프로젝트에 기여하는 방법과 과정을 정리하여 소프트웨어 개발 실력을 향상시키세요.
Amazon Bedrock Data Automation(BDA)를 통해 멀티모달 콘텐츠로 부터 인사이트 도출하기
Updated:Amazon Bedrock Data Automation은 비정형 콘텐츠에서 인사이트를 자동으로 추출하여 애플리케이션 개발을 간소화합니다.
ControlTower 계정 관리 모범 사례
AWS Control Tower를 통해 중앙집중식으로 계정 관리와 보안을 자동화하여 일관된 정책 적용이 가능합니다.
S3 버킷의 경로 스타일 요청과 가상 호스팅 스타일 요청
Updated:n8n에서 S3 업로드 요청 시 발생하는 오류를 해결한 방법과 가상 호스팅 권장 이유를 설명합니다.
OpenSearch Access Control
Updated:FGAC는 세분화된 접근 제어를 통해 보안을 강화하고 최소 권한 원칙을 지원합니다.
Control Tower를 활용하여 프로그래밍 방식으로 AWS Account 빠르게 생성하기
Updated:Control Tower를 사용하여 여러 계정을 빠르게 생성하는 방법을 확인합니다.
AWS App2Container를 사용하여 손쉽게 ECS로 전환하는 방법
Updated:App2Container는 온프레미스, AWS EC2 또는 다른 클라우드에서 코드 변경 없이 기존 애플리케이션을 컨테이너화하는 도구입니다.
AWS ControlTower란?
Updated:ControlTower에 대해서 설명하고, 각 용어를 알아봅니다.
Model Context Protocol(MCP) 자세하게 알아보기
Updated:MCP는 Anthropic에 의해 오픈소스로 공개된 Model Context Protocol입니다. 여러 플랫폼들과 통합 및 다양한 데이터 소스와 도구에 연결하는 표준화된 방법을 제공하고 있으며 이를 활용하여 사용하는 AI 서비스와 통합하는 방법을 알아봅니다.
n8n을 활용한 Notion-to-blog 파이프라인 생성하기
Updated:notion에 있는 글을 블로그로 업데이트하기 위한 자동화 방법을 고민하던 중 n8n이라는 오픈소스 툴을 발견하게 되었습니다. 해당 툴을 기반으로 블로그 포스트를 Ghost self-hosting 블로그로 업데이트 하기 위한 방법을 정리하였습니다.