bj.choi - notes

Recent Posts

• [Strata] A100 80GB 한 장으로 대형 MoE 모델 구동하기

  Updated:2026년 10월 8일

  Strata의 Expert 캐시와 메모리 배치를 살펴보고, A100 80GB 한 장에서 모델과 API 서버를 구동하는 과정을 정리합니다.

• [LLMOps] LLM Gateway가 필요한 이유와 도입 기준

  2026년 10월 6일

  여러 모델의 응답을 비교하고 권한과 사용량을 관리할 때 LLM Gateway가 맡는 역할과 도입 기준을 정리합니다.

• [MLOps] GPU 모니터링 지표와 SM 활동률

  2026년 9월 29일

  GPU 사용률과 SM 활동률의 차이를 살펴보고, 운영 환경에서 수집할 지표의 의미와 선택 기준을 정리합니다.

• [AI] Jev: 문장 대신 판단과 확률을 반환하는 모델

  Updated:2026년 9월 21일

  Jev의 State와 Question 구조, 병렬 판단 방식, 확률과 confidence의 차이 및 활용 한계를 살펴봅니다.

• [LLM] 양자화 기초: 가중치 저장과 W4A16 계산 과정

  2026년 9월 21일

  양자화의 scale, zero-point, group size와 W4A16 계산 과정을 살펴보고 메모리 절약이 추론 속도에 미치는 영향을 정리합니다.

• [Malware] 악성코드 기본 동적 분석: Sandbox에서 프로세스·파일·Registry·네트워크 확인하기

  2026년 9월 20일

  격리된 환경에서 프로세스, 파일, Registry, 네트워크 변화를 관찰하는 기본 동적 분석과 Sandbox 보고서 확인 방법을 정리합니다.