LLM 메트릭 용어 사전
이 문서는 LLM Observability에서 사용하는 주요 메트릭과 개념을 정리한 용어 사전입니다. 대시보드, 토큰 추이, 비용 분석 등 여러 메뉴에서 공통으로 사용되는 지표의 정의와 단위를 확인할 수 있습니다.
LLM 성능 지표
| Metric | Description |
|---|---|
Latency | LLM API 요청부터 응답 완료까지 전체 소요 시간(ms)으로 사용자 체감 전체 대기 시간 |
TTFT | Time To First Token. 요청 후 첫 번째 응답 토큰 도착까지의 시간(ms)으로 스트리밍 환경에서 응답 시작 체감 시점 |
TPOT | Time Per Output Token. 출력 토큰 1개 생성 평균 시간(ms)으로 높을수록 응답이 끊기는 느낌 |
Output TPS | Tokens Per Second. 초당 출력 토큰 수로 모델 전체 처리량 지표 |
토큰 및 비용
| Metric | Description |
|---|---|
Input Tokens | 프롬프트 전체 입력 토큰 수. Cached Tokens 포함 |
Output Tokens | 모델 생성 응답 토큰 수. 비용에 직접 영향 |
Cached Tokens | 캐시에서 가져온 입력 토큰 수. Input Tokens의 부분집합. 일반 입력 대비 낮은 단가 적용 |
Cache Hit Rate | 전체 입력 토큰 중 캐시 적중 토큰 비율(%). 높을수록 비용 절감 |
I/O Ratio | 전체 토큰 중 출력 토큰 비율(%). 워크로드 특성 파악용(입력 위주 vs 생성 위주) |
백분위수
| Percentile | Description |
|---|---|
p50 | 전체 데이터의 50% 이하 값으로 일반 사용자 체감 성능 |
p75 | 전체 데이터의 75% 이하 값으로 p50 격차로 상위 요청 추가 지연 파악 |
p95 | 전체 데이터의 95% 이하 값으로 SLA 기준으로 주로 사용 |
p99 | 전체 데이터의 99% 이하 값으로 상위 1% 성능, 시스템 안정성 판단 기준 |
품질 평가 지표
| Metric | Description |
|---|---|
Hallucination | 환각 점수. 거짓 정보 또는 컨텍스트 모순 정도로 낮을수록 좋음 (0.0 ~ 1.0) |
Answer Relevance | 답변 관련성 점수, 질문 적절 응답 여부로 높을수록 좋음 (0.0 ~ 1.0) |
Toxicity | 유해성 점수, 혐오·욕설·폭력·성적 콘텐츠 수준으로 낮을수록 좋음 (0.0 ~ 1.0) |
Combined Judge | 종합 위험도 max(hallucination, toxicity, 1 − answer_relevance) - 세 지표 중 최대 위험값. 낮을수록 좋음 ( 0.0 ~ 1.0) |
Prompt Injection | 프롬프트 인젝션 시도 탐지 정도로 낮을수록 좋음 (0.0 ~ 1.0) |
Factuality | 응답 사실 정확성 점수로 높을수록 좋음 (0.0 ~ 1.0) |
PII Leak | 개인식별정보(PII) 노출 정도 |
URL Scan | 응답 내 URL 위험도 |
Eval Success | 평가 성공 여부 (1 = 정상, 0 = judge 호출/파싱 실패) |
태그 기반 필터
LLM Observability의 모든 데이터는 다음 태그 기준으로 필터링하거나 그룹화할 수 있습니다.
| Tag | Description | Example |
|---|---|---|
Agent | LLM 에이전트(애플리케이션 인스턴스) | llm-app-01, llm-app-02 |
Model | 사용된 LLM 모델 | gpt-4o, claude-sonnet-4-20250514 |
Provider | LLM API 프로바이더 | api.openai.com, api.anthropic.com |
Operation | 사용자 지정 호출 단위 라벨 (chain/prompt/agent 이름 등) - 미지정 시 default. prompt_meta로 설정 | checkout_chain, rag_query, default |
Prompt Version | 프롬프트/체인 버전 | v1, v2, v3 |