LLM 비용 분석
비용 분석은 LLM API 사용 비용을 다각도로 분석하는 메뉴입니다. 비용 현황 파악, 모델별 비용 비교, 성능 대비 비용 효율 분석, 비용 최적화 대상 선정에 활용할 수 있습니다.
화면은 위에서 아래로 요약 → 추이·상세 → 캐시·성능 효율 → 테이블 순서로 구성되어, 현황 파악부터 최적화 대상 선정까지 자연스럽게 따라갈 수 있습니다.
상단 옵션바에서 시간 범위, 필터, 검색 조건을 설정한 뒤 위젯 데이터를 조회합니다. 요약 카드에서 비교 기간(직전 동일 기간 또는 전주 동일 기간)을 선택할 수 있으며, 차트 드래그로 구간을 좁힐 수 있습니다.
요약 카드
선택한 시간 범위의 핵심 지표를 한눈에 보여주는 카드입니다.
총 비용
선택한 시간 범위 내 발생한 총 비용($)을 표시합니다. Input 비용과 Output 비용을 합산한 금액입니다.
- 비용 분석의 출발점으로, 전체 비용 규모를 한눈에 파악할 수 있습니다.
- 비용 변동과 함께 보면 이전 기간 대비 비용이 어떻게 변했는지 확인할 수 있습니다.
비용 변동
이전 기간 대비 비용 변동률(%)과 변동 금액($)을 표시합니다.
- 양수(▲ 빨간색): 비용이 증가했습니다. 요청량 증가, 비싼 모델 사용 비중 증가, 프롬프트 크기 변화 등을 점검하세요.
- 음수(▼ 파란색): 비용이 감소했습니다. 최적화 효과나 트래픽 감소를 의미할 수 있습니다.
총 토큰
선택한 시간 범위 내 사용된 총 토큰 수(Input + Output)를 표시합니다.
- 총 비용과 함께 보면 비용 증가가 토큰 사용량 때문인지, 비싼 모델 사용 때문인지 구분할 수 있습니다.
- 토큰은 늘었는데 비용은 비슷하다면 저렴한 모델로의 전환이 잘 이루어지고 있다는 의미입니다.
- 클릭하면 토큰 추이 페이지로 이동합니다.
토큰 변동
이전 기간 대비 토큰 사용량 변동률(%)과 변동 수를 표시합니다.
- 비용 변동과 함께 비교하면 비용 변동의 원인을 파악할 수 있습니다.
- 토큰 변동률 > 비용 변동률: 저렴한 모델 비중이 늘어난 것입니다.
- 토큰 변동률 < 비용 변동률: 비싼 모델 비중이 늘어난 것입니다.
- 클릭하면 비교 기간 범위로 토큰 추이 페이지로 이동합니다.
비용 추이
| Property | Value |
|---|---|
| 차트 유형 | 바 차트(요청 수) + 라인 차트(비용, 요청당 비용) 복합 |
| 필터 | 태그 필터 |
| 액션 | 개별로 보기, 병합 보기, 상세 보기 |
시간대별 요청 수, 비용, 요청당 비용의 추이를 함께 표시합니다. 바 차트는 요청 수, 라인은 비용($)과 요청당 비용($)입니다.
- 요청 수와 비용이 함께 움직이면 사용량에 비례하는 정상적인 비용 증가입니다.
- 요청 수는 변화 없는데 비용만 상승하면 요청당 비용이 비싸진 것이므로, 비싼 모델 비중 증가나 프롬프트 크기 변화를 점검하세요.
- 요청당 비용 라인이 급등하면 모델 전환이나 프로바이더 가격 변경을 의심할 수 있습니다.
토큰 상세
| Property | Value |
|---|---|
| 차트 유형 | 카드 리스트 (모델별 카드) |
| 필터 | Model / Provider / Operation / Agent 탭 전환 |
| 액션 | 상세 보기 |
태그 기준(Model, Provider, Operation, Agent)별로 비용, 비중(%), 평균 Latency, 에러율을 카드 형태로 정리합니다.
각 카드에는 다음 정보가 표시됩니다.
| Property | Description |
|---|---|
| 모델명/에이전트명 | 태그 값 |
| 비용 | 해당 그룹 총 비용($) |
| 비중 | 해당 그룹 비용 / 전체 비용 x 100(%) |
| 평균 Latency | 해당 그룹 Latency 평균 |
| 에러율 | 해당 그룹 에러 건수 / 전체 요청 건수 x 100(%) |
| 캐시 적중률 | 해당 그룹 cached_tokens / input_tokens x 100(%) |
- 비용이 높은 항목이 상단에 정렬되어, 비용 기여도가 큰 모델/에이전트를 바로 확인할 수 있습니다.
- 에러율이 높은 항목은 실패한 요청에도 비용이 발생하고 있으므로, 에러를 줄이면 비용 절감에 직접적인 효과가 있습니다.
캐시 절감 비용 추이
| Property | Value |
|---|---|
| 차트 유형 | 라인 차트($) |
| 필터 | 태그 필터 |
| 액션 | 개별로 보기, 병합 보기, 상세 보기 |
프롬프트 캐싱을 통해 절약된 금액($)의 시간대별 추이를 표시합니다. 캐시된 토큰은 일반 입력 토큰보다 낮은 단가가 적용되며, 이 차이가 절감 비용으로 산출됩니다.
- 절감 비용이 꾸준히 발생하면 캐싱 전략이 효과적으로 동작하고 있다는 의미입니다.
- 절감 비용이 감소하면 캐시 적중률 하락 여부를 점검하세요.
- 총 비용 대비 절감 비용의 비율로 캐싱의 전체 비용 절감 기여도를 파악할 수 있습니다.
성능 대비 비용
| Property | Value |
|---|---|
| 차트 유형 | 버블 차트 (x축: 성능 지표, y축: 요청당 비용, 버블 크기: 요청 수) |
| 필터 | Model / Provider / Operation / Agent 탭 전환 |
| 액션 | 상세 보기, x축 지표 선택 |
모델/에이전트별 성능과 비용(요청당 비용)의 관계를 버블 차트로 표시합니다. 버블 크기는 요청 수를 나타내며, 점선으로 전체 평균 기준선이 표시됩니다.
x축 선택 가능 지표
| 지표 | 설명 |
|---|---|
| Avg Latency (ms) | 평균 응답 완료 시간 |
| Avg TTFT (ms) | 평균 첫 토큰 수신 시간 |
| Avg TPOT (ms) | 평균 토큰 생성 간격 |
| p95 Latency (ms) | 95번째 백분위 응답 시간 |
| p95 TTFT (ms) | 95번째 백분위 첫 토큰 시간 |
| p95 TPOT (ms) | 95번째 백분위 토큰 생성 간격 |
사분면 해석
| 위치 | 의미 | 권장 액션 |
|---|---|---|
| 좌측 하단 (빠르고 저렴) | 가장 비용 효율이 높은 영역 | 이 모델의 사용 비중을 유지하거나 확대 |
| 우측 상단 (느리고 비쌈) | 비용 최적화가 가장 시급한 영역 | 대체 모델 검토 또는 프롬프트 최적화 |
| 좌측 상단 (빠르지만 비쌈) | 성능은 좋지만 비용이 높음 | 해당 성능이 반드시 필요한 워크로드인지 검토 |
| 우측 하단 (느리지만 저렴) | 비용은 낮지만 성능이 부족 | 성능 요구사항이 낮은 워크로드에 적합 |
- 버블이 큰 항목일수록 전체 비용에서 차지하는 비중이 크므로 최적화 시 효과가 큽니다.
비용 상세
| Property | Value |
|---|---|
| 차트 유형 | 테이블 |
| 필터 | Model / Provider / Operation / Agent 탭 전환 |
| 액션 | 상세 보기, CSV 다운로드, 컬럼 설정 |
태그 기준(Model, Provider, Operation, Agent)별로 비용 관련 핵심 지표를 테이블로 정리합니다.
| Column | Description |
|---|---|
Name | 태그 값 (모델명, 에이전트명 등) |
Requests | 요청 건수 |
Input Tokens | 입력 토큰 수 |
Output Tokens | 출력 토큰 수 |
Total Tokens | 전체 토큰 수 |
Input Cost ($) | 입력 비용 |
Output Cost ($) | 출력 비용 |
Total Cost ($) | 전체 비용 |
Share (%) | 비용 점유율 (해당 그룹 비용 / 전체 비용) |
Cost/Req ($) | 요청당 비용 |
Avg Latency | 평균 응답시간 |
Cache Hit (%) | 캐시 적중률 |
Cached Cost ($) | 캐시 토큰 비용 |
Error Rate (%) | 에러율 |
Error Cost ($) | 에러로 인해 발생한 비용 |
Total Cost ($)가 높은 항목을 중심으로 비용 최적화 대상을 선정하세요.Cost/Req ($)가 높은 항목은 요청당 비용이 비싼 모델이므로, 대체 모델 검토나 프롬프트 최적화를 고려하세요.Error Rate (%)가 높은 항목은 실패한 요청에도 비용이 발생하고 있으므로, 에러 원인을 해결하면 비용 절감에 직접적인 효과가 있습니다.Error Cost ($)를 통해 에러로 낭비되는 금액을 정확히 확인할 수 있습니다.- 오른쪽 상단의 다운로드 버튼으로 현재 데이터를 CSV로 내보낼 수 있습니다.
- 컬럼 설정으로 표시할 컬럼을 선택할 수 있습니다.
참고
비교 기간 계산 방식
| 비교 모드 | 계산 |
|---|---|
| 직전 동일 기간 | 현재 조회 기간과 동일한 길이만큼 이전 시점의 데이터와 비교합니다. 예: 오늘 09:00 ~ 12:00 조회 시 06:00 ~ 09:00과 비교 |
| 전주 동일 기간 | 현재 조회 기간에서 정확히 7일 전의 동일 시간대 데이터와 비교합니다. 예: 4/6 09:00 ~ 12:00 조회 시 3/30 09:00 ~ 12:00과 비교 |