LLM 프롬프트 로그
프롬프트 로그는 LLM API 호출의 상세 로그를 조회하고 분석하는 메뉴입니다. 각 호출의 입력(프롬프트), 출력(응답), 토큰 사용량, 비용, 성능 지표를 개별 건 단위로 확인할 수 있습니다. 토큰 추이나 비용 분석에서 이상 구간을 발견한 후, 원인을 파악하기 위해 드릴다운하는 용도로 활용됩니다.
이 메뉴는 로그 읽기 권한이 필요합니다. 권한이 없으면 메뉴에 접근할 수 없습니다.
화면 구성
프롬프트 로그는 상단 옵션바, 좌측 필터 패널, 우측 메인 영역(트렌드 차트 + 로그 리스트)의 3단 레이아웃으로 구성됩니다.
상단 옵션바
- 시간 범위 선택: 시작일시와 종료일시를 지정합니다. 빠른 선택 옵션(최근 5분, 10분, 30분, 1시간, 3시간, 6시간, 12시간)을 제공합니다. 초 단위 및 밀리초 단위까지 지정할 수 있습니다.
- 병합 기준 선택: 로그를 병합하는 기준을 선택합니다.
- 트랜잭션: 하나의 트랜잭션 안에서 발생한 모든 LLM 호출을 하나의 행으로 병합합니다. 호출 수(Call Count)와 에러 수(Error Count)가 함께 표시됩니다.
- 스텝: 개별 LLM 호출(Step) 단위로 한 행씩 표시합니다. 각 호출의 모델, temperature, TTFT 등 상세 정보를 확인할 수 있습니다.
- 필터: 검색 쿼리를 입력하여 특정 조건의 로그만 조회할 수 있습니다.
좌측 필터 패널
로그 필드 기반의 태그 필터를 제공합니다. 각 필드의 값 목록이 표시되며, 클릭하여 필터를 적용할 수 있습니다.
트렌드 차트
선택한 시간 범위의 로그 건수를 시간대별 바 차트로 표시합니다. 차트를 접거나 펼쳐 공간을 조절할 수 있으며, 차트와 로그 리스트 사이의 구분선을 드래그하여 비율을 조절할 수 있습니다.
로그 리스트
LLM 호출 로그를 테이블 형태로 표시합니다. 병합 기준(트랜잭션/스텝)에 따라 표시되는 컬럼이 달라집니다.
기본 컬럼
| Column | Description |
|---|---|
| 상태 | 에러 여부를 색상으로 표시합니다. 에러가 발생한 행은 빨간색으로 표시됩니다. |
Time | 로그 발생 시각 |
Operation | LLM 호출의 Operation Type |
Prompt | 프롬프트 입력과 응답의 요약. 클릭하면 트랜잭션 프로파일 팝아웃이 열립니다. |
Model | 사용된 LLM 모델명 |
Provider | LLM 프로바이더 (예: api.openai.com) |
Tokens | 전체 토큰 수 (Input + Output) |
Latency | 요청 시작~응답 완료 시간 (ms) |
Cost | 해당 호출의 비용 ($) |
트랜잭션 모드 전용 컬럼
| Column | Description |
|---|---|
Call Count | 트랜잭션 내 LLM 호출 수 |
Error Count | 트랜잭션 내 에러가 발생한 호출 수 |
스텝 모드 전용 컬럼
| Column | Description |
|---|---|
Step | 트랜잭션 내 LLM 호출 순서 인덱스 |
Step ID | 개별 LLM 호출의 고유 식별자 |
temperature | LLM 호출 시 설정된 temperature 파라미터 값 |
TTFT | Time To First Token (ms). 스트리밍 모드에서만 표시됩니다. |
추가 표시 가능 컬럼
컬럼 설정을 통해 추가로 표시할 수 있습니다.
| Column | Description |
|---|---|
Input Tokens | 입력 토큰 수 |
Output Tokens | 출력 토큰 수 |
Cached Tokens | 캐시에서 가져온 토큰 수 |
Reasoning Tokens | 추론(Reasoning) 토큰 수 |
Input Cost | 입력 비용 ($) |
Output Cost | 출력 비용 ($) |
Stream | 스트리밍 모드 여부 (True/False) |
Features | 활성화된 기능 플래그 |
Agent | 에이전트명 |
Error | 에러 메시지 (에러 발생 시에만 표시) |
Error Type | 에러 유형 (api_error, program_error 등) |
TXID | 트랜잭션 ID |
로그 상세 보기
로그 리스트에서 Prompt 컬럼을 클릭하면 트랜잭션 프로파일 팝아웃이 열립니다. 해당 LLM 호출이 포함된 전체 트랜잭션의 상세 정보를 확인할 수 있습니다.
- 트랜잭션 모드: 전체 트랜잭션 뷰로 이동합니다.
- 스텝 모드: 해당 Step이 하이라이트된 상태로 트랜잭션 뷰가 열립니다.
트랜잭션 프로파일에서 LLM HTTPC 스텝을 클릭하면 프롬프트 입력/출력 원본, 토큰/비용 상세, GPU 상관관계까지 확인할 수 있습니다. 자세한 내용은 LLM API 분석 문서를 참조하세요.
병합 기준 상세
트랜잭션 병합
하나의 트랜잭션(@txid 기준) 안에서 발생한 모든 LLM 호출을 하나의 행으로 병합합니다.
- Prompt 표시: 첫 번째 Step의 입력(Input)과 마지막 Step의 출력(Output)이 표시됩니다.
- 토큰/비용: 트랜잭션 내 모든 호출의 합계가 표시됩니다.
- 모델: 트랜잭션의 대표 모델이 표시됩니다.
- Call Count / Error Count: 총 호출 수와 에러 발생 호출 수가 표시됩니다.
스텝 병합
개별 LLM 호출(@step_id 기준) 단위로 한 행씩 표시합니다.
- Prompt 표시: 해당 Step의 입력(Input Message)과 출력(Output Message)이 표시됩니다.
- 토큰/비용: 해당 호출의 개별 값이 표시됩니다.
- 추가 정보: temperature, TTFT, Stream 여부 등 호출 단위의 상세 정보를 확인할 수 있습니다.
다른 메뉴에서 진입
프롬프트 로그는 다른 분석 메뉴에서 드릴다운할 때 자주 사용됩니다.
| 진입 경로 | 설명 |
|---|---|
| 토큰 추이 > 시계열 차트 클릭 | 해당 시점의 시간 범위가 자동 설정되어 프롬프트 로그가 열립니다. |
| 토큰 추이 > 박스플롯 모델 클릭 | 해당 모델의 필터가 자동 적용되어 프롬프트 로그가 열립니다. |
반대로 프롬프트 로그에서 Prompt 컬럼을 클릭하면 트랜잭션 프로파일로 이동하여, 트랜잭션 내 모든 스텝(DB, HTTP, LLM 등)을 시간순으로 확인할 수 있습니다.
참고
로그 타입
프롬프트 로그는 내부적으로 #LlmCallLog 카테고리의 로그를 조회합니다.
| Log Type | Description |
|---|---|
llm_step_status | 개별 LLM 호출의 최종 결과 (모델, 토큰, 비용, 성능 등) |
llm_tx_status | 트랜잭션 단위 집계 결과 (호출 수, 에러 수, 합산 토큰/비용) |
system_message | 시스템 메시지 (프롬프트의 시스템 역할 부분) |
input_message | 입력 메시지 (사용자 프롬프트) |
output_message | 출력 메시지 (모델 응답) |
tool | 도구 호출 (Function calling) |
tool_result | 도구 호출 결과 |