프롬프트 분석

애플리케이션에서 사용 중인 프롬프트를 식별하고, 프롬프트 단위로 호출량·토큰·지연(TTFT)·비용·에러를 분석하는 메뉴입니다. 어떤 프롬프트가 가장 많이 쓰이는지, 어떤 프롬프트가 느리고 비싸고 불안정한지 파악하여 최적화 대상을 선정하는 데 활용할 수 있습니다.

호출은 오퍼레이션(operation) 과 프롬프트 버전(prompt version) 의 두 단위로 식별됩니다. 오퍼레이션은 기능 단위의 호출 묶음이고, 프롬프트 버전은 해당 오퍼레이션에서 사용된 시스템 프롬프트의 버전입니다. 하나의 오퍼레이션은 여러 프롬프트 버전을 가질 수 있으며, 차트 대부분은 프롬프트 버전 단위로 집계됩니다.

화면은 위에서 아래로 요약 카드 → 호출·추이 → 분포·에러 → 기능 사용 → 테이블 순서로 구성되어, 현황 파악부터 개별 오퍼레이션 점검까지 자연스럽게 따라갈 수 있습니다. 상단 옵션바에서 시간 범위와 필터를 설정한 뒤 위젯 데이터를 조회합니다.

요약 카드

선택한 시간 범위의 핵심 지표를 한눈에 보여주는 카드입니다.

고유 프롬프트 수

선택한 시간 범위 내 1회 이상 호출된 서로 다른 프롬프트의 개수를 표시합니다. 카드 하단에는 해당 프롬프트들의 총 호출 수가 함께 표시됩니다.

• 프롬프트 운영 규모를 한눈에 파악하는 출발점입니다.
• 고유 프롬프트 수가 평소보다 급증하면 의도하지 않은 프롬프트 변형이 배포되었을 가능성을 점검하세요.

총 프롬프트 호출 수

선택한 시간 범위 내 발생한 전체 프롬프트 호출 횟수를 표시합니다. 카드 하단에는 프롬프트당 평균 호출 수가 함께 표시됩니다. 프롬프트당 평균과 함께 보면 소수의 프롬프트에 호출이 집중되어 있는지, 고르게 분산되어 있는지 가늠할 수 있습니다.

• 프롬프트당 평균 = 총 프롬프트 호출 수 / 고유 프롬프트 수

프롬프트 관련 총 비용

선택한 시간 범위 LLM API 호출로 발생한 총 비용($)을 표시합니다. 카드 하단에는 가장 비싼 오퍼레이션의 버전명과 금액, 전체 대비 비중(%)이 함께 표시됩니다.

• 비중이 높은 단일 프롬프트는 비용 최적화의 우선 대상입니다.
• 특정 프롬프트가 전체 비용의 큰 부분을 차지하면, 해당 프롬프트의 토큰 길이나 모델 선택을 우선 검토하세요.

프롬프트별 호출량 TOP 10

Property	Value
차트 유형	세로 막대 차트
집계 단위	프롬프트 버전
액션	표시 지표 선택 (우측 상단 드롭다운)

호출량이 많은 상위 10개 프롬프트 버전을 막대 길이로 정렬해 보여줍니다. 우측 상단 드롭다운에서 표시 지표(호출 수, 총 토큰 , 총 비용)를 전환할 수 있습니다.

• 특정 버전에 호출이 집중되어 있다면, 그 버전이 전체 성능·비용에 미치는 영향이 크므로 우선적으로 관리하세요.
• 신규 배포 버전이 상위권에 빠르게 진입하면 트래픽 전환(롤아웃)이 정상적으로 진행되고 있다는 의미입니다.

프롬프트 사용 추이

Property	Value
차트 유형	누적 영역 차트(stacked area)
집계 단위	프롬프트 버전
액션	범례 항목 토글

시간대별로 각 프롬프트 버전의 호출량 추이를 누적 영역으로 표시합니다. 범례의 색상이 각 프롬프트 버전에 대응하며, 영역의 두께가 해당 버전의 호출량을 나타냅니다.

• 전체 영역의 두께 변화로 시간대별 총 호출량의 흐름을 파악할 수 있습니다.
• 특정 시간대에 특정 버전의 비중이 급변하면 트래픽 패턴 변화나 신규 버전 배포의 영향을 점검하세요.
• 새 버전 배포 직후 해당 영역이 빠르게 두꺼워지면 트래픽 전환이 진행 중이라는 의미입니다.

프롬프트별 TTFT 분포

Property	Value
차트 유형	박스플롯 (x축: 프롬프트 버전)
집계 단위	프롬프트 버전
액션	상세 보기

프롬프트 버전별 TTFT(Time To First Token, 첫 토큰까지의 시간) 분포를 박스플롯으로 비교합니다. 박스 영역은 p25 ~ p75(중간 50% 범위), 중앙 선은 중앙값, 위스커는 최솟값 ~ 최댓값을 나타냅니다.

• 중앙값이 낮고 박스가 좁은 버전이 가장 안정적으로 빠른 초기 응답을 제공합니다.
• 위스커가 길게 늘어진 버전은 간헐적으로 극단적인 초기 지연이 발생하므로, 입력 길이나 모델 부하를 점검하세요.

Finish Reason 분포

Property	Value
차트 유형	도넛 차트
집계 단위	종료 사유 (length / stop / none)
액션	범례 항목 토글

LLM API가 응답에 반환하는 종료 사유(finish reason) 값을 그대로 집계하여 분포로 표시합니다. 표시되는 값과 명칭은 프로바이더·모델에 따라 다를 수 있으며, WhaTap이 별도로 정의하지 않고 API가 내려준 값을 그대로 사용합니다.

• 정상 종료를 나타내는 값(예: stop)의 비중이 대부분이라면 응답이 의도대로 마무리되고 있다는 의미입니다.
• 길이 제한으로 인한 중단을 나타내는 값(예: length)의 비중이 높다면, 최대 토큰(max_tokens) 설정이 너무 작아 응답이 중간에 잘리고 있지 않은지 점검하세요.
• 종료 사유가 비어 있거나 기록되지 않은 호출은 별도 값(예: none)으로 묶여 표시될 수 있습니다.

노트

표시되는 finish reason 값은 사용하는 LLM 프로바이더·모델의 응답 스펙을 따릅니다. 각 값의 정확한 의미는 해당 프로바이더의 API 문서를 참고하세요.

프롬프트별 에러율

Property	Value
차트 유형	세로 막대 차트 (x축: 프롬프트 버전)
집계 단위	프롬프트 버전
액션	상세 보기

프롬프트 버전별 호출 대비 에러 발생 비율(%)을 표시합니다.

• 에러율이 높은 버전은 잘못된 툴 정의, 스키마 불일치, 토큰 초과 등이 원인일 수 있으므로 오퍼레이션 목록에서 해당 버전의 지표를 함께 확인하세요.
• 실패한 요청에도 비용이 발생하므로, 에러율이 높은 버전을 개선하면 비용 절감에도 직접적인 효과가 있습니다.

에러율 = 에러 호출 수 / 전체 호출 수 x 100

오퍼레이션별 기능 사용 비율

Property	Value
차트 유형	카드 그리드 (오퍼레이션별 카드)
집계 단위	오퍼레이션
액션	-

오퍼레이션마다 카드 한 장이 생성되며, 카드 상단에 오퍼레이션 이름과 총 호출 수가 표시됩니다. 카드 안에는 해당 오퍼레이션의 호출에서 각 기능(예: reasoning)이 사용된 비율이 막대와 퍼센트로 표시됩니다.

• 한 호출이 여러 기능을 동시에 사용할 수 있어 비율의 합은 100%가 아닐 수 있으며, 사용하지 않은 기능은 표시되지 않습니다.
• 기능 사용 패턴을 통해 오퍼레이션의 동작 방식을 빠르게 이해하고, 의도와 다른 기능 사용을 발견할 수 있습니다.

오퍼레이션 목록

Property	Value
차트 유형	테이블
집계 단위	오퍼레이션 + 프롬프트 버전
액션	정렬

기간 내 식별된 오퍼레이션을 프롬프트 버전 단위로 나열하고, 핵심 지표를 테이블로 정리합니다. 동일 오퍼레이션이라도 프롬프트 버전이 다르면 별도의 행으로 표시됩니다.

Column	Description
오퍼레이션	기능 단위의 호출 묶음 이름
프롬프트 버전	해당 오퍼레이션에서 사용된 시스템 프롬프트 버전
프롬프트 미리보기	시스템 프롬프트 원문의 앞부분 (없으면 —)
호출 수	기간 내 총 호출 횟수
평균 input	호출당 평균 입력 토큰 수
평균 output	호출당 평균 출력 토큰 수
평균 TTFT	첫 토큰까지의 평균 시간(ms)
평균 비용	호출 1건당 평균 비용(¢)
에러율 (%)	호출 대비 에러 발생 비율

• 기본 정렬은 호출 수 내림차순이며, 컬럼 헤더를 클릭해 정렬 기준을 변경할 수 있습니다.
• 평균 비용이 높은 행은 요청당 단가가 비싼 프롬프트이므로, 프롬프트 길이 축소나 모델 검토를 고려하세요.
• 프롬프트 미리보기로 동일 오퍼레이션의 버전 간 프롬프트 차이를 빠르게 비교할 수 있습니다.

참고

프롬프트 식별 방식

단위	설명
오퍼레이션	기능 단위의 호출 묶음 (예: cs_chat_support)
프롬프트 버전	해당 오퍼레이션에서 사용된 시스템 프롬프트의 버전 (예: v2.1-ko)

• 하나의 오퍼레이션은 여러 프롬프트 버전을 가질 수 있으며, TOP 10·사용 추이·TTFT 분포·에러율 위젯은 프롬프트 버전 단위로 집계됩니다.
• 프롬프트 버전 간 성능 차이를 정량 비교하려면 프롬프트 비교 메뉴를, 응답 품질·안전성 평가가 필요하면 응답 품질 분석 메뉴를 함께 활용하세요.