프롬프트 비교

두 프롬프트를 나란히 놓고 호출량, 비용, 성능, 응답 품질을 비교하는 메뉴입니다. 프롬프트를 수정한 뒤 변경이 실제로 성능과 비용을 개선했는지 정량적으로 검증하거나, 서로 다른 오퍼레이션, 버전 간의 특성 차이를 분석하는 데 활용할 수 있습니다.

비교 대상은 오퍼레이션 + 프롬프트 버전 + 날짜의 조합으로 지정하며, 기준이 되는 쪽을 A, 비교 대상을 B로 둡니다. 보통 A에 기존 버전, B에 변경 버전을 놓고 차이를 확인합니다.

화면은 위에서 아래로 요약(호출과 비용) → 프롬프트 Diff → 지표 비교 → 추이 비교 → 분포 비교 → 프롬프트 로그 순서로 구성되어, "무엇이 바뀌었는가"(Diff)부터 "그 변경이 어떤 결과를 냈는가"(지표, 추이, 로그)까지 따라갈 수 있습니다.

비교 조건 설정

상단 옵션바에서 비교할 두 프롬프트를 지정합니다.

• 기준 날짜 / 오퍼레이션 A / 프롬프트 버전 A: 기준이 되는 프롬프트(A)와 조회 날짜를 선택합니다.

• 비교 날짜 / 오퍼레이션 B / 프롬프트 버전 B: 비교 대상 프롬프트(B)와 조회 날짜를 선택합니다.

팁

A와 B는 서로 다른 날짜를 지정할 수 있어, 같은 프롬프트의 배포 전후를 다른 기간으로 비교할 수도 있습니다. 모든 위젯에서 A는 파란색, B는 보라색으로 일관되게 표시됩니다.

총 프롬프트 호출 수

Property	Value
차트 유형	막대 차트 (A vs B)
비교 대상	A(기준), B(비교)
액션	마우스 오버 시 값 표시

선택한 두 프롬프트의 총 호출 수를 막대로 나란히 비교합니다. 각 막대에는 날짜 · 프롬프트 버전이 라벨로 표시됩니다.

• 호출 수 차이가 크면 평균 지표나 추이를 해석할 때 표본 규모 차이를 함께 고려하세요.

• 새 버전(B)의 호출 수가 빠르게 늘고 있다면 트래픽 전환(롤아웃)이 진행 중이라는 의미입니다.

프롬프트 관련 총 비용

Property	Value
차트 유형	막대 차트 (A vs B)
비교 대상	A(기준), B(비교)
액션	마우스 오버 시 값 표시

선택한 두 프롬프트의 총 비용을 막대로 나란히 비교합니다.

• 호출 수가 비슷한데 총 비용 차이가 크면 프롬프트 길이나 모델 단가 차이가 원인일 수 있습니다.

• 호출당 비용은 아래 지표 비교의 호출당 비용 카드에서 표본 규모와 무관하게 비교할 수 있습니다.

시스템 프롬프트 Diff

Property	Value
차트 유형	텍스트 Diff (좌: A / 우: B)
액션	Side-by-side / Inline 보기 전환

A와 B의 시스템 프롬프트 원문을 줄 단위로 비교합니다. 추가된 줄과 삭제된 줄이 색상으로 구분되며, 우측 상단 아이콘으로 Side-by-side(좌우 분할)와 Inline(한 흐름) 보기를 전환할 수 있습니다.

• 이 위젯은 "무엇이 바뀌었는가"를, 아래의 지표, 추이 위젯은 "그 변경이 어떤 결과를 냈는가"를 보여 주므로 함께 해석하세요.

• 한쪽 버전의 프롬프트가 비어 있으면 신규 도입 또는 전면 교체된 버전임을 의미합니다.

지표 비교 카드

Property	Value
차트 유형	지표 카드 (A, B 값 병렬 표시)
비교 대상	A(기준), B(비교)
액션	-

핵심 성능, 비용, 품질 지표를 카드별로 A와 B 값을 나란히 표시합니다.

Metric	Description
평균 Latency	요청 시작 ~ 응답 완료까지의 평균 시간
평균 TTFT	첫 토큰까지의 평균 시간 (체감 응답성)
평균 TPOT	출력 토큰당 평균 생성 간격 (스트리밍 속도)
호출당 비용 ($)	요청 1건당 평균 비용
에러율 (%)	호출 대비 에러 발생 비율
캐시 적중률	입력 토큰 중 캐시에서 가져온 토큰 비율

• A와 B의 값을 직접 대조하여, 변경이 각 지표를 개선했는지 악화시켰는지 한눈에 확인할 수 있습니다.

• 캐시 적중률이 오르면서 호출당 비용이 내려갔다면, 프롬프트 공통 prefix 증가로 캐싱 효율이 좋아졌을 가능성이 있습니다.

TTFT 추이 (A vs B)

Property	Value
차트 유형	라인 차트 (A, B 2개 시리즈)
비교 대상	A(기준), B(비교)
액션	마우스 오버 시 값 표시

시간대별 평균 TTFT를 A, B로 겹쳐 표시합니다.

• 특정 시간대(예를 들어 트래픽 피크)에서만 격차가 벌어지는지, 전 구간에서 고르게 차이가 나는지 확인하세요.

• 한쪽에서 간헐적 스파이크가 나타나면 큐 대기나 프로바이더 지연을 의심할 수 있습니다.

호출당 비용 추이 (A vs B)

Property	Value
차트 유형	라인 차트 (A, B 2개 시리즈)
비교 대상	A(기준), B(비교)
액션	마우스 오버 시 값 표시

호출 1건당 비용의 시간대별 추이를 A, B로 비교합니다.

• 캐시 적중 패턴이나 출력 길이 변화가 호출당 비용에 미친 영향을 시간 흐름으로 확인할 수 있습니다.

• 평균값은 같아도 특정 구간에서만 비용이 튀는 패턴을 발견할 수 있습니다.

호출 볼륨 추이 (A vs B)

Property	Value
차트 유형	라인 차트 (A, B 2개 시리즈)
비교 대상	A(기준), B(비교)
액션	마우스 오버 시 값 표시

두 프롬프트의 시간대별 호출량 추이를 비교합니다.

• 새 버전(B)으로의 트래픽 전환 진행 상황을 파악할 수 있습니다.
• 볼륨 차이가 큰 구간은 다른 지표를 해석할 때 표본 규모 차이의 근거가 됩니다.

에러 추이 (A vs B)

Property	Value
차트 유형	라인 차트 (A, B 2개 시리즈)
비교 대상	A(기준), B(비교)
액션	마우스 오버 시 값 표시

시간대별 에러율 추이를 A, B로 비교합니다.

• 변경 직후 특정 시점에 에러가 몰렸는지, 안정적으로 낮게 유지되는지 확인하세요.

• B의 에러율이 A보다 높아지는 구간이 있으면 시스템 프롬프트 Diff에서 원인이 된 변경을 역추적하세요.

Finish Reason 분포

Property	Value
차트 유형	도넛 차트 (A, B 각각)
집계 단위	finish reason 값
액션	범례 항목 토글

A와 B 각각의 응답 종료 사유(finish reason) 분포를 도넛으로 나란히 표시합니다. 표시되는 값과 명칭은 프로바이더, 모델에 따라 다를 수 있으며, WhaTap이 별도로 정의하지 않고 API가 반환한 값을 그대로 사용합니다.

• 길이 제한으로 인한 중단을 나타내는 값(예를 들어 length)의 비중이 B에서 줄었다면, 출력 제어가 개선되어 응답이 잘리는 경우가 감소했다는 의미입니다.

• 정상 종료를 나타내는 값(예를 들어 stop)의 비중 변화로 응답 완결성의 차이를 가늠할 수 있습니다.

노트

표시되는 finish reason 값은 사용하는 LLM 프로바이더, 모델의 응답 스펙을 따릅니다. 각 값의 정확한 의미는 해당 프로바이더의 API 문서를 참고하세요.

기능 사용 비교

Property	Value
차트 유형	막대 차트 (A vs B)
비교 대상	A(기준), B(비교)
액션	-

기능별 사용 비율을 A, B로 비교합니다.

• 프롬프트 변경(예를 들어 예시 추가, 지시 강화)이 의도한 기능 사용 패턴 변화를 유도했는지 검증할 수 있습니다.

• 한 호출이 여러 기능을 동시에 사용할 수 있어 비율의 합은 100%가 아닐 수 있습니다.

모델 분포

Property	Value
차트 유형	100% 누적 가로 막대 (A, B 각 행)
비교 대상	A(기준), B(비교)
액션	범례 항목 토글

각 프롬프트가 호출한 모델의 구성 비율을 A, B 행으로 비교합니다. 범례의 색상이 각 모델에 대응합니다.

• A와 B의 모델 구성이 다르면 지연, 비용 차이가 프롬프트 변경 때문인지 모델 차이 때문인지 구분해 해석해야 합니다.

• 특정 모델 비중이 크게 달라졌다면, 라우팅 규칙이나 모델 지정이 변경되었는지 점검하세요.

프롬프트 로그 (A, B)

Property	Value
차트 유형	테이블 (A, B 각각)
액션	행 펼치기, 프롬프트 로그 이동

A와 B 각각의 최근 호출 로그를 테이블로 표시하여, 지표 차이가 실제 응답에서 어떻게 나타나는지 개별 사례로 확인할 수 있습니다.

Column	Description
시간	호출 발생 시각
프롬프트	입력(Input)과 응답(Output)의 요약
모델	사용된 LLM 모델명
토큰	전체 토큰 수
Latency	요청 시작 ~ 응답 완료 시간
비용	해당 호출의 비용

• 응답 품질 평가가 적용된 호출은 Eval 영역에 평가 항목별 점수(예를 들어 Hallucination, Factuality, Relevance, Toxicity, Prompt Injection, PII Leak, URL Scan, Judge)가 함께 표시됩니다. 평가 항목에 대한 자세한 내용은 응답 품질 분석 문서를 참조하세요.

• 각 테이블 우측 상단의 프롬프트 로그 이동 버튼으로 해당 프롬프트의 원본 로그로 이동할 수 있습니다.

참고

비교 대상 지정 방식

Term	Description
오퍼레이션	기능 단위의 호출 묶음 (예를 들어 cs_chat_support)
프롬프트 버전	해당 오퍼레이션에서 사용된 시스템 프롬프트 버전 (예를 들어 v3.0-structured)
날짜	각 대상을 조회할 기준 날짜 (A, B 서로 다르게 지정 가능)

• 비교 대상 후보를 먼저 찾으려면 프롬프트 분석, 응답 품질, 안전성 관점의 평가가 필요하면 응답 품질 분석 메뉴를 활용하세요.

• 모든 위젯에서 A는 파란색, B는 보라색으로 표시됩니다.