Imported from SSAFY14-D103/AIG (AI/lab/data/aig-eval-skills-pack/skills/readonly-eval-evidence/SKILL.md). Install upstream with npx skills add SSAFY14-D103/AIG --skill readonly-eval-evidence. Copyright stays with the author.

Purpose

LLM-as-Judge가 바로 평가하지 말고 먼저 증거 묶음을 수집하게 한다. 증거가 없으면 판단하지 않는다.

Inputs

• harness_version_id optional
• agent_trace_id optional
• execution_id optional
• problem_session_id optional
• agent_workspace_id optional

Evidence collection order

1. schema normalization map 적용
2. primary key 단위로 header row 수집
3. child rows 수집
4. 누락 데이터 체크
5. judge-friendly JSON bundle 생성

Judge-friendly evidence bundle schema

{
  "target": {
    "problem_session_id": 1,
    "harness_version_id": 2,
    "agent_trace_id": 3,
    "execution_id": 4,
    "agent_workspace_id": 5
  },
  "harness": {
    "version": {},
    "files": []
  },
  "trace": {
    "trace_header": {},
    "spans": [],
    "tool_calls": [],
    "llm_calls": [],
    "artifacts": [],
    "messages": []
  },
  "execution": {
    "execution_header": {},
    "results": [],
    "test_cases": []
  },
  "change_safety": {
    "workspace": {},
    "worktree_files": [],
    "change_requests": [],
    "change_reviews": [],
    "patches": [],
    "hitl_reviews": []
  },
  "data_quality": {
    "missing_sections": [],
    "warnings": []
  }
}

Data quality rules

• harness file이 0개면 harness judge를 수행하지 말고 insufficent_evidence 처리
• span은 있는데 tool_calls/llm_calls가 0이면 instrumentation gap 경고
• execution은 있는데 execution_results가 0이면 outcome judge confidence를 낮춘다
• change_request는 있는데 review가 0이면 human review coverage 부족으로 본다

Anti-hallucination policy

• 비어 있는 영역을 상상해서 채우지 말 것
• summary_text만 보고 전체 trace를 재구성하지 말 것
• compile_status FAILED인데도 실행 성공을 전제하지 말 것