Skip to content

docs(data): Knowledge 저장소 구조와 최종 데이터 기준 정리 - #47

Merged
hywznn merged 1 commit into
mainfrom
agent/knowledge-repository-cleanup
Aug 10, 2026
Merged

docs(data): Knowledge 저장소 구조와 최종 데이터 기준 정리#47
hywznn merged 1 commit into
mainfrom
agent/knowledge-repository-cleanup

Conversation

@hywznn

@hywznn hywznn commented Aug 10, 2026

Copy link
Copy Markdown
Collaborator

연결 Issue

Closes #46

변경 내용

  • 루트와 패키지 README를 실제 저장소 구조에 맞게 간결하게 정리
  • Hugging Face를 모델 배포 기준 위치로 명시하고 Git LFS snapshot의 역할 구분
  • 최종 Intent 데이터 1,340건을 canonical source로 지정
  • Train 1,072건 / Validation 268건의 실제 ID 경로·SHA-256·최종 라벨 분포 정정
  • split JSON Schema와 source hash, 중복·누락, template leakage, 통계 검증 추가
  • 최종 데이터의 명확한 구조 오류 3건 수정
    • ID 1091, 1125: evidence 원문 등장 순서대로 Intent 배열 복원
    • ID 1322: 원문에 없는 비연속 evidence를 exact substring으로 수정

변경 이유

최종 데이터와 모델 산출물이 main에 병합된 뒤에도 README와 manifest가 검수 전 데이터 및 provisional split을 가리켜, 실제 사용 기준과 자동 검증 대상이 달랐습니다. 그 결과 최종 JSONL의 구조 오류 3건이 기존 CI에서 검사되지 않았습니다.

데이터 변경

항목 내용
최종 데이터 1,340건 유지, 구조 오류 3건 수정
현재 source version 1.2.1 / SHA-256 84d1b0de9ec4a009c36ffcf7e06d146affe5535d0f0791c1afd593ef9aa80cfb
Train / Validation 1,072 / 268, ID 변경 없음
라벨 분포 변경 없음
개인정보 패턴 검사 통과

현재 포함된 모델 가중치는 수정 전 version 1.2.0 snapshot(SHA-256 447174a9...)으로 학습되었습니다. 이번 PR에서는 재학습하지 않았으며 manifest와 모델 README에 lineage를 명시했습니다.

검증

  • make check
  • Ruff format/check
  • Knowledge validation
  • 18 tests
  • Train/Validation 교집합 0
  • 전체 1,340 ID 완전 포함
  • normalized template split leakage 0
  • source/output SHA-256 검증
  • 개인정보 패턴 검사
  • git diff --check

영향 및 제한사항

  • 모델 재학습·성능 재평가와 대용량 가중치 이동은 포함하지 않습니다.
  • Validation 268건은 독립 Gold Test가 아니므로 최종 성능 주장에 사용할 수 없습니다.
  • 운영 모델 서버의 장기 소유권은 fowoco/ai로 유지합니다.

리뷰 포인트

  • final JSONL 3건의 구조 수정이 Intent 규칙 v1.1과 일치하는지
  • 기존 split ID를 유지하고 최종 라벨 통계만 다시 계산한 lineage 설명이 충분한지
  • Hugging Face와 Git LFS의 역할 구분이 팀 정책과 맞는지

@hywznn
hywznn marked this pull request as ready for review August 10, 2026 15:26
@hywznn
hywznn merged commit 54bb6cc into main Aug 10, 2026
3 checks passed
@hywznn
hywznn deleted the agent/knowledge-repository-cleanup branch August 10, 2026 15:28
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

docs(data): Knowledge 저장소 구조와 최종 Intent 데이터 기준 정리

1 participant