Heritage Damage Detection

국내 문화유산 현장 조사는 종이 기반으로 이루어져, 지정 현황·소유 관계·손상 심각도 변화를 구조적으로 추적할 방법이 없었고, 여러 조사자가 현장에서 실시간으로 정보를 공유할 수도 없었습니다.

시스템은 Web·Android·iOS 전반에서 동작해야 했고, XML 기반 공공 유산 API를 통합해야 했으며, 여러 현장 조사관을 지원하고 감사 가능한 편집 이력을 유지해야 했습니다. 모델은 현장 사진에서 4개의 공식 손상 유형을 식별하고, 조사관이 검토할 수 있는 심각도 등급을 반환해야 했습니다.

객체 탐지 시스템을 직접 설계·구현했습니다. PyTorch 파이프라인(DETR, CLIP)은 현장 사진에서 손상 위치를 바운딩 박스로 특정하고, 손상 유형을 분류하며, 신뢰도 점수를 부여합니다. Flutter 현장 앱과 FastAPI 백엔드에서 결과를 검토할 수 있습니다. 이 작업은 Natural Language Learning Lab과 국가유산청의 협업으로 완료되었으며, 기관 차원의 배포와 공동 출원 특허는 팀 차원의 성과입니다.

• 단일 현장 클라이언트: Flutter로 Web·Android·iOS 공통 코드베이스를 구성했습니다.
• API 정규화: FastAPI 프록시가 공공 유산 API의 XML을 JSON으로 변환하고 다중 조건 검색을 지원했습니다.
• 검토 가능한 추론: 탐지 파이프라인(DETR, CLIP)은 불투명한 단일 라벨 대신 바운딩 박스, 클래스 라벨, 신뢰도 점수, A–D 심각도 등급을 반환합니다.
• 감사 가능성: Firestore 스트림이 실시간으로 기록을 동기화하며 편집 이력을 자동으로 기록합니다.

조사관 워크플로는 현장 조사, 조사자 의견, 종합 진단으로 구성됩니다. 현장에서 촬영한 사진은 갈램·균열·부후·압괴/터짐 4개 클래스 손상 탐지를 위한 탐지 파이프라인을 거치며, 조사 메타데이터와 편집 내용은 클라이언트 간 동기화됩니다.

• 모델 품질: 탐지 모델 기준 4개 손상 유형 전체에서 F1 0.89
• 추론 지연: 이미지당 ~800–1200ms(CPU), ~200–400ms(GPU)
• API 응답: 유산 검색 <150ms, AI 탐지 <2s
• 동기화 지연: Firestore 실시간 업데이트 <500ms
• 모델: DETR(ResNet‑50), 4 클래스, 클래스별 conf 0.15–0.30, NMS IoU 0.1, ~552MB
• 플랫폼: 단일 코드베이스로 Web/Android/iOS, 동시 사용자 10+ 테스트

공동 프로젝트의 팀·기관 성과로, 시스템은 현재 국가유산청에서 실제 운영되고 있습니다. 손상 탐지 방법에 대한 특허는 전북대학교 Natural Language Learning Lab과 국가유산청이 공동으로 출원했으며, 소프트웨어는 저작권 등록을 마쳤습니다.

이번 평가는 공식적으로 문서화된 4개 손상 유형을 대상으로 했습니다. 모델 결과가 현장 평가에 반영되는 만큼, 조사관을 검토 과정에 유지하는 것이 핵심입니다.