Filter or Compensate: Towards Invariant Representation from Distribution Shift for Anomaly Detection

Overview

• Anomaly Detection은 train–test 간 distribution shift 상황에서 성능이 크게 저하됨.
• 기존 방법(GNL 등)은 distribution-invariant representation을 학습하지만, teacher–student 구조에서 shift가 teacher에만 반영되는 문제가 존재.
• 따라서 distribution-specific 정보와 abnormal 정보를 분리해서 다루는 것이 중요.
• FiCo는 compensate + filter 구조를 통해 shift는 보정하고, anomaly는 제거하는 방향으로 학습을 유도.

Key Takeaways

Problem Setting

• Anomaly Detection은 기본적으로
  • In-Distribution에서는 높은 성능
  • Out-of-Distribution에서는 성능 저하 발생
• train ≠ test 분포 상황에서 distribution shift + anomaly detection이 동시에 존재
• 기존 방법은 distribution mismatch와 abnormality를 동시에 처리하기 어려움

Main Idea

• GNL 구조를 기반으로 두 가지 핵심 모듈 제안
• DiSCo (Distribution-Specific Compensation)
  • student feature에서 distribution-specific 정보를 복원
  • teacher–student 간 distribution discrepancy 감소
  • shift mismatch를 보정하는 역할 수행
• DiIFi (Distribution-Invariant Filter)
  • abnormal 정보는 제거하고 invariant normality 유지
  • 마지막 block의 shift 정보를 reference로 활용
  • semantic 정보 손실 없이 filtering 수행
• 두 모듈을 결합하여 distribution-specific 정보는 보정하고 abnormal 정보는 효과적으로 제거

Result

• MVTec, CIFAR-10 등 다양한 benchmark에서 경쟁력 있는 성능 달성
• 기존 RD, GNL 대비 ID 및 OOD 환경 모두에서 성능 향상
• feature 분석 결과 distribution-specific 영역에 덜 집중하고 normal–anomaly 구분이 더 명확해짐
• 추가 모듈 및 test-time augmentation으로 연산 비용은 증가하지만 성능은 유의미하게 개선