Mahalanobis++: Improving OOD Detection via Feature Normalization

Overview

• OOD detection은 in-distribution과 out-of-distribution 샘플을 구분하는 문제
• Mahalanobis distance는 간단하고 효과적인 post-hoc 방법이지만 모델에 따라 성능 편차가 큼
• 성능 저하의 주요 원인은 feature norm variation과 Gaussian 가정 위반
• Mahalanobis++는 feature를 L2 normalize한 후 distance를 계산하는 간단한 개선 방법 제안

Key Takeaways

Problem Setting

• OOD detection은 pretrained 모델에 추가 학습 없이 적용 가능한 post-hoc 방식이 중요
• Mahalanobis:
  • class-wise mean과 shared covariance를 가정
  • feature가 Gaussian 분포를 따른다고 가정
• 실제 모델:
  • feature norm이 크게 변동
  • Gaussian 가정이 깨짐
• 그 결과 Mahalanobis score가 불안정해지고 OOD detection 성능 저하

Main Idea

• feature norm variation이 Mahalanobis 성능 저하의 핵심 원인
• Feature Norm Issue
  • feature norm이 클래스 간, 샘플 간 크게 변동
  • heavy-tailed distribution이 나타나 Gaussian 가정 위반
  • feature norm과 OOD score가 강하게 상관됨
  • norm이 작은 OOD 샘플은 탐지 실패
• Mahalanobis++
  • feature를 L2 normalize한 후 Mahalanobis distance 계산
  • class mean과 covariance도 normalized feature로 재추정
  • inference 시에도 동일하게 normalization 적용
• normalization을 통해
  • feature distribution을 더 Gaussian-like하게 만들고
  • class variance를 정렬하며
  • norm dependency 제거

Result

• ImageNet, CIFAR 등 다양한 benchmark에서 일관된 성능 향상
• 기존 Mahalanobis 및 다른 baseline 대비 더 낮은 FPR 달성
• 다양한 모델에서 30/44 이상 경우에서 최고 성능 기록
• 간단한 OOD unit test에서도 실패 케이스 크게 감소
• normalization만으로 robustness와 안정성 모두 개선