Proxy-FDA: Proxy를 활용한 시각 기반 모델 세부 조정을 위한 특징 분포 맞춤

대량 데이터로 사전 훈련된 시각 기반 모델은 현실 세계 개념의 풍부한 표현을 인코딩하며, 세부 작업에 맞게 조정될 수 있다. 그러나 하나의 작업에 모델을 세밀 조정하는 것은 종종 다른 작업에서 개념을 잊어버리는 문제를 야기한다. 이전 지식을 잊지 않으면서 세부 조정 성능을 향상시키기 위한 최근 방법은 종종 원래 모델 가중치 또는 특징 쌍을 매칭함으로써 지식을 보존한다. 그러나 이러한 점별 매칭은 명시적인 인식 없이 너무 강력할 수 있다. 이러한 이유로 본 논문에서는 Proxy-FDA라는 새로운 프레임워크를 제안한다. 이 프레임워크는 가중치 거리 대신 특징 분포를 정렬하여 각 작업의 개념을 유지하면서 세부 조정을 개선한다. 이를 통해 사전 지식을 효과적으로 보존할 수 있다. Proxy-FDA는 다양한 기존 방법보다 우수한 성능을 보여주며, 다양한 시각 기반 작업에서 유효성을 입증한다.
출처: Apple
요약번역: 미주투데이 서현진 기자