[랩세미나]XAI

ICLR workshop paper

Concept discovery and Dataset exploration with Singular Value Decomposition 

 

Motivation

- 대규모 데이터셋에 모델 pre-train하는 것이 표준처럼 사용되는데 학습 데이터 내에서의 label 오류, 노이즈 등에 주의를 기울이지 않은 채로 사용하는 경우가 많다.

- 따라서 딥러닝 모델의 신뢰도를 낮추는 요인 중 하나로 뽑힌다. 

Goal

- 모델 신뢰도 상승(학습한 패턴(concept vector) 분석, 학습 데이터 세트 탐색, 오류 데이터를 미리 찾기)
- intermediate layer(feature extract 이후 layer)에서 concept을 자동 추출

Contribution
- Post-hoc unsupervised method(사후 분석)
- latent space에 singluar value decomposition(한 개의 클래스에 대해 binary)
- Concept vector를 사용하여 outlier로 간주될 요소를 포함하는 훈련 샘플 식별 

Background
- 기존 concpet activation은 fix 후 분석
1. automatic concept
1) image segment -> sector(super pixel)로 나눔
2) fixed classifier 통과
3) cluster별로 다시 컨셉 추출
4) 문제점: 구별 불가능한 픽셀

2. factorization
1) 특정 class의 basis vector 추출
2) non-negative matrix

강점
- 구별 가능한 픽셀로 분류할 수 있다.
- latent space에 svd를 적용하여 automatic한 특성을 지님
- 사람의 평가로 정확도 향상

- 이해하기 쉬운 concept 추출

- outlier 탐색 방법 제공

방법론
- latent space의 방향( 반드시 latent space 내에 존재한다는 과정)
- concept vector는 분리성을 위해 직교한다.
-> 모델 예측에 가장 큰 영향을 미치는 정규 직교 벡터 세트를 식별 ( 관련성이 없는 벡터들은 반드시 직교하도록, 직교하지 않는 벡터들은 염두에 두지 않음)

step 1:  SVD(feature extract)
- 목표는 n개의 정규 직교 벡터를 추출해내는 것
- GAP(global Average Pooling)을 통해 spatial 정보를 aggregate
-> flatten은 heatmap이 만들어지지 않아서 GAP을 사용
- \(\sigma\): 왼쪽 상단부터 큰값이 정렬된 대각행렬

 

step 2: Gradient-informed ranking of the SVs

- singluar vector와 output function의 관계를 평가함(projection)

- n개의 정규직교벡터의 연관성이 가장 중요함.
- 벡터의 방향대로 움직였을 때 영향력을 확인함

- Gradient 기준에서의 impact와 Activation 기준의 impact를 모두 사용하여 영향력을 평가한다. 
(1) activation : the projection coefficients of xi on the singluar vectors
(2) gradient : compute the directional derivatives by projection gradient onto SVs (singular vector 특정 방향에 따른 함수 변화율)
- multiclass는 클래스 k개에 대해 별도의 gk를 구해야함.

 

step 3: candidate direction for discovery

- 정규 직교 벡터를 찾는 것이 목표기 때문에 M개의 direction 선정을 위한 candidate vector를 선정한다.

- 이 후보 벡터들이 인간이 이해할 수 있는 패턴이나 특징을 가리킬 것이라는 보장이 없기 때문에 인간의 인터페이스를 통해 확인이 필요하다. 

- 일부 입력 이미지를 singular vectors에 projection하고 projection 값이 증가하는 입력 샘플을 검색한다.

 

Outlier detect

0. concept vector 제작

1. input sample의 latent representation 추출

2. concept vector에 representation을 projection

3. statistical dispersion(통계적 분산)을 기반으로 변칙적인 sample 식별

- projection value의 사분위수를 벗어난 sample을 outlier로 지정

 

 

Singular vector -> heatmap으로 추출하는 concept mask 생성 가능

pattern은 인간이 식별하여 label함

 

잘못된 형태

flag가 잘못 설정된 image들

 

하나 이상의 label이 있는 데이터를 검출해낼 때 오류가 발생함.

왼쪽 이미지는 mug 뒤에 goblet 잔이 있고 오른쪽은 은색 부분이 반사되어 마치 can opener 처럼 보임

 

 

 

 

 

생성형 이미지는 오히려 너무 미지의 분야라서 궁금해서 관심이 가기도 한데 XAI처럼 이를 밝혀내려는 시도를 하는 연구를 하는 게 미지의 분야를 밝혀내는 거라서 또 관심이 간다.