REGULARIZED AUTOENCODERS FOR ISOMETRIC REPRESENTATION LEARNING

아이디어

Data Manifold : 원래 데이터가 존재하는 공간

VAE는 Data를 low dimensional representation 인 latent space로 보내서 해석한다.

이 때, Data manifold 와 latent space의 위상공간의 차이 때문에 그 거리가 distorted 하게 된다. (지구본에서 쟀을 때와 지도에서 쟀을 때 최소 거리가 다른 것과 같다)

본 연구에서는 vae 학습을 regularize해서 scaled isometry를 유지하도록 학습시켰더니 더 좋은 결과를 얻은 내용을 공유한다.

 

 

• Autoencoder에서 data manifold에서의 angle과 distance를 유지하도록 latent space를 학습시키자
• 결과 : Conformal regularized term of degree zero (각도와 상대적 거리를 유지) 가 가장 좋은 성능을 보였다
• 하려는 것 → regularized autoencoders : data manifold와 geometry-preserving set of latent space coordinates를 동시에 학습함

 

• 배경지식
  • points 사이에 distance가 정의된 집합 (set)
  • 여기서 사용하는 distance function 을 metric이라고 부른다.
  n-dimensional manifold
  • topological space with the property that each point has a neighborhood that is homeomorphic to an open subset of n-dimensional Euclidean space
    • topology : topological space를 만드는 구조.
    • topological space : “가까움” 은 정의돼있지만 숫자로 표현할 수는 없는 기하 공간 (point 로 구성된 set. 각 point에는 “topology”에 의해 “neighborhood”와의 closeness가 정해져있다.). topological space는 해당 공간에서의 limits, continuity, connectedness 등을 정의한다.
      • topological space의 예로는 Euclidean space, metric space, manifold 등이 있다.
    • homeomorphism : topological space 간에 일대일 대응 연속 함수
    • homeomorphic : 사이에 homeomorphism을 가지는 두 공간
  Riemannian metric
  • family of smoothly varying inner products on the tangent spaces of a smooth manifold
  Riemannian Manifold
  • 정의 : real, smooth manifold $\mathcal{M}$ equipped with a positive-definite inner product $g_p$(Riemannian metric) on the tangent space $\mathcal{T}_p\mathcal{M}$ at each point $p$
  • Smooth manifold $\mathcal{M}$
  • symmetric + positive definite + nondegenerate + smooth + covariant 2-tensor field $g$ = $\mathcal{M}$의 Riemannian metric
  • 이렇게 Riemannian metric이 정해진 $\mathcal{M}$을 Riemannian manifold라고 부름 ($\mathcal{M},g$)
  • $\mathcal{M}$ 의 point $p$ 에서 $g_p(v,w)=<v,w>_p$ 라고 정의한다면, $<\cdot,\cdot>_p$ 는 inner product의 정의를 만족 → Riemannian metric은 tangent space에 inner product를 정의하는 것과 같다 (대충 내적을 거리로 친다는 뜻인듯)
• metric space

hirearchy of geometry-preserving mappings

• isometry
  • 거리와 각도를 모두 보존
• conformal maps
  • 각도와 넓이를 보존
  • degree 0 conformal maps : scaled isometries
    • 각도 + 거리를 얼추 보존 (up to some scaled factor)

 

 

결론 : 우리가 해봤더니 거리를 strict하게 지키려고 regularized term을 넣으면 reconstruction loss가 너무 커지더라. degree zero conformal mapping이 trade-off 에서 밸런스를 가장 잘 맞추더라.