DeepSVG: A Hierarchical Generative Network for Vector Graphics Animation

Overview

• Vector graphics(SVG)는 해상도에 영향을 받지 않고 자유롭게 스케일링 가능하지만 representation learning 연구는 부족한 상태
• 기존 딥러닝은 raster image 기반으로 발전했기 때문에 vector graphic 생성 문제는 상대적으로 덜 탐구됨
• SVG는 path와 command로 이루어진 hierarchical 구조를 가지며 일반적인 이미지보다 구조적으로 복잡함
• DeepSVG는 이러한 구조를 반영한 hierarchical generative model을 통해 vector graphic 생성 문제를 해결

Key Takeaways

Problem Setting

• Vector graphics는 pixel 기반이 아닌 **수학적 표현(path, command)**으로 구성됨
• 하나의 SVG는 여러 path로 구성되고 각 path는 command sequence로 표현됨
• 데이터가 hierarchical + set 구조를 동시에 가지기 때문에 기존 CNN이나 autoregressive 방식으로 처리하기 어려움
• path 순서가 정해져 있지 않아 permutation invariance 문제 존재

Main Idea

• SVG를 path → command의 hierarchical 구조로 정의하고 이를 그대로 모델에 반영
• SVG Representation
  • 이미지 = path들의 집합, 각 path는 command sequence로 구성
  • command는 type, coordinate, index embedding을 합쳐 표현
• Hierarchical VAE 구조
  • encoder와 decoder 모두 2-stage 구조로 설계
  • path-level과 command-level을 분리하여 학습
• Encoder
  • 각 path를 독립적으로 encoding하여 permutation invariance 유지
  • 이후 path들을 aggregation하여 latent distribution 생성
• Decoder
  • latent vector로부터 각 path representation 생성
  • 각 path에 대해 command sequence를 feed-forward 방식으로 예측
• 기존 autoregressive 대신 feed-forward 방식으로 전체 command를 동시에 예측하여 효율성과 안정성 확보
• 두 모듈을 결합하여 distribution-specific 정보는 보정하고 abnormal 정보는 효과적으로 제거

Result

• hierarchical 구조와 matching 전략을 통해 성능 향상 확인
• Hungarian matching이 path alignment 문제 해결에 효과적
• latent space에서 interpolation이 가능하며 자연스러운 shape 변화 생성
• latent space algebra를 통해 의미 있는 벡터 연산 가능
• vector graphic 생성뿐 아니라 animation 생성까지 확장 가능