1. (DDIM Inversion) Latent Data의 Covariance Matrix $C$에 대한 Eigen-decomposition:

$$ \begin{align} \bar{z}&=\frac{1}{T}\sum_{t=1}^{T}z_t \in \mathbb{R}^{D \times 1}\\ C&=\frac{1}{T}\sum_{t=1}^{T}(z_t-\bar{z})(z_t-\bar{z})^{\top}=V\Lambda V^{\top} \in \mathbb{R}^{D \times D} \end{align}

$$

$$ z_t, \bar{z} \in \mathbb{R}^{D \times 1}: \text{Flatten Vector of Latent} \in \mathbb{R}^{C \times H \times W}\\ V=[v_1, \dots, v_d] \in \mathbb{R}^{D \times D}: \text{Eigenvector Matrix}\\ \Lambda = \text{diag}(\lambda_1 \ge \dots \ge \lambda_d) \in \mathbb{R}^{D \times D}: \text{Eigenvalue Matrix} $$

• Covariance Matrix는 항상 Symmetric Matrix
  • Symmetric Matrix를 Eigen-decomposition할 때 얻어지는 Matrix $V$는 Orthonormal 성질을 만족하는 Eigenvector로 구성

$$ \begin{align} v_i^{\top}v_j=0, i \neq j \\ V^{\top}V = I_D \end{align} $$

1. 상위 2개의 Vector를 취해 2D PCA 공간 구성:

$$ \begin{align} W&=[v_1, v_2] \in \mathbb{R}^{D \times 2}\\ \Phi(x)&=\text{Proj}{PCA{2D}}(x)\\&=W^{\top}(x-\bar{z}) \in \mathbb{R}^{2 \times 1} \end{align} $$

1. $z_0$ 와 $z_T^{\text{rand}}$가 2D PCA 공간 상에서 유사한 좌표를 가지는 이유:
   • $z_0$: 원본 이미지에 해당하는 Latent
     • $z_0=\text{VAE}(x_0)$
   • $z_T^{\text{rand}}$: $z_0$에서 Gaussian Noise를 추가한 Initial Latent (Denoising Process의 시작 Latent)
     • $z_T^{\text{rand}}=\sqrt{\bar\alpha_T}z_0+\sqrt{1-\bar\alpha_T}\epsilon$
       • $\epsilon \in [\epsilon_1, \dots, \epsilon_D]^{\top} \in \mathbb{R}^{D \times 1}, \text{where} \space \epsilon_i \sim \mathcal{N}(0, 1)$

$$ \begin{align} \Phi(z_0)&=W^{\top}(z_0-\bar{z})\\ &=W^{\top}z_0-W^{\top}\bar{z} \end{align} $$

$$ \begin{align} \Phi(z_T^{\text{rand}}) &=\Phi(\sqrt{\bar\alpha_T}z_0+\sqrt{1-\bar\alpha_T}\epsilon)\\ &=W^{\top}(\sqrt{\bar\alpha_T}z_0+\sqrt{1-\bar\alpha_T}\epsilon-\bar{z})\\ &=\sqrt{\bar\alpha_T}W^{\top}z_0+\sqrt{1-\bar\alpha_T}W^{\top}\epsilon-W^{\top}\bar{z} \end{align} $$

$$ \begin{align} \Delta&= \Phi(z_0)-\Phi(z_T^{\text{rand}})\\ &=(1-\sqrt{\bar\alpha_T})W^{\top}z_0-\sqrt{1-\bar\alpha_T}W^{\top}\epsilon\\ &\approx(1-\sqrt{\bar\alpha_T})W^{\top}z_0 \end{align} $$

• 2D PCA Graph로 시각화했을 때 $z_T^{\text{rand}}$가 $z_0$의 Trajectory를 따라 비슷한 위치에 찍히는 이유: $z_T^{\text{rand}}$의 Projection은 $z_0$의 Projection과 동일한 Direction을 가짐

1. (14) → (15)로 근사할 수 있는 이유:
   • SDXL Latent Dimension: 4x128x128
   • Chi Distribution: https://en.wikipedia.org/wiki/Chi_distribution
     • If Z1,…,Zk are k independent, normally distributed random variables with mean 0 and standard deviation 1, then the statistic $Y=\sqrt{\sum_{i=1}^{k}Z_i^2}$ is distributed according to the chi distribution.
     • $W^{\top}$와 $\epsilon$이 Independent하므로 $W^{\top}\epsilon$ → Linear Transformation, 식 (20) 적용 가능
     • (Joint PCA(DDIM latent 뿐만 아니라 모든 latent를 다 합쳐서 PCA 적용한 경우)에서는 $W^{\top}$와 $\epsilon$이 Dependent하므로 $W^{\top}\epsilon$ → Non-linear Transformation, 식 (20) 적용 불가)

$$ \begin{align} \epsilon \sim \mathcal{N}(0, I_D) \rightarrow \left\lVert \epsilon \right\lVert &= \sqrt{\epsilon_1^2+ \cdots+\epsilon_D^2} \sim \chi_D \\

\mathbb{E}[\left\lVert \epsilon \right\lVert]&=\sqrt{2}\frac{\Gamma(\frac{D+1}{2})}{\Gamma(\frac{D}{2})}\\

W^{\top}\epsilon \sim \mathcal{N}(0, I_2) \rightarrow \left\lVert W^{\top}\epsilon \right\lVert &= \sqrt{(W^{\top}\epsilon)_1^2 + (W^{\top}\epsilon)_2^2} \sim \chi_2\\

\mathbb{E}[\left\lVert W^{\top}\epsilon \right\lVert]&=\sqrt{2}\frac{\Gamma(\frac{2+1}{2})}{\Gamma(\frac{2}{2})}\\ \end{align} $$

$$ \begin{align} \because x \sim \mathcal{N}(\mu,\Sigma) &\rightarrow Ax \sim \mathcal{N}(A\mu, A\Sigma A^{\top})\\ W^{\top}\epsilon&\sim\mathcal{N}(0, W^{\top}I_D W)\\ &=\mathcal{N}(0, I_2) \end{align} $$

$$ \begin{align} \frac{\mathbb{E}[\left\lVert W^{\top}\epsilon \right\lVert]}{\mathbb{E}[\left\lVert \epsilon \right\lVert]}&=\frac{\Gamma(\frac{3}{2})\Gamma(\frac{D}{2})}{\Gamma(\frac{D+1}{2})\Gamma(1)}=\Gamma(\frac{3}{2})\frac{\Gamma(\frac{4 \times 128 \times 128}{2})}{\Gamma(\frac{4 \times 128 \times 128 + 1}{2})}\\ &\approx \frac{\sqrt{\pi}}{2} \times 0.0055 =0.0049 \space (0.49\%) \end{align} $$

• PCA 수행 시 DDIM Inversion Latent의 구조(분산이 큰 방향)를 찾아서 PC1, PC2 축을 생성

  → $z_0$의 에너지는 대부분 PC1 (+ PC2)에 몰려 있음

  → Projection 이후에도 크기가 급격하게 줄어들지 않고 어느 정도 보존