Flow Matching for Generative Modeling, 2022
Flow: φ(t, x) 是一个微分同胚映射(diffeomorphic map), 用于把 x 所在的先验分布（如高斯噪声）映射到时间 t 的分布
Flow Matching 把扩散模型的噪声预测任务统一成了向量场回归任务
拉格朗日视角：关注单个粒子随时间的运动轨迹
欧拉视角：关注固定空间点上的场量（如速度、密度）随时间的变化
Continuous Normalizing Flow (CNF): 将简单的先验概率密度 p_0 （噪声）重塑为复杂的概率密度 p_1, 通过一个 push-forward 公式

$$p_t=[{\varphi }_t{]}_{\ast }{p}_0(3)$$

$$\begin{array}{rl}{p}_t(x)& =[{\varphi }_t{]}_{\ast }{p}_0(x)\\ & =p_0({\varphi }_t^{-1}(x))\det \left[\frac{\partial {\varphi }_t^{-1}}{\partial x}(x)\right].(4)\\ & =p_0(x_0)\det \left[\frac{\partial {\varphi }_t^{-1}}{\partial x}(x)\right]\end{array}$$
其中行列式 $\det \left[\frac{\partial {\varphi }_t^{-1}}{\partial x}(x)\right]$ 表示从 $x_0$ 到 x 的体积缩放比例的倒数，因为体积变大，密度等比例缩小，反之亦然。
$$p_t(x)=\int p_t(x|x_1)q(x_1)d{x}_1(6)$$

$$u_t(x)=\int u_t(x|x_1)\frac{p_t(x|x_1)q(x_1)}{p_t(x)}d{x}_1(8)$$
条件流匹配的损失函数

$$L_{CFM}(\theta )=E_{t,q(x_1),p_t(x|x_1)}\Vert v_t(x)-u_t(x|x_1){\Vert }^2(9)$$
$$\frac{d}{dt}{\psi }_t(x)=u_t({\psi }_t(x)|x_1)(13)$$
用 $x_0$ 对 $p_t(x|x_1)$ 进行重参数化，并代入公式 (13), 得到
$$L_{CFM}(\theta )=E_{t,q(x_1),p(x_0)}\Vert v_t({\psi }_t(x_0))-\frac{d}{dt}{\psi }_t(x_0){\Vert }^2(14)$$

$$u_t(x|x_1)=\frac{{\sigma }_t^{\prime }(x_1)}{{\sigma }_t(x_1)}(x-{\mu }_t(x_1))+{\mu }_t^{\prime }(x_1)(15)$$
Example II: Optimal Transport conditional VFs
欧拉向量场 VF:
$$u_t(x|x_1)=\frac{x_1-(1-{\sigma }_{\min })x}{1-(1-{\sigma }_{\min })t}(21)$$
拉格朗日流 Flow：
$${\psi }_t(x)=(1-(1-{\sigma }_{\min })t)x+t{x}_1(22)$$

$$L_{CFM}(\theta )=E_{(t,q(x_1),p(x_0))}\Vert v_t({\psi }_t(x_0))-\left(x_1-(1-{\sigma }_{\min })x_0\right){\Vert }^2(23)$$

$$\begin{array}{rl}{u}_t({\psi }_t(x_0)|x_1)& =\frac{x_1-(1-{\sigma }_{\min }){\psi }_t(x_0)}{1-(1-{\sigma }_{\min })t}\\ & =\frac{x_1-(1-{\sigma }_{\min })((1-(1-{\sigma }_{\min })t)x_0+t{x}_1)}{1-(1-{\sigma }_{\min })t}\\ & =\frac{x_1(1-(1-{\sigma }_{\min })t)}{1-(1-{\sigma }_{\min })t}-(1-{\sigma }_{\min })x_0\\ & =x_1-(1-{\sigma }_{\min })x_0\\ & =\frac{d}{dt}{\psi }_t(x_0)\end{array}$$