前言

在 Transformer 架构中，Self-Attention 机制本身是置换不变的（Permutation Invariant），即它无法识别词语的先后顺序。为了引入序列的时序信息，位置编码（Positional Encoding）成为了不可或缺的核心模块。

本文将从 Google 传统的 Sin/Cos 绝对位置编码出发，通过泰勒展开推导欧拉公式，自底向上严格证明当前主流大模型（Llama、Qwen、DeepSeek）普遍采用的 RoPE（Rotary Position Embedding，旋转位置编码）。

---

一、 PE 与 RoPE 特性对比

特性	Sin/Cos PE (Google)	RoPE (旋转位置编码)
操作方式	词向量 + 位置向量 (加法)	词向量 $\times$ 旋转矩阵 (乘法)
位置类型	绝对位置（隐式携带相对位置）	相对位置（通过 $Q,K$ 点积天然体现）
代表模型	Transformer (2017), BERT	Llama, GPT-4, Qwen, GLM, DeepSeek
优势	实现简单、固定不需要训练	外推能力极强，长文本扩展性好

---

二、 PE - 正余弦绝对位置编码

$$\begin{array}{rl}P{E}_{(pos,2i)}& =\sin \left(\frac{pos}{10000^{2i/d_{model}}}\right)\\ P{E}_{(pos,2i+1)}& =\cos \left(\frac{pos}{10000^{2i/d_{model}}}\right)\end{array}$$

参数解析

• $pos$：词在序列中的绝对位置（第 0 个词、第 1 个词…）。
• $d_{model}$：词向量的总维度（例如 512、4096）。
• $i$：维度索引，取值范围是 $[0,d_{model}/2)$。
• $2i/2i+1$：偶数下标使用 $\sin$，奇数下标使用 $\cos$。
• $10000$：人为设定的大周期超参数，控制不同维度的波形疏密。

核心特性

1. 唯一性：每个位置对应一个独一无二的位置向量。
2. 相对位置可线性表示：利用三角函数展开式 $\sin (A+B)=\sin A\cos B+\cos A\sin B$，模型可以线性学到 $pos+k$ 相比于 $pos$ 的相对偏移。

---

三、 RoPE 数学前置：欧拉公式推导

RoPE 的核心在于利用复数平面的旋转来编码位置。首先我们通过泰勒级数推导欧拉公式。

1. 泰勒展开式

$$\begin{array}{rl}{e}^x& =1+x+\frac{x^2}{2!}+\frac{x^3}{3!}+\frac{x^4}{4!}+\dots \\ \cos \theta & =1-\frac{{\theta }^2}{2!}+\frac{{\theta }^4}{4!}-\frac{{\theta }^6}{6!}+\dots \\ \sin \theta & =\theta -\frac{{\theta }^3}{3!}+\frac{{\theta }^5}{5!}-\frac{{\theta }^7}{7!}+\dots \end{array}$$

2. 将 $x$ 替换为虚数 $i\theta$

利用虚数单位 $i$ 的周期性（$i^2=-1,i^3=-i,i^4=1,i^5=i$）：
$$\begin{array}{rl}{e}^{i\theta }& =1+(i\theta )+\frac{(i\theta {)}^2}{2!}+\frac{(i\theta {)}^3}{3!}+\frac{(i\theta {)}^4}{4!}+\frac{(i\theta {)}^5}{5!}+\dots \\ & =1+i\theta -\frac{{\theta }^2}{2!}-\frac{i{\theta }^3}{3!}+\frac{{\theta }^4}{4!}+\frac{i{\theta }^5}{5!}-\dots \end{array}$$

3. 分离实部与虚部

$$\begin{array}{rl}{e}^{i\theta }& =\underset{\text{实部: }\cos \theta }{\underbrace{\left(1-\frac{{\theta }^2}{2!}+\frac{{\theta }^4}{4!}-\dots \right)}}+\underset{\text{虚部: }\sin \theta }{\underbrace{i\left(\theta -\frac{{\theta }^3}{3!}+\frac{{\theta }^5}{5!}-\dots \right)}}\\ {\mathbf{e}}^{\mathbf{i}\theta }& =\cos \theta +\mathbf{i}\sin \theta \end{array}$$

---

四、 欧拉公式与二维旋转矩阵

在复平面上，给复数 $z=x+iy$（对应实数二维坐标 $(x,y)$）乘以旋转算子 $e^{i\theta }$：

$$\begin{array}{rl}(x+iy)\cdot (\cos \theta +i\sin \theta )& =x\cos \theta +ix\sin \theta +iy\cos \theta +i^{2}y\sin \theta \\ & =(x\cos \theta -y\sin \theta )+i(x\sin \theta +y\cos \theta )\end{array}$$

写成二维矩阵乘法形式：
$$\left[\begin{array}{c}{x}^{\prime }\\ y^{\prime }\end{array}\right]=\left[\begin{array}{cc}\cos \theta & -\sin \theta \\ \sin \theta & \cos \theta \end{array}\right]\left[\begin{array}{c}x\\ y\end{array}\right]$$
本质：复平面上乘以 $e^{i\theta }$，完全等价于实数二维空间中的旋转矩阵变换。

---

五、 RoPE 相对位置注入的证明

对于位置 $m$ 的 Query 向量 $\mathbf{q}$ 和位置 $n$ 的 Key 向量 $\mathbf{k}$，我们取其二维子空间 $[q_0,q_1]$ 与 $[k_0,k_1]$ 进行分析。

1. 向量复数化

• 位置 $m$ 处的 Query：${\mathbf{q}}_m=q_0+i{q}_1$
• 位置 $n$ 处的 Key：${\mathbf{k}}_n=k_0+i{k}_1$

2. 旋转变换注入绝对位置

分别乘以各自位置对应的旋转算子 $e^{im\theta }$ 与 $e^{in\theta }$：

• ${\tilde{\mathbf{q}}}_m={\mathbf{q}}_m\cdot e^{im\theta }$
• ${\tilde{\mathbf{k}}}_n={\mathbf{k}}_n\cdot e^{in\theta }$

3. 计算 Self-Attention 内积（相似度）

在复数域中，两个向量的内积等于一个复数乘以另一个复数的共轭（Conjugate）。
（注：复数 $z=a+bi$ 的共轭 $z^{\ast }=a-bi$，对应 $e^{i\theta }$ 的共轭为 $e^{-i\theta }$）

$$\begin{array}{rl}\text{Score}& =\text{Re}\left[{\tilde{\mathbf{q}}}_m\cdot {\tilde{\mathbf{k}}}_n^{\ast }\right]\\ & =\text{Re}\left[({\mathbf{q}}_m\cdot e^{im\theta })\cdot ({\mathbf{k}}_n\cdot e^{in\theta }{)}^{\ast }\right]\\ & =\text{Re}\left[{\mathbf{q}}_m\cdot {\mathbf{k}}_n^{\ast }\cdot e^{im\theta }\cdot e^{-in\theta }\right]\\ & =\text{Re}\left[({\mathbf{q}}_{\mathbf{m}}\cdot {\mathbf{k}}_{\mathbf{n}}^{\ast })\cdot {\mathbf{e}}^{\mathbf{i}(\mathbf{m}-\mathbf{n})\theta }\right]\end{array}$$

4. 结论

推导结果表明，最终计算出的 Attention Score 仅与 ${\mathbf{q}}_m,{\mathbf{k}}_n$ 的原始点积 以及 相对距离 $(m-n)$ 有关！

无论绝对位置 $m$ 和 $n$ 多大，只要相对距离 $(m-n)$ 保持一致，注意力得分就完全一致。这赋予了模型极强的相对位置感知能力与上下文长度外推能力。