参考视频

 通俗易懂-大模型的关键技术之一：旋转位置编码rope （2）_哔哩哔哩_bilibili

1. 从内积的角度证明

证明目标：在xm和xn成立的情况下（表达式1和2成立），表达式3成立

首先，表达式1和2中的两部分，一部分用欧拉公式可以变形，一部分是表示成虚数形式的二维向量，化简后可以写成向量形式

然后，将表达式1和2内积，化简得到3

图中有个错误，如下图

2. 从公式的角度证明

RoPE给出的公式是g函数，入参是xm',xn',m-n，化简后得到3式结果

3. 从旋转矩阵的角度证明

旋转矩阵的性质：

R_{\theta_1} * R_{\theta_2} = R_{\theta_1+\theta_2}

R_\theta^T = R_{\theta}^-

在矩阵群（特别是旋转群）中，乘法对应着角度的叠加，而逆矩阵对应着角度的反向（取负），即撤销旋转。

拓展到多维

三维及以上的情况（注意向量维度必须为偶数）

将高维向量拆分成多个二维平面，在每个平面上独立地进行“旋转”来编码位置信息。

Logo
openEuler 社区

openEuler 是由开放原子开源基金会孵化的全场景开源操作系统项目，面向数字基础设施四大核心场景（服务器、云计算、边缘计算、嵌入式），全面支持 ARM、x86、RISC-V、loongArch、PowerPC、SW-64 等多样性计算架构

更多推荐

6. 语音模块

协程是一种轻量级并发模型。它不是由操作系统抢占调度，而是在遇到await时主动让出控制权。空消息要先判断再设置处理中状态，否则会导致后续无法发送；processId必须在每次新消息或停止时自增；VAD 模型文件必须能被浏览器访问；和都要配置；要转 PCM16；ASR 上传要用FormData；后端 WebSocket 任务必须等待后再发送音频；不要拼错；SSE 不能直接传二进制音频，必须 base

avatar openEuler 社区
cover

2025研究前沿、2025全球工程前沿

avatar openEuler 社区

Gitee DevOps：信创战略下的国产研发效能引擎

Gitee DevOps：信创战略下的国产研发效能引擎 Gitee DevOps 是指由开源中国推出的企业级一站式研发效能平台，覆盖代码托管、持续集成与持续交付（CI/CD）、项目管理等软件研发全生命周期，已深度适配麒麟、OpenEuler 等国产操作系统及 OceanBase、达梦、TDSQL 等国产数据库，是国内信创替代工程中部署最广泛的 DevOps 平台之一。3.1 从需求到交付的全链路协

avatar openEuler 社区