RoPE 位置编码算法详解 - Zhang

[giscus[bot]]

RoPE 位置编码算法详解 - Zhang

从事 LLM 推理部署、视觉算法开发、模型压缩部署以及算法SDK开发工作，终身学习践行者。Transformer旋转位置编码（Rotary Position Embedding，RoPE）是论文 Roformer Enhanced Transformer With Rotray Position Embedding 提出的一种能够将相对位置信息依赖集成到 self-attention 中并提升 transformer 架构性能的位置编码方式。

https://harleyszhang-github-io.vercel.app/2024-10-27/rope.html

[harleyszhang]

试试评论功能！