-
从 RoPE 到 NoPE:长上下文中的位置建模正在重新分工
记录我对大模型位置编码的理解: RoPE 把位置先验直接写进架构;NoPE 把位置交给模型隐式学习。所以有一个趋势是把两者结合分工
-
A Small Corner for Thoughts on AI, Finance, Football, and Life
My first blog post, about what I hope to write here in the future.
记录我对大模型位置编码的理解: RoPE 把位置先验直接写进架构;NoPE 把位置交给模型隐式学习。所以有一个趋势是把两者结合分工
My first blog post, about what I hope to write here in the future.