长上下文扩展

使用RoPE、YaRN、ALiBi和位置插值技术扩展Transformer模型的上下文窗口，适用于处理长文档（32k-128k+词元）、突破预训练模型原始上下文限制或实现高效位置编码。涵盖旋转嵌入、注意力偏置、插值方法和LLM外推策略。