当前位置: 首页 > news >正文

app开发定制软件公司百度seo优化方案

app开发定制软件公司,百度seo优化方案,私服网站去哪买空间啊,网站建设创建本文是LLM系列文章,针对《LM-INFINITE: SIMPLE ON-THE-FLY LENGTH GENERALIZATION FOR LARGE LANGUAGE MODELS》的翻译。 LM-INFiNITE:大语言模型的一个简单长度上推广 摘要1 引言2 相关工作3 LLMs中OOD因素的诊断4 LM-INFINITE5 评估6 结论和未来工作 …

本文是LLM系列文章,针对《LM-INFINITE: SIMPLE ON-THE-FLY LENGTH GENERALIZATION FOR LARGE LANGUAGE MODELS》的翻译。

LM-INFiNITE:大语言模型的一个简单长度上推广

  • 摘要
  • 1 引言
  • 2 相关工作
  • 3 LLMs中OOD因素的诊断
  • 4 LM-INFINITE
  • 5 评估
  • 6 结论和未来工作

摘要

近年来,基于Transformer的大型语言模型(LLM)在各个领域的性能都有了显著的进步。随着这些LLM被部署用于越来越复杂的任务,它们通常需要进行更长的推理过程或理解更大的上下文。在这些情况下,LLM在长序列上的长度泛化失败变得更加突出。大多数预训练方案将训练序列截断为固定长度(例如对于LLaMa为2048)。LLM通常很难在较长的上下文后生成流畅的文本,更不用说执行下游任务了,即使是为了解决这个问题而设计的相对位置编码。常见的解决方案,如在较长的语料库上进行微调,通常涉及令人生畏的硬件和时间成本,并且需要仔细的训练过程设计。为了更有效地利用现有LLM的生成能力,我们从理论和实证上研究了导致这一问题的主要分布外(OOD)因素。受此诊断的启发,我们提出了一种简单而有效的飞行长度泛化解决方案LM Infinite,它只涉及 Λ \Lambda Λ形注意力掩码和距离限制,而不需要参数更新或学习。我们发现它适用于使用相对位置编码方法的各种LLM。LM Infinite在 O ( n ) \mathcal{O}(n) O(n)时间和空间上具有计算效率,并在ArXiv和OpenWebText2数据集上对多达32k个token表现出一致的流畅性和生成质量,解码速度提高了2.72倍。在诸如密钥检索之类的下游任务中,它继续处理比普通模型立即失败的训练长度长得多的输入。

1 引言

2 相关工作

3 LLMs中OOD因素的诊断

4 LM-INFINITE

5 评估

6 结论和未来工作

在本文中,我们对具有相对位置编码的基于Transformer的LLM中的长度泛化问题提供了解释和简单的即时解决方案。我们首先对可能导致长度泛化失败的OOD(分布外)因素进行理论和实证分析。基于这些直觉,我们提出了LM Infinite,一种无需任何参数更新的即插即用的治疗方法。我们的经验评估表明,我们可以让多个开源SoTA LLM保持其原始生成质量,类似于明确微调后的性能。LM Infinite还将任务求解能力扩展到比训练样本长得多的序列。未来的工作可以探索如何让LM Infinite更好地感知被掩盖的注意力区域中的信息。我们希望LM Infinite的计算效率和易用性使没有大量计算资源的研究人员也能在长序列上使用LLM。

http://www.khdw.cn/news/21785.html

相关文章:

  • 广州网站设计公司招聘舆情网站入口
  • 网站建设的技能有哪些内容付费推广有几种方式
  • 网站开发技术发展趋势上海网络推广需要多少
  • 小规模网站开发税率网络舆情分析报告模板
  • 上海有哪些做网站怎样搭建自己的网站
  • 成都网站设计服务商seo网站优化教程
  • 网站流量排名查询百度网页版下载
  • 网站后台怎么上传文章关键词挖掘爱网站
  • 展示型网站开发店铺引流的30种方法
  • 截图京东图片做网站长尾词排名优化软件
  • 网站建设需要找工信部吗seo站长工具
  • 光谷网站制作国内最近发生的重大新闻
  • 美食网站开发报告百度关键词挖掘工具爱站网
  • node.js 网站开发 公司 广州宣传推广
  • app广告联盟成都seo培训班
  • b2c网站开发成都网站优化公司
  • 建设e购物网站搜索引擎推广法
  • 邢台做网站服务营销页面设计
  • 用dw做的网站怎么发布到网上网络营销是什么工作
  • php做的网站毕设会问的问题seo查询软件
  • shopify网站建设乔拓云智能建站
  • 做电影网站有哪些有哪些可以推广的平台
  • 安徽基层党组织建设网站友好链接
  • 泰兴建设局网站百度推广和优化哪个好
  • 网站开发 先做前端吗24小时网站建设
  • 奉化区城乡建设局网站广告关键词
  • c2c模式的优点和缺点商丘网站优化公司
  • 广州白云区疫情最新消息2021东莞seo推广
  • 网站做qq客服百度手机助手苹果版
  • 安卓app软件制作工具怎样优化网站