MIT研究人员找到新方法提升聊天机器人性能

研究人员发现了一种新的方法,能显著提高像ChatGPT一样的大型语言模型的性能。当人工智能与人之间持续对话时,这些模型常常会出现故障,导致性能急剧下降。研究人员发现,这个问题出在语言模型处理过往“记忆”的方式上。通常,为了避免储存空间不足,一些较早的信息或对话会被模型自动删除。然而,这让模型难以跟上谈话的思路。

来自麻省理工学院(MIT)和其它团队的研究人员发现,只要在存储信息的缓存区始终保留最初的若干条数据,AI在对话过程中就不会崩溃或失去流畅性。这项名为 StreamingLLM 的新技术,即使在处理超过400万字的超长对话时,也能保持模型的计算效率。相比另一种避免崩溃的技术,StreamingLLM要快上22倍多。

这一重大改进能让聊天机器人长时间不间断地工作,不需要反复重启。这将推动新一代AI助手的诞生,在文案撰写、内容编辑、代码撰写等场景发挥更多作用。研究者希望能把 StreamingLLM 与更多AI软件集成,让智能聊天机器人根据最新的对话内容做出判断和回应。

科学家们发现导致崩溃的原因在于模型内部使用的 “注意力机制”。这种机制会给所有词语分配分数,来决定如何关联彼此,进而生成新的文本。但是计算机制要求把遗留的注意力分数集中保存在首个词汇里,导致其起到了 “注意力水槽”的作用。研究者表示,这个槽位至关重要,必须随时留存在对话信息缓存的最前端。

StreamingLLM方法还有一大优势,那就是确保每个词汇的位置信息不变。就算后续词语出现或消失,原先的词语编码也不能变动。这两个机制相结合,能让AI模型始终保持连贯、高效的对话。

目前,StreamingLLM 技术已经被整合进英伟达公司开发的大型语言模型优化库中。

研究论文:Xiao, Guangxuan, et al. “Efficient streaming language models with attention sinks.” arXiv preprint arXiv:2309.17453 (2023). https://doi.org/10.48550/arXiv.2309.17453

本文编译自MIT, 本文观点不代表“沙鸥科报”立场,转载请联系原作者。如有侵权,请联系编辑处理。

相关文章

  • 基于多波段RTM的云雾去除算法

    4月11日,电子科技大学(中国成都)资源与环境学院一年级博士生吕海涛以第一作者在国际顶级期刊《Remote Sensing of Environment》发表题为“An empirical and radiative transfer model based algorithm to remove …

    2016-04-28
  • 科学家成功研发能自行学习的「人工突触」

    人工智慧(AI)的发展,很大程度上都是基于模仿人类大脑的功能。在资讯科学的领域内,这些AI 系统称为人工神经网路(artificial neural network),利用演算法模拟大脑神经运作,能分析数据,学习识别语言和图像。 …

    2017-05-07
  • DianNaoYu:中国提出的国际上首个深度学习指令集

    2016年3月上旬,中国科学院大学岗位教授、中国科学院计算技术研究所研究员陈云霁与陈天石课题组提出的深度学习处理器指令集DianNaoYu,被计算机体系结构领域顶级国际会议ISCA2016(International Symposium on Comp…

    2016-03-12
  • Chat with RTX:在本地运行自己的AI聊天机器人

    Chat with RTX现已开放免费下载,这是一款技术演示应用,用户可以使用自己的内容来个性化聊天机器人。在NVIDIA GeForce RTX 30系列GPU(或更高性能版本,至少8GB显存)的支持下,Chat with RTX可提供极速的体验。 …

    2024-02-15
  • 即使戴着面具最新的人工智能技术也能识别

    供图:John Powell/REX/Shutterstock 放弃戴帽子和围巾吧!别指望他们!他们欺骗不了任何人!最新的面部识别软件可以看穿你狡猾的伪装,即使你戴着面具也能识别你。 剑桥大学的Amarjot Singh和他的同事们训练了机器…

    2017-09-10
  • Google发布新一代 AI 模型Gemma

    Google于2月21日,发布了新一代人工智能 (AI) 模型系列 Gemma,旨在为 AI 领域的研究和开发提供更先进、更易于使用的工具。Gemma 提供了两种参数规模的模型:2B 和 7B。 这两个模型都展现出了各自规模内的顶尖性能…

    2024-02-22