为什么大模型拼命提升输入量?


柏睿数据
柏睿数据 2024-03-27 09:53:48 62817
分类专栏: 资讯

图片

国内AI独角兽月之暗面3月18日官宣,其AI应用产品Kimi智能助手启动200万字无损上下文输入。长文本的突破能让Kimi具备很多领域初级专家的水平。Kimi用户数量攀升,彻底火爆出圈的同时,大厂迅速开“卷”长文本。阿里通义千问更是直接加码到1000万字,成为全球文档处理容量最大的AI应用。

图片

图片

对比国外应用来看,GPT-4 Turbo支持128k的上下文能力是约10万汉字,Claude3支持320k的上下文能力是约16万汉字。因此,国产自主的大模型产品更适中文环境的使用
那么问题来了:

 

 

Question 1

图片

为什么大模型开“卷”长文本能力?

 

主要在于长文本的以下几个特性:

 

1.上下文理解:大型模型需要足够的上下文来理解问题。有时,问题本身可能不足以提供足够的信息,因此更多的上下文可以帮助模型更好地理解用户的意图。

 

2.歧义消除:某些问题可能存在歧义,例如指代问题(“它是什么?”)。更多的上下文可以帮助模型确定指代的是什么,从而提供更准确的答案。
3.连贯性:大型模型会尝试生成连贯的回答。如果只有少量上下文,模型可能会产生不连贯或不完整的答案。
4.避免错误:大模型的知识不全面,针对专业或最新的知识,提供更多的上下文可以帮助模型避免错误。例如,如果问题涉及特定的时间、地点或人物,模型需要足够的上下文来正确回答。

 

图片

 

长文本适合解决专业问题,而不仅仅是跟大模型闲聊。大模型在回答问题时需要更多的上下文输入,超长文本的理解、记忆、总结能力能增强大模型记忆能力,更加像人,保证了准确性连贯性

Question 2

图片

谁使用如此多的单点长文本输入?

从上面的内容分析,大模型在与用户沟通时,希望得到更多的相关输入信息。而用户在向大模型提问时,一般只会输入问题,不会把问题相关的资料都同时提交给大模型,那么谁使用如此多的单点长文本输入?
答案是大模型业务本身

 

图片

Question 3

图片

 大模型如何获得更多单点长文本输入?

众所周知,大模型训练一次需要成百上千张GPU卡和几周的训练时间,所以大模型的更新不会很频繁,即大模型内部的知识不是实时更新的。因此大模型通常会外接一个更新频繁的向量数据库
在用户输入一个问题时,会从向量数据库中检索出相关的知识,通过长文本输入做为附加材料提供给大模型,这样大模型在附件材料的基础之上,就能更准确的回答用户问题。由此可见,大模型支持的单点长文本输入越大,则回复问题的准确性就越高。

 

图片
从这里能看出,向量数据库就是大模型业务耳朵和眼睛,大模型业务是十分依赖向量数据库的。

Question 4

图片

 为什么选择柏睿向量数据库?

柏睿向量数据库,是柏睿数据在自有的全内存分布式数据库的基础之上增加向量计算引擎,为用户提供的全内存分布式向量数据库。
图片
与大模型业务配合,柏睿向量数据库具有如下优势:

 

1.  分布式:使用数据库的分库分表方法,将向量均衡存储在每个数据库节点,在每个存储向量数据的节点实现本地计算。

 

2.  全内存:向量数据计算全部在内存中,无需像传统磁盘数据库将数据从磁盘加载到内存的数据迁移

 

3.  CPU计算:大模型是重GPU资源业务,现在一块英伟达H800 GPU的售价已达3万美金/块。柏睿向量数据库的向量计算无需使用GPU,全部由CPU完成计算,这将为用户节省很大使用成本。

 

4.  查询速度快:经内部测试,柏睿向量数据库查询170万条文本小说的整体速度比单机向量数据库快20倍左右。

 

5.  双接口:基于自有全内存分布式数据库,为用户标准的SQL和向量查询提供,提供标准数据库的CURD(建立、更新、读取、删除)操作。

 

 

推荐阅读

图片
AI+数据驱动智能制造产业焕新!
图片
国际标准,全球视野 | 柏睿数据入选北京市数字经济标杆企业
图片
两会热议“智能制造”,AI+Data助力梦想照进现实
你的  在看  为智能数据算力点赞

网站声明:如果转载,请联系本站管理员。否则一切后果自行承担。

本文链接:https://www.xckfsq.com/news/show.html?id=52610
赞同 3
评论 0 条
柏睿数据L1
粉丝 0 发表 5 + 关注 私信
上周热门
银河麒麟添加网络打印机时,出现“client-error-not-possible”错误提示  1323
银河麒麟打印带有图像的文档时出错  1236
银河麒麟添加打印机时,出现“server-error-internal-error”  1023
统信桌面专业版【如何查询系统安装时间】  951
统信操作系统各版本介绍  944
统信桌面专业版【全盘安装UOS系统】介绍  903
麒麟系统也能完整体验微信啦!  889
统信【启动盘制作工具】使用介绍  499
统信桌面专业版【一个U盘做多个系统启动盘】的方法  441
信刻全自动档案蓝光光盘检测一体机  386
本周热议
我的信创开放社区兼职赚钱历程 40
今天你签到了吗? 27
信创开放社区邀请他人注册的具体步骤如下 15
如何玩转信创开放社区—从小白进阶到专家 15
方德桌面操作系统 14
我有15积分有什么用? 13
用抖音玩法闯信创开放社区——用平台宣传企业产品服务 13
如何让你先人一步获得悬赏问题信息?(创作者必看) 12
2024中国信创产业发展大会暨中国信息科技创新与应用博览会 9
中央国家机关政府采购中心:应当将CPU、操作系统符合安全可靠测评要求纳入采购需求 8

添加我为好友,拉您入交流群!

请使用微信扫一扫!