这家大模型豪言半年内超越ChatGPT内附测评

Estimated read time 1 min read

6月9日,突破开放性问答,如实时问答;多轮对话能力再次升级;数学能离再上台阶。8月15日,突破代码能力;多模态交互能力正式开放给客户。10月24日,在通用大模型领域对标ChatGPT,其中中文能力超越后者,英文能力与后者相当。

 

演示中,刘聪让星火认知大模型写邮件、做方案、写新闻通稿、生成英文宣传文案等文本生成功能,讯飞星火均流畅地完成了任务。

现场演示的讯飞星火的语言理解能力也在线,它理解了特定的句子和场景含义,随着问题的变化,也调整了自己的答案

此外,刘聪还展示了大模型面向泛领域开放式知识问答能力、逻辑推理能力与代码能力。在多模态能力方面,星火大模型能够根据关键词句生成语音、图片、视频等素材,并可生成虚拟人进行视频展示。

不过,据官方介绍,讯飞星火的多模态能力目前还在测试中,最迟8月会提供给VIP客户使用。

打通“大模型 产品”闭环生态讯飞星火认知大模型发布的当天,科大讯飞还同时发布了基于该大模型的教育、办公、汽车和数字员工等多个领域相关产品。

以汽车为例,讯飞火星认知大模型与智慧座舱的结合,可以实现车内跨业务、跨场景人车自由交流。基于大模型的智能座舱将更自由、拟人化、更懂汽车、更开放。

在学习机中,新增talktalk功能,实现中英文对话,存量学习机可更新迭代。办公本和录音笔中,新增语篇规整、要点总结、一键成稿,存量产品也可更新使用。

基于自然语言生成业务流程和RPA,在“大模型 数字员工”应用场景,可以帮助企业员工完成大量重复性工作。

现场以公司招聘事项为例,输入指令后,系统即可自动按照事先设计的RPA脚本,操作计算机中的相应软件,实现业务流程的自动化操作并输出结果,并进行数据分析。

刘庆峰透露,上述领域外,讯飞星火认知大模型还将赋能包括医疗、城市、政法、工业等在内的更多行业,满足更多专业领域的需求,向更广阔的产业领域延伸。

据了解,首批来自36个行业的3000余家企业开发者将接入星火大模型。

测试体验星火大模型“成色”究竟如何?全天候科技亲测了多个场景下的问题,不妨一起来看一看它回答的如何。

我们先让星火大模型介绍了自己和竞品。

很明显,简单介绍没有问题,但当主语更复杂,需要理解时,它的理解能力“不在线”。

我们又让讯飞星火展现了文字创作能力——根据要求写一首诗。

这首诗基本涵盖了端午节的要素:糯米、龙舟、艾草,还拓展了龙舟、艾草等元素的使用场景,也表达了对生活的美好祝愿。但整体而言,与其说是一首诗,它更像是一首缺少押韵、对仗、与美感的顺口溜。

随后,全天候科技针对一些时下正流行的网络“热梗”进行提问,看其是否有紧跟热点的能力。

然而,对于“特种兵”式旅游这个网络热梗,讯飞星火知道一点,但知道的不多。不过,它的“态度”很好,当我们提出错误,它能认识到自己的错误,并且道歉。

在测试过程中,全天候科技发现,讯飞星火的部分语料库并未更新至最新事件,对一些实事仍然给出错误答案。比如,当我们问“北京冬奥会自由式滑雪女子U型场地冠军是谁”时,它给出的答案是:法国选手特兰斯·勒贝克 (TraceLeBerque)。不过,当我们给出正确答案后,它又立马承认自己的错误并道歉。

在多模态生成方面,讯飞星火的表现也不够完美。

此前已经推出的百度文心一言、阿里通义千问等大模型均具备图片生成的能力。当我们输入“科大讯飞要开大模型发布会,请生成一张海报”时, 讯飞星火认知大模型告诉我们自己无法生成图片,但是它还是给我们提供了一些信息和建议。

除了文字,讯飞星火具备在答案中融入emoji表情包能力,当我们让它用emoji表情包介绍大模型发布会时,它给出了以下答案。

最后,讯飞火星究竟如何看待自己的能力?

我们抛出了刘庆峰对其已“超越ChatGPT”的夸赞,并让它证明自己。它没有承认,并已学会了“打太极”。

You May Also Like

More From Author