文心一言演示的这些问题,看看ChatGPT怎么答!我们还加了几道超

2023-03-17 08:50:22

  3月16日,在OpenAI推出大型多模态模型GPT-4的第二天,百度终于正式发布类ChatGPT产品“文心一言”,百度创始人、董事长兼首席执行官李彦宏在发布会上介绍,文心一言有五大能力——文学创作、商业文案创作、数理逻辑推算、中文理解、多模态生成。

  在16日的发布会上,李彦宏通过提前录制好的demo,文心一言围绕上述五大能力,回复了19个问题。

  “文心一言对标ChatGPT、甚至是对标GPT-4,门槛是很高的,全球大厂还没有一个做出来的,百度是第一个,我自己测试感觉还是有很多不完美的地方。”李彦宏说道。

  

  百度发布会上演示文学创作方面的问题主要围绕刘慈欣的科幻小说《三体》系列展开。在Demo演示中,文心一言介绍了该作品的

  对于“《三体》的

  对于电视剧《三体》演员的介绍,只有必应提到了《三体》有国内和国外两版电视剧,并分别列出了两个版本的演员名单;文心一言只介绍了国内电视剧版本的情况;而由于ChatGPT的数据库只更新至2021年,它的回复最为“落伍”,给出的答案为电视剧《三体》的演员阵容尚未官方公布。

  在进一步追问主演于和伟和张鲁一谁更高时,文心一言、必应和ChatGPT分别给出了不同的答案,其中只有ChatGPT提到,“由于身高的测量方法和标准不同,以及不同的数据

  被要求从哲学的角度续写《三体》时,三款生成式AI都提到了“生命”“宇宙”等关键词。不同之处是,文心一言和ChatGPT都提到了“科技”“道德”“伦理”等信息;文心一言还提出了“价值和信仰”,必应则额外提到了“文明”。

  

  文心一言给出的得主实际上是2018年的诺贝尔文学奖得主,随后指出错误后,文心一言依然重复错误的回答。

  在商业文案创作方面,现场Demo中展示出3个要求,分别是为“一个用大模型服务中小企业数字化升级的科技服务公司”起名、编写slogan以及为公司成立写一篇新闻稿。

  具体来看,为公司起名称方面,三款机器人均提供了4-5个名称,并给出了相应的解释。值得注意的是,它们所起的名称中,大部分都包含“智”“数”“科技”等字眼。

  选取其中一个名称为公司名,要求对方以“共赢”为概念,为公司起一个slogan,只有必应提供了4个答案;文心一言和ChatGPT只给出了一个回复,不过它们对其进行了详细的解释。

  从内容来看,三款机器人的设计思路相似,均将公司名称和“共赢”放进标语,“未来”是最常被用到的词汇。

  被要求生成600字的新闻稿时,只有必应的新闻稿中包含了新闻的五要素,并在导语中明确写出了时间和地点,此外必应还在文末附上了公司的电话、邮箱和网址;文心一言新闻稿并没有提供标题。

  

  当面对含有错误的题目时,文心一言直接表示“这个题目算出来不太对,是不是提出错了”;必应展示了每一个计算步骤,并基于结果得出结论“这个答案显然不符合常理……这个问题实际上是无解的。也就是说,在给定的条件下,不存在一种可能的组合方式,使得笼子里有9个头和40只脚”;而ChatGPT则没有看出题目中的错误,并基于题目信息得出了自己的答案。

  纠正题目中的错误后,三款机器人得出了相同的答案,其中必应的计算过程最为详细,文心一言与ChatGPT均省略了中间的步骤。

  

  结果,ChatGPT和文心一言均答错,文心一言把50-x- 写成了50-x-x-2。只有必应给出了正确答案,但必应的答案是直接“知乎”。

  与必应和ChatGPT不同,文心一言扎根于中国市场。百度曾在多个场合强调,文心一言具备中文领域最先进的自然语言处理能力,在中文语言和中国文化上有更好的表现。发布会上也披露,文心一言大模型的训练数据包括万亿级的网页数据、数十亿的数据和数据、百亿级的语音日均调用数据,以及5500亿事实的知识图谱等。

  被要求解释“洛阳纸贵”时,三款机器人均能准确地解释这一成语的含义,其中文心一言和必应还特别提到了该成语的典故

  进一步要求用“洛阳纸贵”四个字写一首藏头诗时,三款机器人均给出了符合要求的回答,不过以古诗的标准来评判,这三首诗似乎都只能在及格线附近徘徊。

  值得注意的是,

  

  因为中文的博大精深,还存在不少脑筋急转弯。例如:东院的花母鸡在西院的鸡窝里下了一个蛋,这个蛋的“产权”应归谁呢?在这个问题上,必应还是了网络答案,文心一言和ChatGPT则“一本正经”回答。

  百度介绍,文心一言具有多模态生成能力,并在Demo演示中让文心一言根据文字生产海报、语音及。

  被要求生成图像时,ChatGPT直言“抱歉,作为语言模型,我无法创建图像或海报”。新版必应搭载的GPT-4虽然是大型多模态模型,但必应也无法生成文字以外的内容,面对生成海报的要求,必应仅仅提供了设计思路和在线设计平台。

  值得注意的是,

下一篇:原油暴跌扭转调价预期!成品油或迎年内“第二跌”
上一篇:徐州:市民卖旧房换新房,原有满1年但不满交易时限住房可上市交
返回顶部小火箭