阿里版 ChatGPT 突然官宣!我们用 16 个提问,火速进行了测评……
平地一声雷!今天中午阿里版类 ChatGPT 「通义千问」突然官宣:
没错,就这 3 行简短介绍 + 1 个官网地址,再无其他“剧透”。 好在,CSDN 有幸拿到了「通义千问」的第一批内测邀请码!既能第一时间体验这神秘的「通义千问」,那就让我们一同看看:这个阿里版 ChatGPT,它的水平究竟如何?
自我介绍
首先,让「通义千问」来个官方的自我介绍:介绍一下你自己吧。
相信许多人都好奇「通义千问」的优势何在,那就让它自己回答:你与其他大规模语言模型相比,有什么优点? 有了初步了解后,那么接下来就让我们步入正题:围绕文学创作、数理逻辑推算、中文理解、代码生成这四个角度,实测「通义千问」的对话水平。(注:因同是“国产版 ChatGPT”,所以本次部分提问内容也参考了上次 评测「文心一言」的题目。)
代码生成
ChatGPT 能成为程序员的“辅助神器”,并成功“出圈”的最主要原因之一就是其出色的代码生成能力。因而,本次对「通义千问」的测评我们也先从这方面开始。 先来个简单的:用 Python 实现冒泡排序。 提问:请写代码解决"把 abcd...s 共 19 个字母组成的序列重复拼接 106 次,得到长度为 2014 的串。 接着:使用函数递归的方法打印斐波那契数列的前 n 个数:0 1 1 2 3 5 8 13 21 34 ……, 找出正确的选项。 再提问:请写一个使用逻辑回归模型判断用户更喜欢通义千问还是 ChatGPT 的训练代码。 继续:请用 C 语言,使用动态分配内存的方式,模拟 C++ 中 Vector 容器,实现动态数组的构建。 英文提问:“Using Python to Define a class named Vector to simulate the C++ Vector container and implement dynamic array construction using dynamic memory allocation.” 对于以上「通义千问」生成的代码,我们咨询了 CSDN-AI 团队研发总监进行评价:
“阿里云的模型对于随机抽取的常见代码片需求,基本能理解需求,生成合适的代码。能区分生成代码对指定语言的需求。能区分中英文问题输入。简单的冒泡排序和领域特定的逻辑回归代码,都能生成合适的代码,总体表现不错。在理解代码需求的推理能力上,则还有待加强(那个字母的题)。”
文学创作
提问:龟兔赛跑的结局是什么?如果要续写这个故事,可以有哪些角度? 从「通义千问」给出的回答来看,它能正确给出简单故事的结局,对于续写角度的建议也较为全面。
数理逻辑推算
提问:一个笼子里有 9 个头,30 只脚,应有多少只鸡,多少只免子? 面对经典的鸡兔同笼问题,「通义千问」在得出正确答案的同时,解答过程言简意赅。
提问:7 年前,妈妈年龄是儿子的 6 倍,儿子今年 12 岁,妈妈今年多少岁?
解答这道小学奥数应用题,「通义千问」的表现也可圈可点。 提问:某厂一车间有 64 人,二车间有 56 人,现因工作需要,要求第一车间人数是第二车间人数的一半,问需从第一车间调多少人到第二车间?(列方程解答) 不过,对于这道上次「文心一言」没答出的初中数学应用题,「通义千问」也出了点问题:方程是列了,但少了个将 56+x 括在一起的括号。看来在较为复杂的逻辑推算上,“国产版 ChatGPT”还有待加强。
中文理解
提问:“洛阳纸贵”具体是什么意思? 提问:京剧中的生、 旦 、净、丑分别指什么? 在中文理解上,「通义千问」的回答虽然比较简短,但大体是正确的。
再闲聊一会儿
与上次测评「文心一言」一样,最后我们也来看看「通义千问」的闲聊水平如何。
提问:我有点饿,请你推荐一道成本低于 30 元(人民币)的菜及其做法? 很好很贴心,连食材单位都很详细,手残党必备。 提问:你的出现会对程序员产生什么影响?是否会取代一部分程序员? 与 「文心一言」和 ChatGPT 相似,「通义千问」对于这个问题的解答也很客观中立。
至此,本次 CSDN 对于「通义千问」的测试就到此结束了。那么通过这些 Q&A,你对这个阿里版类 ChatGPT「通义千问」的评价如何呢?
|