数字人能自己思考吗

了解更多

工具简介

数字人能自己思考吗?它本质是接下一句,会说会答不等于会想。文章给出三个普通人也能做的测试,用表格说明它擅长语言组织和常识、弱在多步推理和事实核查,并讲清它为什么不知道自己错了。

一个朋友跟数字人客服聊了十分钟,最后说它挺聪明的,好像真的在想。这句话里有个陷阱:流畅的表达很容易被误认成思考。判断一个东西会不会想,不能看它说得多顺,要看它在什么情况下会失败、失败时知不知道自己错了。下面用几个不用专业知识就能做的测试,把这条边界画出来,也顺便说清它在哪些事上确实能帮上忙。

一、它做的事,本质是接下一句

大模型的工作方式,可以理解成一个极其熟练的接话者:给它前面一段文字,它根据见过的海量文本,算出下一个词最可能是什么,然后再接下一个,如此循环。它没有在心里盘算我该怎么回答,也没有一个我明白了的瞬间。这两件事听起来抽象,却决定了它能不能被信任。这就像你听一首很熟的老歌,前奏一响你就知道下一句是什么,这个知道不需要思考。它的能力强在覆盖面广、语言自然,弱在它不知道自己在说什么,也不知道自己不知道。这个机制还带来一个副作用:它特别擅长把不存在的事说得像真的,因为编造和陈述在它那里是同一个动作。

二、三个能看出边界的测试

第一个测试:问它一件不存在的事,看它会不会顺着编。这类问题最好设计得听起来很合理,越合理越容易钓出编造。比如你们去年三月那场发布会讲了什么,如果根本没有这场发布会,会想的对象应该说没有这场,而它很可能顺着编出一段细节。第二个测试:同一件事换三种问法,看答案是否稳定。真正理解了一件事,换个说法答案不变;靠模式匹配的,换个说法就飘。第三个测试:给它一个需要多步计算的题,中间加一句无关的干扰,看它会不会被带偏。这三个测试不用专业知识,普通人也能做。再补一个更简单的:让它把刚才的回答压缩成一句话,然后问它这句话准不准。真正理解的对象会承认压缩有损失,靠模式匹配的往往直接说准。

三、它擅长的和它不擅长的

把它当成一个能力很不均匀的实习生,比当成万事通更准确。它写东西快、查常识准,但你得替它核对事实,下表按五类常见需求排,越往下越要谨慎。

能力表现原因
语言组织强海量文本训练出来的
常识问答较强覆盖面广,命中率高
多步推理不稳定中间一步错,后面全错
事实核查弱不查证,只预测下一个词
承认不知道弱倾向给出一个答案

这张表能得出一个很实用的结论:让它写、让它整理、让它答常见问题,都很划算;让它算、让它查、让它保证准确,就得你自己接手。分清这两类,用起来就不会失望。

四、为什么它不知道自己错了

因为它没有一个独立的事实库去比对。人说错话,往往说着说着自己觉得不对劲,这种不对劲来自记忆和现实的冲突。它没有这个冲突机制,它的输出只有一个标准:像不像人话。所以它错的时候,错得和人一样流利。这也是为什么在医疗、法律、金融这些领域,数字人只能做把已有内容讲清楚的活,不能做判断该怎么办的活,前者可以核对,后者错了没人兜底。顺带说一句,这也是它容易被骗的原因:你给它一个假前提,它会认真地在假前提上推理,而且推得很顺。

五、那它到底算不算智能

这个问题没必要纠结定义,实用一点的问法是:它能替你做哪一段。能替你做的是把想法变成通顺的表达、把资料整理成结构、把常见问题答清楚。不能替你做的是决定要不要做、判断谁在说谎、为结果负责。把这条线画清楚,用起来就很稳;画不清楚,就容易在它编造答案时被带着走,而且往往是在你最需要准确的时候,事后还觉得是自己判断失误。实际用起来最稳的方式是让它出初稿、你做终审,把它当成写得很快但需要核对的助手,而不是可以签字的负责人。

判断一个数字人靠不靠谱,别问它你懂吗,问它你不知道的时候会怎么办。答得好的,是配置得好;答不上来的,才是它的真面目。