实测strawberry中有2个字母“r”？不会比大小的大模子也险些数不合数【WDI-029】ドリシャッ！！ ASUKA，数明智力差到惊东说念主！
@科技新知原创 作家丨王念念原剪辑丨赛柯
谁能猜测，堪称“超等大脑”的大模子，确凿在几说念肤浅的数学题上败给了小学生。
近日，国内火热的音乐节目《歌手》中，孙楠与番邦歌手的轻微分数各异，激励了网友对于13.8%和13.11%谁大谁小的争论。
艾伦策划机组成员林禹臣将此问题抛给了ChatGPT-4o，但效力令东说念主吃惊，最广博模子确凿在回话中给到了13.11比13.8更大的荒谬谜底。
随后Scale AI的提醒工程师莱利·古德赛德基于此灵感变换了问法，拷问了可能是当前最强的大模子ChatGPT-4o、谷歌Gemini Advanced以及Claude 3.5 Sonnet——9.11和9.9哪个更大？关联词几家头部大模子的荒谬回话，也让该话题传播开来。
而靠近如斯肤浅的问题，国产大模子表露如何呢？为此，咱们也对国内7款主流AIGC居品文心一言、通义千问、腾讯元宝、字节豆包、讯飞星火、智谱、Kimi进行了比小学数学更肤浅的“单词字母数识别”测试，效力令咱们大吃一惊。
Part.1
7家大模子，险些全翻车
当先咱们向7款大模子居品究诘归并个问题，“strawberry中有几个字母r”？
大模子新星Kimi，斩钉截铁且不加解释的示意有1个字母r，不外当咱们再次究诘时，Kimi竟打翻了我方第一次的荒谬谜底，给到了第二个荒谬谜底。再三追问后如故没能给到正确谜底。
着手：科技新知（Kimi）
智谱AI旗下的智谱清言ChatCLM给到的亦然荒谬谜底。
着手：科技新知（智谱清言）
科大讯飞的讯飞星火对话在回话这个问题的时辰开启了联网搜索，给到一个荒谬谜底后，还一册庄重的告诉咱们这2个r的位置。但可惜的是，星火对话给到的位置有一个亦然荒谬的。
着手：科技新知（讯飞星火）
不外也有表露可以的，百度的文心大模子将strawberry每个字母齐进行了拆分，然后进行统计，给到了正确效力。
着手：科技新知（文心大模子）
阿里旗下的通义千问在第一次回话中给到了一个荒谬谜底，而况表露的位置亦然荒谬的，第二次天然再次给出了荒谬谜底，但其回话中识别到了3个字母r，仅仅一句“正式天然 "rr" 是流通的，但它们仍然被狡计为两个单独的字母。”让东说念主摸不到头脑。
着手：科技新知（通义千问）
于是咱们追问了“为什么rr被狡计为两个单独的字母”，通义千问确凿又否定了刚才的回话，称“在 "strawberry" 中，两个 "r" 字母可以影响周围音节的发音，但它们仍然是两个平安的字母。”
着手：科技新知（通义千问）
腾讯元宝在回话这个问题时遴荐的是假定法，假定了字母“r”的数目为未知数x，然后通过搜检单词“strawberry”并计数字母“r”取得x的值，临了给到的谜底是正确的。
着手：科技新知（腾讯元宝）
表露爽脆的还有字节豆包，无谓婉言的给出了正确谜底，而况还举了两个例子来证明这个肤浅的问题难不倒它。但是，亦然豆包的这两个例子出卖了它在识数智力上的问题。豆包称“car”这个单词惟有1个“r”，“mirror”则有2个“r”，而“strawberry”比它们齐多，有3个。
问题了然于目，“mirror”中有其实是有3个“r”，并非2个。于是咱们又追问了一下“mirror中有几个字母r”，豆包给到的谜底仍然是2个，而况又举了两个荒谬的例子，称“father”这个单词有2个“r”，而“orange”内部则一个“r”齐莫得。这些许让东说念主以为豆包的正确回话有“蒙”的嫌疑。
着手：科技新知（豆包）
通过这个肤浅的测试咱们可以看到，7家大模子中有5家齐有“不识数”的嫌疑，于是咱们又将这个单词进行拆分红2个更肤浅的字母，测试这些大模子能否给到正确谜底。
Part.2
拆分测试，揭露大模子逻辑短板
为了指令大模子，尽量使大模子给到正确谜底，咱们这部分将分为两个问题，一个是“str中含有几个字母r,berry中含有几个字母r，他们一共含有几个r？”，另一个是“那str和berry合在扫数是strawberry，是以strawberry中含有几个字母r?”
不外，被请托厚望的Kimi照旧让咱们失望了。将strawberry拆分红两个肤浅的单词后，Kimi仍没给到正确谜底。
着手：科技新知（Kimi）
通常，智谱清言在这一轮也没能给到正确谜底。而况其给出的解释也与Kimi一致，齐以为berry中有1个字母r，是以才导致strawberry中少了1个r。
着手：科技新知（智谱清言）
意念念意念念的是讯飞星火，当咱们将单词分建立问时，星火对话粗略给到正确的回话，而况识别到了berry中有2个字母r，不外看星火对话给的解释是将这两个字母行动字符串，用编程的形态来查找所得。但不论若何，谜底确乎是正确的。
着手：科技新知（讯飞星火）
而当咱们以为讯飞星火又行了的时辰，再次究诘“那str和berry合在扫数是strawberry，是以strawberry中含有几个字母r?”，但讯飞星火仍然给到的是荒谬谜底。
着手：科技新知（讯飞星火）
上一轮表透露色的文心大模子此次并莫得给到正确谜底，它与Kimi和智谱清言齐以为“berry” 中有1个“r”，而追问两个单词合在扫数有几个r后，文心亦然给出了2个的荒谬谜底。
着手：科技新知（文心大模子）
通义千问此次的表露让东说念主吃惊，不但准确的给出了谜底，而且还给了代码级别的狡计经由。
着手：科技新知（通义千问）
当咱们再次问strawberry中含有几个字母r时，通义千问也非常有逻辑的地告诉咱们可以径直在 "strawberry" 中查找 "r" 的出现次数，而不必依赖于之前的组合。
着手：科技新知（通义千问）
腾讯元宝的表露也有余巩固，肤浅飞速的给到了正确谜底。
着手：科技新知（腾讯元宝）
豆包在这一轮也给到的正确谜底，但可爱例如的豆包，再次举了一个荒谬案例。是以其数数字的水祥和逻辑到底若何，如故未知。
四房色播
着手：科技新知（豆包）
两轮肤浅的小测试下来，7家国产大模子惟有1家表露巩固，其他6家均出现了不同进度的荒谬，这到底是奈何回事呢？
Part.3
数学不好，骨子是智力问题
这类大模子说胡话的气候，在业界被称为大模子出现幻觉。
此前，哈尔滨工业大学和华为的策划团队发表的综述论文以为，模子产生幻觉的三大着手：数据源、检会经由和推理。大模子可能会过度依赖检会数据中的一些模式，如位置接近性、共现统计数据和有关文档计数，从而导致幻觉。此外，大模子还可能会出现长尾常识回忆不及、难以支吾复杂推理的情况。
一位算法工程师以为，生成式的谈话模子更像文科生而不是理科生。现实上谈话模子在这么的数据检会经由中学到的是有关性，使得AI在笔墨创作上达到东说念主类平均水平，而数学推理更需要的是因果性，数学是高度详尽和逻辑启动的，与谈话模子处置的谈话数据在骨子上有所不同。这意味着大模子要学好数学，除了学习天下常识外，还应该有念念维的检会，从而具备推理演绎智力。
不外中国社科院新闻与传播策划所长处胡正荣也指出，大模子天然是谈话模子，但这个谈话不是东说念主们频频领路的字面意念念，音频、解题等齐是大模子可以作念的。从表面上看，数学大模子这个时刻见识是可行的，但最终效力如何，取决于两个要素，一是算法是不是有余好，二是是否有有余量的数据作念支抓。“若是大模子的算法不够贤达，不是信得过的数学念念维，也会影响到答题的正确率。”
其实对于大模子来说，对天然谈话的领路是基础。很大齐理化的专科常识并不是大模子的坚硬，而况许多大模子是诈欺搜索把之前已有的解题的陶冶和常识的推理相纠合，可以领路为在搜索内容上进行领路，若是搜索内容本便是荒谬的，那么大模子给到的效力势必荒谬。
值得一提的是，大模子的复杂推明智力尤为首要，这关乎可靠性和准确性，是大模子在金融、工业等场景落地需要的要道智力。当前许多大模子的应用场景是客服、聊天等等，在聊天场景一册庄重瞎掰八说念影响不太大，但它很难在非常严肃的贸易样子去落地。
跟着时刻的逾越和算法的优化，咱们期待大模子粗略在更多领域阐述自后劲，为东说念主类社会带来更多现实价值。但通过此次对国内主流大模子的肤浅测试，也警示咱们，在依赖大模子进行决议时，必须保抓严慎，充分矍铄到其局限性，并在要道领域加强东说念主工审核和扰乱【WDI-029】ドリシャッ！！ ASUKA，确保效力的准确性和可靠性。毕竟，时刻的最终方针是作事于东说念主，而不是取代东说念主的念念考和判断。
