隨著文心一言、通義千問(wèn)等國(guó)內(nèi)類ChatGPT大模型紛紛問(wèn)世，人工智能公司科大訊飛也終于“下場(chǎng)”開始角逐國(guó)內(nèi)大語(yǔ)言模型市場(chǎng)。根據(jù)計(jì)劃，科大訊飛將于5月6日正式發(fā)布訊飛“星火”認(rèn)知大模型，并將同步推出面向教育、辦公、車載等行業(yè)的解決方案。

4月24日，新京報(bào)貝殼財(cái)經(jīng)記者獲得了“星火”大模型的測(cè)試資格。經(jīng)測(cè)試發(fā)現(xiàn)，“星火”大模型可以連貫回答記者提出的問(wèn)題，完成寫文章、作詩(shī)、編寫代碼等任務(wù)，并在記者提出的部分“誘導(dǎo)性”問(wèn)題上成功避坑。不過(guò)，作為人工智能模型，“星火”也不可避免的存在“幻覺(jué)”現(xiàn)象，其雖然能夠理解記者提出的一些高難度問(wèn)題并可以給出回答，但對(duì)一些偏小眾的問(wèn)題會(huì)生成不夠準(zhǔn)確的回答，且其回答無(wú)法涵蓋近期的新聞事件。此外，目前“星火”不支持文生圖功能。

【資料圖】

對(duì)于“星火”大模型，科大訊飛董事長(zhǎng)劉慶峰在科大訊飛2022年業(yè)績(jī)說(shuō)明會(huì)上表示，有信心在中文領(lǐng)域的認(rèn)知大模型上做到業(yè)界領(lǐng)先，同時(shí)在教育、醫(yī)療等行業(yè)中率先深度應(yīng)用，而且形成獨(dú)特的優(yōu)勢(shì)，“第一，在認(rèn)知大模型的技術(shù)投入上，對(duì)于應(yīng)該投入的重點(diǎn)方向，我們將飽和投入、絕不手軟；第二，不需要那么多人力和資金，現(xiàn)在科大訊飛的團(tuán)隊(duì)和資金完全覆蓋得住；第三，投入也是自主可控，可以保證不受到國(guó)外卡脖子，長(zhǎng)期發(fā)展可以一步一個(gè)腳印往前走。”

以下為新京報(bào)貝殼財(cái)經(jīng)記者在邏輯性誘導(dǎo)提問(wèn)、寫文字寫詩(shī)等能力提問(wèn)以及生僻知識(shí)提問(wèn)三方面對(duì)“星火”大模型的測(cè)試結(jié)果：

邏輯能力測(cè)試：

“避坑”大多數(shù)邏輯問(wèn)題

記者首先測(cè)試了大語(yǔ)言模型的“基本功”：邏輯理解能力，此前一些大模型可能在諸如“魚香肉絲是什么魚做的”這類問(wèn)題上“翻車”，記者測(cè)試發(fā)現(xiàn)星火大模型能夠給出正確答案，不過(guò)由于此類問(wèn)題之前曾被公開問(wèn)過(guò)多次，其也有可能是吸取了此前其他大模型的“教訓(xùn)”，做了人工標(biāo)注，因此記者嘗試“原創(chuàng)”一些誘導(dǎo)性質(zhì)的提問(wèn)，看“星火”能否正確理解。

如記者提問(wèn)：都說(shuō)“打鐵還需自身硬”，如果我比別人硬，我的打鐵技術(shù)是不是就會(huì)更好？對(duì)此，“星火”回答：“打鐵還需自身硬”這句話的意思是說(shuō)，在做任何事情時(shí)，都需要具備一定的能力和素質(zhì)才能夠做好。如果你比別人更硬，那么你在某些方面可能具有更強(qiáng)的能力和素質(zhì)，這可能會(huì)對(duì)你的打鐵技術(shù)產(chǎn)生積極的影響。然而，僅僅擁有強(qiáng)大的能力和素質(zhì)并不一定能夠保證你成為一名優(yōu)秀的打鐵師傅。除了技術(shù)和能力之外，還需要具備耐心、細(xì)心、專注等品質(zhì)，以及對(duì)打鐵工藝的熱愛(ài)和執(zhí)著追求。因此，即使你比別人更硬，也需要不斷地學(xué)習(xí)和實(shí)踐，才能夠真正成為一名出色的打鐵師傅。

而記者再次提問(wèn)：我是個(gè)學(xué)富五車的人，此時(shí)有人找我借了一輛車，請(qǐng)問(wèn)我還剩幾輛車？對(duì)此“星火”直接回答“很抱歉，作為一個(gè)語(yǔ)言模型，我無(wú)法得知您目前擁有多少輛車。請(qǐng)您自行查詢或回憶一下您的車輛數(shù)量。”

由于上述提問(wèn)均為記者原創(chuàng)，此前并未有相應(yīng)的訓(xùn)練數(shù)據(jù)，因此可以看出星火大模型確實(shí)能夠“避坑”一些誘導(dǎo)性提問(wèn)。

不過(guò)，星火大模型也并非躲過(guò)了所有邏輯問(wèn)題，如記者拿一些自相矛盾的選擇題提問(wèn)“星火”時(shí)，其并未反駁問(wèn)題中的邏輯謬誤，仍然給出了自認(rèn)為正確的選項(xiàng)。

相比其他大模型，“星火”在交互設(shè)計(jì)上給出了左下角一鍵復(fù)制答案的選項(xiàng)，方便用戶使用，并設(shè)計(jì)了點(diǎn)贊和點(diǎn)踩兩個(gè)正負(fù)反饋機(jī)制，用戶針對(duì)錯(cuò)誤回答可以進(jìn)行反饋并填寫更優(yōu)答案。

談及科大訊飛在中文語(yǔ)料上的積累，劉慶峰稱，中文文本數(shù)據(jù)方面，科大訊飛擁有語(yǔ)音及語(yǔ)言信息處理國(guó)家工程研究中心，在中文語(yǔ)音應(yīng)用的主流領(lǐng)域市場(chǎng)份額達(dá)70%，訊飛人工智能開放平臺(tái)作為首批國(guó)家新一代人工智能開放創(chuàng)新平臺(tái)，日使用量超過(guò)50億人次，多年的積累為大模型提供了海量行業(yè)文本語(yǔ)料和用戶反饋數(shù)據(jù)，“這些真正有價(jià)值、有剛需、適合認(rèn)知智能大模型學(xué)習(xí)的行業(yè)數(shù)據(jù)，才能更好地滿足專業(yè)領(lǐng)域需求，推動(dòng)大模型在具體行業(yè)上做得更透。”

“科大訊飛的行業(yè)專用系統(tǒng)通過(guò)獨(dú)立、封閉環(huán)境訓(xùn)練語(yǔ)料得到的結(jié)果，可以避免一本正經(jīng)回復(fù)錯(cuò)誤消息，使得專用領(lǐng)域保障性更強(qiáng)。”劉慶峰介紹。

寫作能力測(cè)試：

能列計(jì)劃、教孩子、寫代碼 寫詩(shī)能力待加強(qiáng)

對(duì)于大模型必備的“寫作能力”，貝殼財(cái)經(jīng)記者也對(duì)“星火”提出了若干問(wèn)題，如幫助列“對(duì)科大訊飛老板的采訪提綱”，而當(dāng)記者對(duì)其列出的采訪提綱不滿意要求追加細(xì)節(jié)時(shí)，“星火”也可以細(xì)化采訪問(wèn)題，如“科大訊飛推出的大模型相較于其他公司的有何不同之處？比如說(shuō)，公司的技術(shù)架構(gòu)、訓(xùn)練方法、數(shù)據(jù)集等方面是否有所創(chuàng)新？”

下圖為針對(duì)“五一”假期寫出一份北京旅游計(jì)劃，事實(shí)上此類問(wèn)題貝殼財(cái)經(jīng)記者曾在2月問(wèn)過(guò)ChatGPT，“星火”列出的計(jì)劃同當(dāng)時(shí)ChatGPT的相比略有完善，且考慮了景點(diǎn)的地理位置遠(yuǎn)近，但仍然存在共同的問(wèn)題：旅程安排都比較緊湊，更適合作為旅游公司的行程表使用。

在文本創(chuàng)作方面，“星火”也可以完成任務(wù)，不過(guò)其中一些作品的完成度仍有待加強(qiáng)，如記者要求其寫出一首對(duì)“超好吃魚香肉絲贊嘆”的古詩(shī)，雖然“星火”寫出的詩(shī)完全符合格式，但在韻律感上還是不如真正的詩(shī)人。

值得注意的是，和ChatGPT一樣，“星火”也可以生成代碼，如下圖所示生成的北京美食爬蟲程序（受界面限制圖中程序未全部展現(xiàn)）。

此外，由于科大訊飛在AI領(lǐng)域深耕多年，且在醫(yī)療、教育等行業(yè)有深度布局，因此記者著重提出了一些關(guān)于醫(yī)療和教育的問(wèn)題，其生成的答案在邏輯上較為流暢，甚至可以直接拿來(lái)教育孩子。

事實(shí)上，科大訊飛未來(lái)將推出針對(duì)教育和醫(yī)療的專用大模型。根據(jù)公開信息，該公司2022年12月啟動(dòng)生成式預(yù)訓(xùn)練大模型“1+N”攻關(guān)，其中“1”是通用認(rèn)知智能大模型算法研發(fā)及高效訓(xùn)練底座平臺(tái)，“N”是應(yīng)用于教育、醫(yī)療、人機(jī)交互、辦公等多個(gè)領(lǐng)域的專用大模型版本。

劉慶峰表示，超大規(guī)模的大模型現(xiàn)在已經(jīng)到了一個(gè)臨界點(diǎn)，下一個(gè)階段應(yīng)該用更多專業(yè)的子模型來(lái)協(xié)同訓(xùn)練，獲得更可靠的成效。他認(rèn)為，在教育、醫(yī)療等專業(yè)領(lǐng)域的模型成效不比千億級(jí)模型差，但是要形成通用領(lǐng)域的智能涌現(xiàn)，需要把這些模型的知識(shí)相互銜接，在整體的大模型中去統(tǒng)一訓(xùn)練。科大訊飛希望在教育、辦公、醫(yī)療等應(yīng)用領(lǐng)域搶到先機(jī)。

值得注意的是，劉慶峰認(rèn)為科大訊飛做的大模型不需要花費(fèi)外界想象的那么多費(fèi)用，也不需要像Open AI那樣要花費(fèi)100億美元，“大模型再往大做，可能意義已經(jīng)不大了，應(yīng)該用各個(gè)規(guī)模適度的專業(yè)模型通過(guò)協(xié)調(diào)聯(lián)動(dòng)來(lái)形成效益的提升，在各個(gè)專業(yè)領(lǐng)域形成更可控的表現(xiàn)，這是科大訊飛一直在做的路徑。”

生僻問(wèn)題測(cè)試：

能理解生僻概念 不太懂網(wǎng)絡(luò)熱梗

最后，貝殼財(cái)經(jīng)記者決定針對(duì)“星火”提出一些較為生僻的問(wèn)題，看其是否能夠回答。

如記者此前咨詢其他大模型上世紀(jì)科幻概念“戴森球”是什么時(shí)，一些模型會(huì)給出錯(cuò)誤回答，不過(guò)“星火”可以給出相對(duì)更接近正確答案的回答，甚至在進(jìn)一步追問(wèn)下可以給出“建造計(jì)劃”。

不過(guò)，面對(duì)一些小眾文化中的“梗詞”，“星火”并未能很好地理解，如記者咨詢?cè)欢仍诙桃曨l平臺(tái)流行的國(guó)內(nèi)電視劇《燕雙鷹》系列男主角燕雙鷹的名臺(tái)詞“我賭你的槍里沒(méi)有子彈”究竟是誰(shuí)說(shuō)的時(shí)，“星火”一共生成了4次答案，但每次生成的內(nèi)容都不一樣，其分別表示這句話的出處來(lái)自“《無(wú)間道》角色陳永仁，《賭城風(fēng)云》主角馬丁，《無(wú)人生還》演員亨利方達(dá)，《大逃殺》”等，但就是未提及《燕雙鷹》。對(duì)此，記者將正確答案進(jìn)行了反饋。

而當(dāng)記者提問(wèn)：當(dāng)我說(shuō)，“啊哈哈哈哈雞湯來(lái)嘍”，我想表達(dá)什么時(shí)，星火將這句話中的“雞湯”理解為了“心靈雞湯”概念，但實(shí)際上這句話來(lái)自電視劇《激戰(zhàn)江南》第十二集中軍統(tǒng)特務(wù)，雙料高級(jí)特工“穿山甲”被揭穿的段落，后來(lái)在嗶哩嗶哩上被UP主二次創(chuàng)作從而成為了“名場(chǎng)面”。

貝殼財(cái)經(jīng)記者發(fā)現(xiàn)，事實(shí)上“星火”的訓(xùn)練語(yǔ)料并未更新至最新時(shí)間，如記者咨詢其最近一次世界杯冠軍是誰(shuí)時(shí)，“星火”斬釘截鐵的表示是2018年的法國(guó)。

此外，目前“星火”的具體參數(shù)和訓(xùn)練語(yǔ)料、訓(xùn)練時(shí)間等未公開，貝殼財(cái)經(jīng)記者咨詢“星火”相關(guān)問(wèn)題時(shí)其也表示“保密”。

對(duì)于認(rèn)知智能大模型的投入和規(guī)劃，劉慶峰介紹，目前科大訊飛最核心的研究團(tuán)隊(duì)有200多人，其中有幾位是科技商業(yè)媒體《麻省理工科技評(píng)論》“35歲以下科技創(chuàng)新35人”榜單中頂尖的科學(xué)家。不過(guò)對(duì)于“星火”大模型的具體模型參數(shù)和訓(xùn)練時(shí)間，目前尚未有公開數(shù)據(jù)，記者咨詢“星火”大模型本身得到的回答是“我的訓(xùn)練數(shù)據(jù)和模型參數(shù)都是保密的”。

而在算力方面，科大訊飛有著自己的儲(chǔ)備。由于在過(guò)去幾年其牽頭承擔(dān)了國(guó)家自主可控人工智能平臺(tái)的諸多項(xiàng)目，與華為、寒武紀(jì)、曙光等企業(yè)有深度合作。根據(jù)公開信息，目前科大訊飛對(duì)于認(rèn)知大模型在國(guó)產(chǎn)平臺(tái)上的訓(xùn)練、推理方案已跑通成型，下一步會(huì)加快數(shù)據(jù)標(biāo)記投入，尤其是海量用戶使用之后的強(qiáng)化學(xué)習(xí)的標(biāo)注，把大模型的能力用在各個(gè)行業(yè)上。

“訊飛星火大模型在5月6日正式發(fā)布時(shí)，還會(huì)有三輪的迭代。”劉慶峰表示，“一是多輪對(duì)話的理解能力，二是編程能力，三是數(shù)理能力，會(huì)進(jìn)一步把現(xiàn)在的優(yōu)勢(shì)擴(kuò)大，多輪對(duì)話、語(yǔ)義理解、邏輯推理能力將更強(qiáng)。”

（記者注：由于生成式AI的底層算法問(wèn)題，回答內(nèi)容不一定為事實(shí)，僅供讀者參考）

記者聯(lián)系郵箱：luoyidan@xjbnews.com

編輯 徐超

校對(duì) 王心