5個方向,測試文心一言和chatGPT的不同
3月16日,百度如約發(fā)布了對標chatGPT的中文版「文心一言」。
百度是國內(nèi)乃至全球大廠中第一個發(fā)布大語言模型的公司,但同時李彥宏也承認,內(nèi)測體驗并不完美,但他表示文心一言的進步空間很大。
總的來說,整場發(fā)布會雖然沒有透露更多內(nèi)容,也沒有面向個人用戶開放,但百度還是表達了自己的核心觀點:介紹能力、承認差距、展望未來。
而發(fā)布會后,百度也開放了內(nèi)測權(quán)限,我們在拿到權(quán)限后第一時間與chatGPT做了對比,看看它們有什么不同。
因為主要測試對象是文心一言,所以這些問題基本都圍繞百度發(fā)布會上透露的五個方向:文學創(chuàng)作、商業(yè)文案創(chuàng)作、數(shù)理推算、中文理解和多模態(tài)生成。
1 文學創(chuàng)作
從用詞上來看,文心一言和chatGPT開頭的場景描寫幾乎一模一樣。但整首詩的風格卻不同,文心一言自始至終都是壓抑的、悲觀的,chatGPT卻給了一個堅定且有希望的ending。
古詩創(chuàng)作文心一言上來就copy了一首家喻戶曉的詩詞。chatGPT的回答更標準,也作了詩名。
在故事創(chuàng)作上,文心一言似乎有些不合邏輯,人被貓咬了卻把貓抱到了醫(yī)院,直接忽略了人。且結(jié)尾也有些胡言亂語,一邊不能忘記湯姆帶來的恐懼和不安,又要給它建造紀念碑,視為英雄?
chatGPT的故事似乎更有邏輯性,也更符合我的恐怖要求。
2 商業(yè)文案創(chuàng)作
在商業(yè)文案創(chuàng)作上,文心一言給出的答案更符合我的要求和想法,chatGPT的答案相對啰嗦。
這一個則是文心一言完勝,chatGPT不僅用英文回答,而且還搞錯了品牌,將悅刻翻譯為YOOZ。
這段開場白文心一言更符合我的需求和想法,chatGPT似乎搞錯了對象。
3 數(shù)理推算
這是一道小學奧數(shù)題,也難住了文心一言和chatGPT。文心一言直接擺爛,回答的內(nèi)容里有錯誤代碼;chatGPT則是一本正經(jīng)的胡說八道,看似步驟很多在一步步解題,實際上最后的答案也是錯的。
第二個問題是一道從網(wǎng)上down下來的騰訊面試題,文心一言顯然沒有讀懂題意,最后的答案完全風馬牛不相及。chatGPT的回答看似步驟合理,但最后的結(jié)果卻是錯的。
4 中文理解
一段《三體》中的摘抄,我更喜歡chatGPT的回答,不僅描述片段的大意,還給出了反問。文心一言的答案貌似偏離了題意。
一個來自趙本山小品的梗,都沒有理解。
5 多模態(tài)生成
因為chatGPT還不具備圖片生成能力,所以只能用文字描述。
總結(jié):
從上述問題的答案來看,文心一言和chatGPT都不完美。
最直觀的差距,應該說是一種感覺。明明知道兩個都是機器人,但chatGPT給我一種更像人的感覺。文心一言的優(yōu)勢,似乎更商業(yè)化一些,在商業(yè)文案創(chuàng)作上完勝chatGPT,這可能是未來全量開放后,被調(diào)用最多的一個功能。
在測試之后我還試著問了一些帶有價值觀看法的問題,chatGPT會表示自己是AI語言模型,不能夠道德判斷或?qū)人行為做出價值評估。
更大范圍的感觸并不是具體的產(chǎn)品差異,而是背后的技術(shù)差距。百度也承認差距的存在,也就意味著我們還有時間來做完善。
但至少從0到1的突破我們做到了,從1到100就繼續(xù)努力吧。
以上是我們向文心一言和chatGPT提出的問題,考慮到文心一言目前尚在小范圍內(nèi)測,如果你有想問的問題,歡迎留言,我們幫你問。
原文標題 : 圍繞5個大方向,我們測試了文心一言和chatGPT的不同

請輸入評論內(nèi)容...
請輸入評論/評論長度6~500個字
最新活動更多
-
8月5日立即報名>> 【在線會議】CAE優(yōu)化設(shè)計:醫(yī)療器械設(shè)計的應用案例與方案解析
-
8月14日立即報名>> 【在線研討會】解析安森美(onsemi)高精度與超低功耗CGM系統(tǒng)解決方案
-
精彩回顧立即查看>> 《2024智能制造產(chǎn)業(yè)高端化、智能化、綠色化發(fā)展藍皮書》
-
精彩回顧立即查看>> 7月30日- 8月1日 2025全數(shù)會工業(yè)芯片與傳感儀表展
-
精彩回顧立即查看>> 全數(shù)會2025(第六屆)機器人及智能工廠展
-
精彩回顧立即查看>> OFweek 2025 具身機器人動力電池技術(shù)應用大會
推薦專題
- 1 AI產(chǎn)業(yè)的新高度!英偉達成為全球首家市值破4萬億美元的公司
- 2 傳魏建軍與賈躍亭合作,長城汽車出海美國
- 3 一文讀懂:到底什么是 “具身智能” ?
- 4 黃仁勛:與雷軍長期合作,共探AI智駕
- 5 具身智能泡沫爭議下,華映資本尋找「穿越周期者」
- 6 中國平安們欲靠AI守“陣地”
- 7 官宣:智元機器人借殼上市,A股人形機器人第一股!
- 8 華為讓渡“三界”銷售主導權(quán),智界高管:終于能全力奔跑了
- 9 借仿生手實現(xiàn)突圍,國產(chǎn)靈巧手破局“不可能三角”
- 10 DeepSeek R2加持,中國AI與芯片產(chǎn)業(yè)迎來新一輪協(xié)同進化