
中國(guó)AI發(fā)展步入歧途
時(shí)間:2024-02-20
中國(guó)的人工智能在一個(gè)方面上遙遙領(lǐng)先美國(guó),那就是我們搞人工智能大模型公司的數(shù)量遙遙領(lǐng)先美國(guó)。
截止2023年底,我們國(guó)家已經(jīng)有了8萬(wàn)家大模型企業(yè)了,甚至還開(kāi)啟了轟轟烈烈的千模大戰(zhàn)。
然而美國(guó)搞大模型的就是那么幾家數(shù)得過(guò)來(lái)的巨頭,像谷歌、Open AI、馬斯克的X 、亞馬遜和Mate,再加上幾個(gè)前沿的學(xué)術(shù)機(jī)構(gòu),比如斯坦福的SQuAD、麻省理工的GENIF、伯克利的BAIR。
但是你別看這些美國(guó)大模型的數(shù)量少,卻誕生了可以復(fù)現(xiàn)諾貝爾獎(jiǎng)化學(xué)反應(yīng)的AI 化學(xué)家Coscientist,還誕生了可以成為AI 機(jī)器人控制專家的斯坦福李飛飛教授搞的VIMA。
而我們國(guó)內(nèi)只要一有模型開(kāi)發(fā)布會(huì),就喊著秒殺了GPT4,卻沒(méi)真的見(jiàn)過(guò)國(guó)內(nèi)這些秒殺GPT4的大模型,在國(guó)際哪個(gè)期刊上做到了什么能夠提升生產(chǎn)力和科研方面的應(yīng)用??傊駟闻琶麤](méi)輸過(guò),而且總是在我們感受不到的地方遙遙領(lǐng)先。但是你如果真的深度多方位的使用比對(duì)過(guò),你就會(huì)體會(huì)到這些模型跟GPT 的差距,它不是差一星半點(diǎn)。造成這種情況的主要原因,下面我們展開(kāi)來(lái)討論。
第一,就是大模型的這個(gè)訓(xùn)練算力我們跟不上,這種要求高精度的算力,你像H100、A100,還有英偉達(dá)新搞的那個(gè)GH200。
他們要求能夠大量的并行運(yùn)算,然后顯存高,位寬也要高的GPU,這就是美國(guó)制裁我們國(guó)家最嚴(yán)厲的一方面。
雖然我們國(guó)家像百度、騰訊、字節(jié)這些大廠也通過(guò)不同渠道購(gòu)買了不少H100,但是和實(shí)際用來(lái)超越Gpt4的數(shù)量相比遠(yuǎn)遠(yuǎn)不夠,而訓(xùn)練Gpt4這種模型起碼都得萬(wàn)卡起。
可是美國(guó)的企業(yè)就沒(méi)有這方面的限制,Open AI 前段時(shí)間甚至還號(hào)稱要把1000萬(wàn)顆GPU連在一起去訓(xùn)練超級(jí)大模型。Meta 的扎克伯格剛剛還跟英偉達(dá)簽了35萬(wàn)張H100芯片的采購(gòu)訂單,這幾乎是我們國(guó)內(nèi)大廠保有量的總和。簽完合同后的小扎還號(hào)稱,這個(gè)Meta 訓(xùn)練出來(lái)的通用人工智能模型也將開(kāi)源。
而且不光是訓(xùn)練大模型的這些我們的高級(jí)算力跟不上,甚至連精度低一些,用來(lái)運(yùn)行大模型的這些算力,你就比如英偉達(dá)針對(duì)中國(guó)存儲(chǔ)的這個(gè)H20中國(guó)閹割版顯卡,還有RTX3090、4090之類的低端GPU,我們?cè)谒懔Ω鷶?shù)量上也差的很遠(yuǎn)。
第二,比算力短缺更要命的是訓(xùn)練AI 的算法跟數(shù)據(jù),我們差距很大。這個(gè)差距還不像芯片差距那么一目了然,但其實(shí)更加的嚴(yán)重。
當(dāng)下所有的主流大模型的母體算法叫Transformer ,就是這個(gè)Open AI的首席科學(xué)家ChatGPT之父伊利亞,十年前和他的老師Jeoffrey hinton 一起發(fā)明的(是由Google團(tuán)隊(duì)在2017年提出)。
打個(gè)比方,訓(xùn)練大模型和教孩子其實(shí)差不多,孩子他本身的記憶力再?gòu)?qiáng)、反應(yīng)再快,你天天讓他在牛圈里放牛,然后教他偽科學(xué),再指鹿為馬,最后這孩子學(xué)出來(lái)大概也是個(gè)傻子。
而訓(xùn)練頂級(jí)大模型的參數(shù)量,像Open AI 的被爆料已經(jīng)接近10萬(wàn)億級(jí)別了。在這種龐大的數(shù)據(jù)集下,你的數(shù)據(jù)和你處理數(shù)據(jù)的算法,決定了大模型每一次訓(xùn)練的性能跟質(zhì)量。
第三,國(guó)內(nèi)大模型公司,大多都是套殼LLaMA等開(kāi)源模型的投機(jī)公司。這跟我們前幾年新能源補(bǔ)貼的時(shí)候,新能源公司扎堆式注冊(cè)一模一樣。
你就像llama2的開(kāi)源,不只是把模型免費(fèi)給你用這么簡(jiǎn)單,他還把他這個(gè)模型的訓(xùn)練的過(guò)程和訓(xùn)練模型的底層數(shù)據(jù)全部開(kāi)源了,所以少數(shù)有點(diǎn)良心的公司,就把人家開(kāi)源的訓(xùn)練數(shù)據(jù)替換或者增加一部分自己的,跟著流程
重新訓(xùn)練一遍,然后號(hào)稱自主研發(fā)。但是絕大多數(shù)的那些投機(jī)公司,
甚至就只是給大模型做了個(gè)非常簡(jiǎn)單的微調(diào),給他改了個(gè)名字而已。
所以之前10月份,李開(kāi)復(fù)旗下“零一萬(wàn)物”的大模型就被阿里的大神賈揚(yáng)清爆錘是換殼模型,說(shuō)的就是我剛才說(shuō)的那么回事??傊税俣?,阿里等少數(shù)幾家國(guó)內(nèi)公司外,很少國(guó)內(nèi)有從大模型數(shù)據(jù)的底層開(kāi)始研發(fā)的,但是為什么這些模型公司一個(gè)個(gè)開(kāi)發(fā)布會(huì)的時(shí)候,卻能丟出一大堆測(cè)試報(bào)告榜單成績(jī),說(shuō)自己這項(xiàng)成績(jī)那項(xiàng)能力已經(jīng)遠(yuǎn)遠(yuǎn)超越GPT4了呢?
一個(gè)叫做Catch me if you can 的論文說(shuō)的很清楚,這些大模型是如何刷榜作弊的。簡(jiǎn)單來(lái)說(shuō),就是榜單考題泄露,作弊的大模型公司提前拿考題訓(xùn)練大模型,那這樣分?jǐn)?shù)就自然高了唄。
但其實(shí)最可悲的還不是說(shuō)這些公司自欺欺人,可悲的是我們國(guó)內(nèi)明明AI 的算力資源、政策資源、人才資源都沒(méi)有美國(guó)那么充足,但是大部分都被這些只想吃政策跟資本豆腐的投機(jī)者給浪費(fèi)了。
其實(shí)我們大模型暫時(shí)搞不過(guò)美國(guó),根本不要緊。因?yàn)?,第一,美?guó)就沒(méi)幾家在搞呀。第二,全世界大部分的國(guó)家也都不搞大模型,至多就是基于開(kāi)源的大模型,微調(diào)個(gè)專用的模型。
事實(shí)上基于大模型開(kāi)發(fā)商業(yè)應(yīng)用才是效益最大的,而且日后最占據(jù)話語(yǔ)權(quán)的,也是這些有能力把AI 商業(yè)化落地應(yīng)用的人。
你像百度的李彥宏,Open AI 的山姆奧特曼,包括馬斯克,貝索斯都在不同場(chǎng)合上表達(dá)過(guò)類似的觀點(diǎn),就是叫大家不要去卷大模型了,應(yīng)該去卷AI 應(yīng)用,在AI 時(shí)代才值錢。而他們這些巨頭這么說(shuō),不是怕別人搞大模型,超過(guò)他們。人家根本不怕,大模型的這個(gè)門票,根本就不是小公司買得起的。而是因?yàn)樗麄冋娴目春肁I 應(yīng)用的價(jià)值,希望開(kāi)發(fā)者們都去他們的平臺(tái)開(kāi)發(fā)應(yīng)用,然后給他們貢獻(xiàn)技術(shù)跟價(jià)值。
你就像GPT4,繼去年11月份發(fā)布會(huì)大降價(jià)以后,又再次腰斬級(jí)別的降價(jià),甚至還加了多個(gè)AI 協(xié)同工作的能力。這個(gè)功能,就是可以讓你在聊天中通過(guò)艾特不同功能的AI 應(yīng)用讓他們一起給你干活。這就等于你低價(jià)雇傭了好多人,同一時(shí)間幫你做著不同的事情。
這對(duì)于做電商、做生意天下第一的中國(guó)人來(lái)說(shuō),這是個(gè)千載難逢的大利好啊。所以我們最大的隱患不是什么硬件跟大模型暫時(shí)落后于美國(guó),而是這個(gè)資源錯(cuò)配導(dǎo)致浪費(fèi)了發(fā)展的黃金時(shí)期,然后被國(guó)外的那些本來(lái)被我們的電商公司跟跨境公司已經(jīng)打趴下的人,用AI 方面應(yīng)用的優(yōu)勢(shì)彎道超車了。
因?yàn)槿绻竽P蛻?yīng)用員工化,會(huì)導(dǎo)致我們的人口優(yōu)勢(shì)、人民勤勞勇敢的優(yōu)勢(shì)逐漸貶值,而讓我感到更加憂心的是,我感受到大多數(shù)人對(duì)于正在發(fā)生的AI 巨變,沒(méi)有起碼的緊迫感。
比如我之前說(shuō)的那個(gè)GPTS 的Mention 功能,它可以讓不同的模型一起工作,那就等于一個(gè)美國(guó)人指揮一堆AI 干原來(lái)3個(gè)甚至10個(gè)人的工作。
所以美國(guó)在應(yīng)用方面的優(yōu)勢(shì)會(huì)加速拉大,他們?cè)诳蒲?、生產(chǎn)、教育、芯片和大模型方方面面的優(yōu)勢(shì),甚至?xí)纬陕菪铀僦笖?shù)發(fā)展。所以在當(dāng)下這個(gè)階段不光是我們的國(guó)家,我們每個(gè)人、每個(gè)公司都更應(yīng)該看清楚社會(huì)未來(lái)發(fā)展的必然趨勢(shì),
更重視AI 應(yīng)用的構(gòu)建。而不是錯(cuò)誤的認(rèn)為AI 化的主力只是巨頭跟高校,或者對(duì)國(guó)外的大模型抱著那些排斥的心理。然后傻乎乎的,等著你的競(jìng)爭(zhēng)對(duì)手先去發(fā)展,而自己不做任何AI 應(yīng)用的嘗試,那你的未來(lái)起碼蒙上了一層陰影,甚至?xí)粫r(shí)代所淘汰。
附注:
1.GPTS 的 Mention 功能
GPTS ( Generative Pre - trained Transformer )是一種大型語(yǔ)言模型,它具有一種稱為 Mention 的功能。這項(xiàng)功能允許用戶在使用 ChatGPT 時(shí),通過(guò)在對(duì)話窗口中添加@符號(hào),直接召喚另一個(gè) GPT 實(shí)例參與對(duì)話或執(zhí)行特定任務(wù)。這種交互方式類似于在社交媒體平臺(tái)如 Discord 中召喚和管理機(jī)器人。
具體來(lái)說(shuō),當(dāng)您需要在當(dāng)前會(huì)話中提及另一個(gè) GPT 時(shí),可以使用@加上該 GPT 的名稱。這樣做的目的是為了方便地在同一個(gè)聊天窗口內(nèi)與多個(gè) GPT 進(jìn)行互動(dòng),而不需要頻繁地切換到不同的窗口或者使用命令行接口。此外, Mention 功能還支持查看近期使用的 GPT 列表,以便更快地選擇要與之交流的對(duì)象。
綜上所述, Mention 功能增加了 GPTS 之間的協(xié)同工作能力,提高了用戶體驗(yàn)和工作效率。
2.AI 讓每個(gè)人都能成為科學(xué)家!
AI 顛覆化學(xué)研究再次登上 Nature !由 CMU 和 Emerald Cloud Lab 團(tuán)隊(duì)開(kāi)發(fā)的 GPT -4加持的 AI 工具(GPT -4化學(xué)家),在不到4分鐘的時(shí)間成功復(fù)現(xiàn)2010年諾獎(jiǎng)研究成果。
ChatGPT 大模型爆火這一年,沒(méi)想到竟顛覆了整個(gè)化學(xué)領(lǐng)域。
先是谷歌 DeepMind 的 AI 工具 GNoME 成功預(yù)測(cè)出200萬(wàn)種晶體結(jié)構(gòu),隨后微軟推出的MatterGen,大大加速了設(shè)計(jì)所需材料特性的速度。
現(xiàn)在, CMU 和 Emerald Cloud Lab 的研究團(tuán)隊(duì)開(kāi)發(fā)了一種全新自動(dòng)化 AI 系統(tǒng)Coscientist ,4分鐘成功復(fù)現(xiàn)諾獎(jiǎng)。CMU 開(kāi)發(fā) GPT -4化學(xué)家,自主編碼操控機(jī)器人顛覆化學(xué)研究榮登 Nature。
3. VIMA
像 GPT -4一樣能看懂圖文,李飛飛等人的具身 AI 給機(jī)器人造了個(gè)多模態(tài)對(duì)話框。
VIMA 是一個(gè)帶有機(jī)械臂的 LLM ,它接受多模態(tài) Prompt :文本、圖像、視頻或它們的混合。
是時(shí)候給大模型造個(gè)身體了,這是多家頂級(jí)研究機(jī)構(gòu)在今年的 ICML 大會(huì)上向社區(qū)傳遞的一個(gè)重要信號(hào)。在這次大會(huì)上,谷歌打造的 PaLM - E 和斯坦福大學(xué)李飛飛教授、英偉達(dá)高級(jí)研究科學(xué)家 Linxi " Jim " Fan (范麟熙,師從李飛飛)參與打造的 VIMA 機(jī)器人智能體悉數(shù)亮相,展示了具身智能領(lǐng)域的頂尖研究成果。
4.GPT -5要來(lái)了?
驚現(xiàn)兩大變化◇參數(shù)或達(dá)10萬(wàn)億級(jí)別◇
近日,歐愛(ài)運(yùn)營(yíng)有限責(zé)任公司( OPENAI OPCO , LLC )在中國(guó)申請(qǐng)注冊(cè)2枚" GPT -5"商標(biāo),引發(fā)廣泛關(guān)注。
在 GPT -4爆火后, GPT -5成為了萬(wàn)眾期待的下一個(gè)版本。
當(dāng)?shù)貢r(shí)間8月8日, OpenAl 在官網(wǎng)介紹了新產(chǎn)品 GPTBot ,這是一種網(wǎng)絡(luò)爬蟲(chóng),可大規(guī)模爬取網(wǎng)絡(luò)數(shù)據(jù)用于訓(xùn)練 AI 模型,據(jù)稱可以用來(lái)改進(jìn)未來(lái)的聊天機(jī)器人大模型。
CipenAI 在其官網(wǎng)發(fā)布的一篇博客文章中表示:"使用 GPTBot 用戶代理抓取的網(wǎng)頁(yè)可能會(huì)被用來(lái)改進(jìn)未來(lái)的模型。"公司還補(bǔ)充稱, GPTBot 可以提高內(nèi)容準(zhǔn)確性,擴(kuò)展未來(lái)迭代的能力。此外,由于 OpenAI 近期剛向美國(guó)專利商標(biāo)局申請(qǐng)了 GPT -5商標(biāo),國(guó)外不少科技媒體認(rèn)為, OpenAI 所指的這個(gè)"未來(lái)迭代"就是 GPT -5。
據(jù)悉,它將具備眾多 GPT -4所沒(méi)有的能力,而且?guī)缀趺恳豁?xiàng)都劍指通用人工智能。
5.李開(kāi)復(fù)旗下"零一萬(wàn)物"大模型疑套殼 LLaMA
知名大模型公司再次陷入套殼質(zhì)疑,這次是李開(kāi)復(fù)剛于一周前發(fā)布的"零一萬(wàn)物"( Yi )大語(yǔ)言模型,疑似套殼Meta公司在今年開(kāi)源的大模型 LLaMA。
阿里前技術(shù)副總裁、大模型行業(yè)創(chuàng)業(yè)者賈揚(yáng)清近日在朋友圈中表示,做小公司不容易,在做適配某國(guó)內(nèi)大廠的新模型的業(yè)務(wù)時(shí),發(fā)現(xiàn)此大廠新模型完全照搬 LLaMA 的架構(gòu),"今天有朋友告訴我,這個(gè)大廠新模型 exactly 就是 LLaMA 的架構(gòu),但是為了表示不一樣,把代碼里面的名字從 LLaMA 改成了他們的名字,然后換了幾個(gè)變量名。"
賈揚(yáng)清表示希望不要換名偽裝,以免做多余的適配工作,"各位大佬,開(kāi)源社區(qū)不容易,如果你們就是開(kāi)源的模型結(jié)構(gòu),求高抬貴手就叫原來(lái)的名字吧,免得我們還做一堆工作就為了適配你們改名字。"
賈揚(yáng)清沒(méi)有指明具體的大模型名字。但業(yè)內(nèi)懷疑的對(duì)象指向李開(kāi)復(fù)旗下的零一萬(wàn)物( Yi )。
6.ChatGPT 驚艷更新◇一個(gè)@讓三百萬(wàn) GPTs 為你打工
ChatGPT 悄悄更新個(gè)大功能!看起來(lái)要把插件系統(tǒng)選代掉了。
部分(灰度)用戶已經(jīng)收到這樣的提示:
現(xiàn)在可以在對(duì)話中@任意 GPT 商店里的 GPTs ,就像在群聊中@一個(gè)人。
Beta GPT mentions
Type @ tomention a GPT and add it directly into your conversation
Message ChatGPT ..
7.OpenAl 計(jì)劃用1000萬(wàn)張顯卡訓(xùn)練 AI 10倍于 NV 年產(chǎn)能
在生成式 AI 領(lǐng)域,推出了 ChatGPT 的 OpenAI 是處于領(lǐng)先地位的,他們的 GPT -4已經(jīng)是萬(wàn)參數(shù)級(jí)別,還在訓(xùn)練更先進(jìn)的 GPT -5,屆時(shí)又會(huì)在技術(shù)水平上甩開(kāi)國(guó)內(nèi)的追趕者。OpenAI 能夠領(lǐng)先,先進(jìn) AI 顯卡用到的 GPU 是功不可沒(méi)的,背靠微軟這棵大樹(shù),他們?cè)谒懔Y源上不會(huì)受到限制, GPT -4的訓(xùn)練就使用了2萬(wàn)張 NVIDIA 的 AI 顯卡訓(xùn)練。
文章來(lái)源寰球財(cái)評(píng)
-
分享本文到:
-
關(guān)注隨銳:
微信掃描,獲取最新資訊 -
聯(lián)系我們:
如果您有任何問(wèn)題或建議,
請(qǐng)與我們聯(lián)系:
suiruikeji@suirui.com