亚洲三级在线播放_国产精品亚洲二区在线_精品国产电影久久久久_免费popnhub国产在线视频 - 美女被艹网站

金財晚報

金財晚報

當前位置:首頁>財富人生>

ElonMusk透露:訓練下一代Grok3模型,需要100000個H10

來源:證券之星 作者:葉知秋 發(fā)布時間:2024-04-10 13:12   閱讀量:4784   

如果您希望可以時常見面,歡迎標星收藏哦~

特斯拉首席執(zhí)行官、xAI創(chuàng)始人埃隆·馬斯克對通用人工智能的發(fā)展做出了一些大膽的預(yù)測,并討論了人工智能行業(yè)面臨的挑戰(zhàn)。據(jù)路透社報道,他預(yù)測 AGI 最快將于明年或 2026 年超越人類智能,但需要大量處理器進行訓練,而這又需要大量電力 。

馬斯克的企業(yè) xAI 目前正在訓練其 Grok 大語言模式的第二個版本,預(yù)計在 5 月份完成下一階段的訓練。Grok 版本 2 模型的訓練需要多達 20,000 個 Nvidia H100 GPU,馬斯克預(yù)計未來的迭代將需要更多的資源,Grok 3 模型需要大約 100,000 個 Nvidia H100 芯片來訓練。

馬斯克表示,人工智能技術(shù)的進步目前受到兩個主要因素的阻礙:先進處理器的供應(yīng)短缺以及電力的供應(yīng)。

Nvidia 的 H100 GPU在充分利用時功耗約為 700W,因此用于 AI 和 HPC 工作負載的 100,000 個 GPU 可能會消耗高達 70 兆瓦的功率。由于這些 GPU 需要服務(wù)器和冷卻來運行,因此可以肯定地說,擁有 100,000 個 Nvidia H100 處理器的數(shù)據(jù)中心將消耗大約 100 兆瓦的電力,這相當于一個小城市的耗電量。

馬斯克強調(diào),雖然迄今為止計算 GPU 供應(yīng)一直是一個重大障礙,但電力供應(yīng)在未來一兩年內(nèi)將變得越來越重要。這種雙重約束凸顯了擴展人工智能技術(shù)以滿足不斷增長的計算需求的挑戰(zhàn)。

盡管面臨挑戰(zhàn),但計算和內(nèi)存架構(gòu)的進步將使未來幾年能夠訓練日益龐大的大型語言模型成為可能。Nvidia在 GTC 2024 上展示了 Blackwell B200,這是一種 GPU 架構(gòu)和平臺,旨在擴展到具有數(shù)萬億參數(shù)的 LLM。這將在AGI的發(fā)展中發(fā)揮關(guān)鍵作用。

事實上,馬斯克相信,比最聰明的人類更聰明的人工智能將在未來一兩年內(nèi)出現(xiàn)。“如果你將 AGI 定義為比最聰明的人類更聰明,我認為可能是明年,兩年之內(nèi),”馬斯克在接受 X Spaces 采訪時表示。這意味著顯然是時候再次觀看《終結(jié)者》了,并希望我們未來的 AGI 霸主會比天網(wǎng)更好。

正在研究英偉達的新型人工智能芯片

盡管埃隆·馬斯克傾向于與科技競爭對手較量,但他也渴望獲得英偉達最熱門的科技芯片。

上個月,在這家芯片制造商于加利福尼亞州圣何塞舉行的年度 GPU 技術(shù)大會 期間,兩位 xAI 聯(lián)合創(chuàng)始人(馬斯克創(chuàng)立的作為 OpenAI 競爭對手的人工智能公司)在所謂的人工智能伍德斯托克舉行了會議。

xAI 聯(lián)合創(chuàng)始人 Igor Babuschkin 隨后主持了一場演講,介紹了該公司如何使用 Nvidia 的 GPU 以及機器學習框架 JAX來訓練其聊天機器人Grok。同一天,另一位 xAI聯(lián)合創(chuàng)始人兼研究科學家 Christian Szegedy與 Nvidia 數(shù)據(jù)科學家 Bojan Tunguz 進行了爐邊聊天,討論了軟件合成和驗證、LLM 對齊以及 Grok 的趣味模式。

即使他沒有上臺,馬斯克的話也出現(xiàn)在了會議中:這位首席執(zhí)行官在英偉達新型 Blackwell 芯片的官方新聞稿中被引用。他在聲明中表示:“目前沒有什么比 Nvidia 的人工智能硬件更好的了。” Nvidia、特斯拉和 xAI 均立即回復了置評請求。

馬斯克的特斯拉被他稱為“一家人工智能/機器人公司,在許多人看來就像一家汽車公司”,該公司一直依賴英偉達驅(qū)動的超級計算機來生產(chǎn)電動汽車——至少直到去年 7 月,馬斯克在特斯拉財報 中表示。演示中,電動汽車制造商 將致力于建造自己的 10 億美元超級計算機,名為 Dojo。一月份,馬斯克在推特上表示,建造這臺超級計算機將花費 5 億美元,但與特斯拉在 Nvidia 硬件上的花費相比,這筆費用只是九牛一毛。他寫道:“目前,在人工智能領(lǐng)域保持競爭力每年至少需要數(shù)十億美元。”

盡管馬斯克是英偉達的客戶,但他也批評了這家芯片制造商,并暗示競爭即將到來。去年 6 月,他在 X 上寫道, Nvidia “不會永遠壟斷大規(guī)模訓練和推理” 。

英偉達已經(jīng)有全球頂級科技公司在排隊購買其新的 Blackwell 芯片。其最大的兩個客戶微軟和 Meta已經(jīng)宣布已經(jīng)下訂單。得益于芯片制造商 Blackwell 之前的芯片 H100,Nvidia 在 2 月份成為第一家市值達到 2 萬億美元的半導體公司,并成為世界上最有價值的公司之一。英偉達第四季度收益超出了華爾街預(yù)期,營收達 220 億美元,較上年增長近 270%。

點這里加關(guān)注,鎖定更多原創(chuàng)內(nèi)容

今天是《半導體行業(yè)觀察》為您分享的第3731期內(nèi)容,歡迎關(guān)注。

『半導體第一垂直媒體』

實時 專業(yè) 原創(chuàng) 深度

公眾號ID:icbank

喜歡我們的內(nèi)容就點“在看”分享給小伙伴哦

鄭重聲明:此文內(nèi)容為本網(wǎng)站轉(zhuǎn)載企業(yè)宣傳資訊,目的在于傳播更多信息,與本站立場無關(guān)。僅供讀者參考,并請自行核實相關(guān)內(nèi)容。

mangren

財經(jīng)視界

財經(jīng)圖文

熱門推薦

金財晚報僅作為用戶獲取信息之目的,并不構(gòu)成投資建議。市場有風險 投資需謹慎。

網(wǎng)站地圖

Copyright 2018- 金財晚報 All Rights Reserved 聯(lián)系我們: 備案號:蜀ICP備13010463號