西雅圖人工智能研究機構Ai2（艾倫人工智能研究所）今日宣布發(fā)布MolmoAct 7B，這是開(kāi)源D空一個(gè)突破性的開(kāi)源具身AI模型，通過(guò)讓機器人在執行動(dòng)作前進(jìn)行"思考"，模型為機器人技術(shù)帶來(lái)了智能。讓機

　　空間推理對AI模型來(lái)說(shuō)并不新鮮，器人這些模型能夠通過(guò)可視化圖像或視頻來(lái)推理世界，間″然后得出結論。規劃例如，″動(dòng)用戶(hù)可以上傳圖像或視頻到OpenAI的發(fā)布ChatGPT，詢(xún)問(wèn)如何組裝桌子的開(kāi)源D空問(wèn)題并得到答案。同樣，模型機器人AI基礎模型可以被指示拿起杯子并放到水槽里。讓機

　　"具身AI需要一個(gè)優(yōu)先考慮推理、器人透明性和開(kāi)放性的間″新基礎，"首席執行官Ali Farhadi表示。規劃"通過(guò)MolmoAct，我們不僅僅是發(fā)布一個(gè)模型；我們正在為AI的新時(shí)代奠定基礎，將強大AI模型的智能帶入物理世界。"

　　大多數機器人AI模型通過(guò)推理提供給它們的語(yǔ)言來(lái)運行，分解自然語(yǔ)言句子——比如上面的例子"拿起柜臺上的杯子放到水槽里"——并將其轉化為動(dòng)作。它們通過(guò)結合從攝像頭和其他傳感器獲得的知識以及命令來(lái)做到這一點(diǎn)。

　　Ai2表示，MolmoAct是該公司稱(chēng)為動(dòng)作推理模型（ARM）的新類(lèi)別AI模型中的首個(gè)，它解釋高級自然語(yǔ)言，然后推理出一系列物理動(dòng)作計劃，以在現實(shí)世界中執行這些動(dòng)作。與市場(chǎng)上當前作為視覺(jué)語(yǔ)言動(dòng)作基礎模型運行的機器人模型不同，ARM將指令分解為一系列航點(diǎn)和動(dòng)作，這些航點(diǎn)和動(dòng)作考慮了模型能夠看到的內容。

　　"一旦它看到世界，它就會(huì )將整個(gè)世界提升到3D中，然后繪制軌跡來(lái)定義其手臂將如何在該空間中移動(dòng)，"Ai2計算機視覺(jué)團隊負責人Ranjay Krishna在接受采訪(fǎng)時(shí)表示。"所以，它為未來(lái)做規劃。在完成規劃后，它才開(kāi)始采取行動(dòng)并移動(dòng)關(guān)節。"

　　ARM和VLA模型都充當機器人的"大腦"，包括AI模型機器人初創(chuàng )公司Physical Intelligence的pi-zero、英偉達公司用于人形機器人的GR00T N1、學(xué)術(shù)研究人員實(shí)驗常用的70億參數開(kāi)源模型OpenVLA，以及930億參數的Octo模型。參數指的是模型用來(lái)做決策和預測的內部變量數量。MolmoAct包含70億個(gè)參數，因此名稱(chēng)中有7B。

　　該公司使用256個(gè)英偉達H100圖形處理單元集群上的1800萬(wàn)個(gè)樣本來(lái)訓練模型，預訓練大約在一天內完成。微調使用64個(gè)H100大約需要2小時(shí)。相比之下，英偉達的GR00T-N2-2B使用1024個(gè)H100在6億個(gè)樣本上進(jìn)行訓練，而Physical Intelligence使用9億個(gè)樣本和未披露數量的芯片訓練pi-zero。

　　"很多這些公司給你這些技術(shù)報告，但這些技術(shù)報告看起來(lái)是這樣的：它們中間有一個(gè)大黑盒，上面寫(xiě)著(zhù)'Transformer'，對吧？除此之外，你真的不知道發(fā)生了什么，"Krishna說(shuō)。

　　與市場(chǎng)上許多當前模型不同，MolmoAct 7B是在大約12000個(gè)來(lái)自真實(shí)環(huán)境（如廚房和臥室）的"機器人事件"精選開(kāi)放數據集上訓練的。這些演示用于映射目標導向的動(dòng)作——比如整理枕頭和收拾洗衣。

　　Krishna解釋說(shuō)，MolmoAct通過(guò)完全開(kāi)放克服了這個(gè)行業(yè)透明度挑戰，提供其代碼、權重和評估，從而解決了"黑盒問(wèn)題"。它既在開(kāi)放數據上訓練，其內部工作原理也是透明和公開(kāi)可用的。

　　為了增加更多控制，用戶(hù)可以在執行前預覽模型的計劃動(dòng)作，其預期運動(dòng)軌跡疊加在攝像頭圖像上。這些計劃可以使用自然語(yǔ)言或在觸摸屏上繪制修正來(lái)修改。

　　這為開(kāi)發(fā)人員或機器人技術(shù)人員在家庭、醫院和倉庫等不同環(huán)境中控制機器人提供了細粒度方法。

　　Ai2表示，該公司使用SimPLER評估了MolmoAct的預訓練能力，這是一個(gè)使用一組模擬測試環(huán)境來(lái)測試常見(jiàn)真實(shí)世界機器人設置的基準。使用該基準，該模型實(shí)現了72.1%的最先進(jìn)任務(wù)成功率，擊敗了來(lái)自Physical Intelligence、谷歌、微軟和英偉達的模型。

　　"MolmoAct是我們進(jìn)入這個(gè)領(lǐng)域的第一次嘗試，表明推理模型是訓練這些大規模機器人基礎模型的正確方式，"Krishna說(shuō)。"我們的使命是實(shí)現真實(shí)世界的應用，所以任何人都可以下載我們的模型，然后為他們的任何目的進(jìn)行微調，或者嘗試開(kāi)箱即用。"

　　Q&A

　　Q1：MolmoAct 7B是什么？它有什么特別之處？

　　A：MolmoAct 7B是由Ai2發(fā)布的突破性開(kāi)源具身AI模型，屬于動(dòng)作推理模型（ARM）新類(lèi)別。它的特別之處在于能夠解釋高級自然語(yǔ)言，然后推理出物理動(dòng)作計劃，在執行前先進(jìn)行"思考"和3D空間規劃，而不是直接執行動(dòng)作。

　　Q2：MolmoAct與其他機器人AI模型有什么區別？

　　A：與傳統的視覺(jué)語(yǔ)言動(dòng)作模型不同，MolmoAct會(huì )將整個(gè)世界提升到3D空間，繪制軌跡定義手臂移動(dòng)路徑，為未來(lái)做規劃后才開(kāi)始行動(dòng)。它還完全開(kāi)源，提供代碼、權重和評估，解決了行業(yè)中的"黑盒問(wèn)題"，用戶(hù)還可以預覽和修改機器人的計劃動(dòng)作。

　　Q3：MolmoAct的訓練數據和性能如何？

　　A：該模型使用約12000個(gè)來(lái)自真實(shí)環(huán)境的"機器人事件"數據集訓練，在256個(gè)英偉達H100 GPU上用1800萬(wàn)樣本預訓練約一天完成。在SimPLER基準測試中，它實(shí)現了72.1%的任務(wù)成功率，超越了Physical Intelligence、谷歌、微軟和英偉達的模型。

特別聲明：以上文章內容僅代表作者本人觀(guān)點(diǎn)，不代表新浪網(wǎng)觀(guān)點(diǎn)或立場(chǎng)。如有關(guān)于作品內容、版權或其它問(wèn)題請于作品發(fā)表后的30日內與新浪網(wǎng)聯(lián)系。

(責任編輯：熱點(diǎn))