近日，清華大學(xué)智能產(chǎn)業(yè)研究院（AIR）在2024年12月24日發(fā)布了一項(xiàng)名為 AutoDroid-V2的 AI 模型，旨在優(yōu)化移動(dòng)設(shè)備的自動(dòng)化控制能力。該模型通過(guò)小型語(yǔ)言模型的應(yīng)用，顯著提升了用戶(hù)通過(guò)自然語(yǔ)言進(jìn)行操作的效率。

AutoDroid-V2采用了一種基于腳本的方法，與傳統(tǒng)依賴(lài)云端大型語(yǔ)言模型（LLM）的方式不同。這一創(chuàng)新使得設(shè)備能夠高效執(zhí)行用戶(hù)指令，減少了對(duì)云服務(wù)的依賴(lài)，從而在隱私和安全性方面有了顯著的提升。同時(shí)，它也降低了用戶(hù)端的流量消耗及服務(wù)器端的運(yùn)行成本，推進(jìn)了移動(dòng)設(shè)備的廣泛應(yīng)用。

在項(xiàng)目背景上，近年來(lái)，大型語(yǔ)言模型和視覺(jué)語(yǔ)言模型的崛起使得通過(guò)自然語(yǔ)言命令控制移動(dòng)設(shè)備成為可能。這些技術(shù)為復(fù)雜用戶(hù)任務(wù)的解決提供了新的途徑。然而，傳統(tǒng)的 “逐步 GUI 智能體” 方法存在著高流量消耗和隱私安全風(fēng)險(xiǎn)的問(wèn)題，使得大規(guī)模部署面臨障礙。

AutoDroid-V2的創(chuàng)新之處在于，它能夠根據(jù)用戶(hù)指令生成多步驟腳本，進(jìn)而一次性執(zhí)行多個(gè) GUI 操作。這種方式大幅減少了查詢(xún)頻率，降低了資源消耗，并且能夠在用戶(hù)設(shè)備上直接生成和執(zhí)行任務(wù)腳本。該模型在離線(xiàn)狀態(tài)下會(huì)構(gòu)建應(yīng)用程序文檔，為后續(xù)的腳本生成打下基礎(chǔ)。

在性能測(cè)試中，AutoDroid-V2在23款移動(dòng)應(yīng)用上進(jìn)行了226項(xiàng)任務(wù)的基準(zhǔn)測(cè)試，相較于之前的模型，如 AutoDroid 和 SeeClick 等，任務(wù)完成率提升了10.5% 到51.7%。此外，其輸入和輸出的 token 消耗分別減少至43.5分之一和5.8分之一，模型推理延遲降低至原來(lái)的5.7到13.4分之一。這些成果顯示了 AutoDroid-V2在實(shí)際應(yīng)用中的高效性和可靠性。