在線群聊,極大地方便了人們的溝通,能否把機器也拉進群,讓它們組團商量著干活,和人類無障礙地溝通和交流,更好地服務(wù)于生產(chǎn)生活?這極具科幻風格的一幕已經(jīng)成為現(xiàn)實。
記者獲悉,西北工業(yè)大學光電與智能研究院李學龍教授團隊在機器交互方面取得創(chuàng)新進展:基于國產(chǎn)大模型,研發(fā)了“群聊式”無人機控制框架,給每架無人機裝上了大腦,讓無人機集群在語言溝通中動態(tài)協(xié)同,實現(xiàn)了開放環(huán)境下“人機”和“多機”的對話交互,打破人類和機器的交互壁壘,進一步拓展了臨地安防的應(yīng)用場景。
團隊提出“群聊式”對話交互方法,將聲音、圖像和無人機自身狀態(tài)等多種信息,通過大模型轉(zhuǎn)換為自然語言的對話形式,實現(xiàn)了用戶與無人機,以及無人機與無人機之間自主和直觀的交互方式。同時,團隊設(shè)計了一套高效的實時反饋機制,使得無人機能夠在任務(wù)執(zhí)行的關(guān)鍵節(jié)點通過對話報告自身狀態(tài)、尋求用戶確認,大大提高了復雜任務(wù)執(zhí)行的穩(wěn)定性和安全性。
在飛行過程中,無人機主動感知外部環(huán)境,實時調(diào)整任務(wù)規(guī)劃,是完成復雜任務(wù)的關(guān)鍵環(huán)節(jié)。針對此,團隊設(shè)計了任務(wù)引導的主動感知機制,提出了多傳感器融合的低空搜索、動態(tài)避障和視覺定位算法。在實際任務(wù)執(zhí)行中,根據(jù)感知信息和任務(wù)目標,動態(tài)調(diào)整無人機飛行路徑和觀測位姿,嘗試從不同角度和位置感知周圍世界,逐漸降低環(huán)境中的不確定性,實現(xiàn)高效的信息采集和任務(wù)執(zhí)行。
探索復合智能體形態(tài),增強復雜任務(wù)處理能力,是大模型時代新型智能體的研究重點。針對此,團隊依托無人機平臺設(shè)計了夾爪等末端執(zhí)行器,將傳統(tǒng)無人機拓展為“飛行機器人”,長出“手”來,具備抓取能力。同時,構(gòu)建了異構(gòu)無人機集群協(xié)同控制機制,結(jié)合環(huán)境感知反饋,實時調(diào)整無人機編隊的飛行狀態(tài),使集群分工執(zhí)行區(qū)域搜索、目標定位和抓取等任務(wù)。
記者獲悉,大模型自主無人機集群是該團隊將生物智能“思維計算-實體控制-環(huán)境感知”的三元交互模式應(yīng)用于自主智能體的一次成功嘗試,依托大語言模型、無人機平臺和多種傳感器,對安防巡檢、災害救援、空中物流等臨地安防場景下的應(yīng)用具有重要意義。
責任編輯:白子璐
關(guān)注公眾號,隨時閱讀陜西工人報
陜工網(wǎng)——陜西工人報 © 2018 sxworker.com. 地址:西安市蓮湖路239號 聯(lián)系電話:029-87344649 E-mail:sxworker@126.com
陜ICP備17000697號 版權(quán)所有 Copyright 2005陜工網(wǎng) 未經(jīng)書面授權(quán)不得轉(zhuǎn)載或鏡像 網(wǎng)站圖文若涉及侵權(quán),請聯(lián)系我們刪除。