機(jī)器人廣泛應(yīng)用于危險(xiǎn)、骯臟和昏暗的環(huán)境中，在這些環(huán)境中人類極難或不可能存在，因此這些機(jī)器人需要完全任務(wù)自主。與機(jī)器人遙操作相關(guān)的挑戰(zhàn)之一是由機(jī)器人的機(jī)載傳感器引起的人類操作員的感知限制。例如，車載攝像頭只能為操作員提供第一人稱視角 (FPV)。FPV不包含任何深度信息，感知受相機(jī)視野的限制。如圖1a所示，操作員無法判斷機(jī)械臂固定的輻射傳感器是否已到達(dá)隔板。為了解決這個(gè)問題，機(jī)器人上安裝了多個(gè)攝像頭，以提供不同功能單元的多個(gè)視覺反饋。然而，在不同視點(diǎn)之間不斷切換會(huì)干擾操作員，并且環(huán)境中仍然存在多個(gè)固定攝像機(jī)視野之外的盲點(diǎn)。
地面機(jī)器人在國(guó)土安全應(yīng)用、災(zāi)難響應(yīng)和檢查任務(wù)中的常見做法是使用輔助機(jī)器人，由它們提供主機(jī)器人正在執(zhí)行的任務(wù)的視圖。在福島第一核電站，遙控機(jī)器人從響應(yīng)開始就成對(duì)使用，以減少完成任務(wù)所需的時(shí)間。圖1b展示了兩個(gè) iRobot Packbot 在工廠設(shè)施內(nèi)進(jìn)行輻射調(diào)查和讀取刻度盤，其中第二個(gè)Packbot 提供第一個(gè)機(jī)器人的攝像頭視圖，以便更快地操縱門把手、閥門和傳感器。然而，這種方法的問題在于，執(zhí)行一項(xiàng)任務(wù)需要兩個(gè)機(jī)器人和 2-4 個(gè)操作員。兩組機(jī)器人操作員發(fā)現(xiàn)很難與另一個(gè)機(jī)器人協(xié)調(diào)以獲取并保持所需的視野，但單個(gè)操作員在嘗試操作兩個(gè)機(jī)器人時(shí)會(huì)感到困難。附加的團(tuán)隊(duì)合作需求和溝通不暢可能會(huì)導(dǎo)致問題：在 2014 年，一個(gè)價(jià)值超過 50 萬美元的 iRobot Warrior 因無法看到它即將執(zhí)行無法成功完成的動(dòng)作而受損。
(a)車載攝像機(jī)FPV (b)兩個(gè)打包機(jī)打開一扇門
圖1 當(dāng)前機(jī)器人遙操作的問題
可以通過使用系在主機(jī)器人上的無人駕駛飛行器 (UAV) 來代替第二視覺輔助機(jī)器人和額外的操作員。視覺輔助過程是使用基于系繩的定位控制器和視覺伺服算法來實(shí)現(xiàn)的，以保持以恒定的6自由度姿態(tài)觀察操作員的興趣點(diǎn) (POI)。
異構(gòu)機(jī)器人團(tuán)隊(duì)由 UGV、iRobot Packbot 和系留無人機(jī)Fotokite Pro組成(圖2左)。圖2右側(cè)顯示了一個(gè)概念驗(yàn)證場(chǎng)景，其中Fotokite 正在協(xié)助 Packbot 拾取輻射傳感器并將其放入白色垂直管道中。
圖2 異構(gòu)機(jī)器人團(tuán)隊(duì)
主機(jī)器人
iRobot Packbot 用作遠(yuǎn)程操作任務(wù)的主要代理。Packbot 已被用于不同的場(chǎng)景，包括伊拉克和阿富汗戰(zhàn)爭(zhēng)，2001年 9/11 后搜索世貿(mào)中心的廢墟，以及 2011 年東北地震和海嘯后的福島第一核電站。它至少有三個(gè)機(jī)載攝像頭，但是，仍然不足以提供良好的態(tài)勢(shì)感知(圖1a)。在受限且雜亂的搜救任務(wù)中，Packbot 總是成對(duì)部署(圖1b) 并需要 2-4個(gè)運(yùn)算符。
視覺助手
Fotokite 用作視覺助手。無人機(jī)的系繩角度傳感器和地面站的系繩卷軸編碼器使其能夠相對(duì)于其主地面機(jī)器人進(jìn)行定位和定位，而無需GPS信號(hào)和視覺里程計(jì)。Fotokite 的控制基于系繩角度、長(zhǎng)度和慣性測(cè)量。飛機(jī)位置控制使用系繩長(zhǎng)度 ,海拔 (系繩的垂直角度)和方位角 (系繩的水平角度)。飛機(jī)的位置可以用極坐標(biāo)系(圖 3)表示，并且很容易轉(zhuǎn)換到歐幾里得空間：
圖3 飛機(jī)位置坐標(biāo)
設(shè)置
Fotokite的地面站機(jī)械安裝在Packbot 上。現(xiàn)階段項(xiàng)目尚未實(shí)現(xiàn)自動(dòng)起降。由于視覺助手只向主機(jī)器人的操作員提供反饋，因此兩個(gè)代理之間不需要通信。服務(wù)器作為地面站和機(jī)外視覺輔助控制單元之間的中繼而構(gòu)建，它們通過2.4GHz 無線電相互通信。服務(wù)器從Fotokite地面站的串行端口接收狀態(tài)更新，并將它們無線傳送到控制單元。飛機(jī)運(yùn)動(dòng)命令在控制單元計(jì)算，通過無線電傳輸?shù)椒?wù)器，然后發(fā)送到地面站。Fotokite 相機(jī)的視頻由板載媒體編碼器和流媒體無線傳輸。
圖4顯示了視覺伺服界面的示例時(shí)間步長(zhǎng)及其在世界坐標(biāo)系中的實(shí)際姿態(tài)。在左側(cè)，綠色小框表示所需的標(biāo)簽姿態(tài)，彩色框(藍(lán)色、紅色和綠色線)是當(dāng)前檢測(cè)到的標(biāo)簽姿態(tài)(綠色大框僅用于可視化具有深度信息的 6-DOF 標(biāo)簽跟蹤)。當(dāng)前檢測(cè)到的位姿框應(yīng)該會(huì)收斂到所需的位姿框，并有一些由飛機(jī)振動(dòng)引起的干擾。兩個(gè)方塊共心是不夠的，兩個(gè)方塊的四條線也應(yīng)該相互重疊，說明不僅POI位置，深度和方向都是伺服的。
圖4 視覺伺服(俯仰)的一個(gè)示例時(shí)間步長(zhǎng)
使用系留無人機(jī)，地面機(jī)器人的操作員可以得到第三人稱視角的視覺輔助。視覺伺服方法能夠成功地將視覺助手驅(qū)動(dòng)到移動(dòng)的POI，同時(shí)保持操作員觀察所需的姿勢(shì)。這種方法為未來的遙操作視覺輔助研究奠定了基礎(chǔ)，并有可能提高遙操作性能。
