基于事件相機(jī)的機(jī)器人感知與控制綜述

近年來, 類似無人機(jī)、機(jī)械臂等機(jī)器人系統(tǒng)在各個(gè)領(lǐng)域(如消防安防、植保農(nóng)業(yè)、工廠制造等)得到日益廣泛的應(yīng)用, 四足機(jī)器人、人形機(jī)器人等系統(tǒng)也成為機(jī)器人領(lǐng)域的研究熱點(diǎn); 可以預(yù)見機(jī)器人系統(tǒng)將在未來的智能制造、工業(yè)4.0革命中發(fā)揮愈發(fā)突出的作用. 上述機(jī)器人系統(tǒng)均為結(jié)構(gòu)復(fù)雜、高度集成的機(jī)電系統(tǒng), 系統(tǒng)的運(yùn)動(dòng)規(guī)劃和控制常依賴對(duì)所在環(huán)境和目標(biāo)的感知測(cè)量. 目前大部分的無人機(jī)、機(jī)械臂均采用傳統(tǒng)的幀相機(jī)作為感知器件, 但是, 幀相機(jī)具有固有的高數(shù)據(jù)量、低時(shí)間分辨率、高延遲等特點(diǎn), 對(duì)快速運(yùn)動(dòng)的物體感知能力較弱, 極大地限制了機(jī)器人的操控能力.

在此背景下, 一種基于生物視覺成像原理的神經(jīng)形態(tài)傳感器——事件相機(jī)受到機(jī)器人領(lǐng)域?qū)W者的關(guān)注, 將其與機(jī)器人感知和控制結(jié)合, 涌現(xiàn)出一批突破傳統(tǒng)幀相機(jī)限制的機(jī)器人控制成果. 本文從事件相機(jī)的基本原理開始, 依次綜述事件相機(jī)與無人機(jī)、機(jī)械臂、人形機(jī)器人結(jié)合的最新成果, 并介紹在控制方法上, 結(jié)合事件相機(jī)特性的控制技術(shù)最新發(fā)展, 以期對(duì)這一快速發(fā)展的領(lǐng)域提供參考. 本文結(jié)構(gòu)圖如圖1所示.

圖 1  本文結(jié)構(gòu)圖

Fig. 1  Structure diagram of this paper

1.   事件相機(jī)簡(jiǎn)介

1.1   事件相機(jī)的基本原理

事件相機(jī)(Event camera)是受生物視覺系統(tǒng)啟發(fā)的一類新型神經(jīng)形態(tài)視覺傳感器, 與基于幀的視覺傳感器在工作原理上存在著不同. 幀相機(jī)(Frame camera)的曝光時(shí)間是固定的, 即便某個(gè)像素上的光照沒有發(fā)生變化, 它也會(huì)重復(fù)曝光. 相比之下, 事件相機(jī)的每個(gè)像素點(diǎn)獨(dú)立的檢測(cè)其上的亮度變化, 生成異步的事件流數(shù)據(jù), 該數(shù)據(jù)包括時(shí)間戳、像素地址和亮度變化的極性.

事件相機(jī)像素點(diǎn)上的亮度變化要由目標(biāo)對(duì)象或傳感器運(yùn)動(dòng)引起[1]. 當(dāng)多個(gè)像素點(diǎn)同時(shí)請(qǐng)求事件輸出時(shí), 這些事件將以亞微秒級(jí)時(shí)延異步輸出并構(gòu)成事件流. 旋轉(zhuǎn)圓盤場(chǎng)景下幀相機(jī)與事件相機(jī)輸出對(duì)比如圖2所示, 展示了傳統(tǒng)幀相機(jī)與事件相機(jī)對(duì)高速轉(zhuǎn)動(dòng)圓盤上固定點(diǎn)進(jìn)行一段時(shí)間跟蹤拍攝得到的結(jié)果. 圖2(a)顯示傳統(tǒng)幀相機(jī)以固定頻率記錄整個(gè)圓盤信息, 信息冗余度高, 幀間丟失了跟蹤點(diǎn)的信息. 而圖2(b)的事件相機(jī)則連續(xù)記錄跟蹤點(diǎn)對(duì)應(yīng)的運(yùn)動(dòng)事件, 以異步的方式記錄有用的運(yùn)動(dòng)信息, 具有低時(shí)延、低帶寬需求的特點(diǎn).

圖 2  旋轉(zhuǎn)圓盤場(chǎng)景下幀相機(jī)與事件相機(jī)輸出對(duì)比[2-3]. 幀相機(jī)在每一幀圖像中記錄全部像素點(diǎn)上的數(shù)據(jù), 即使圓盤中大部分區(qū)域的信息是無用的; 事件相機(jī)僅記錄圓盤中的黑點(diǎn)位置, 因此僅對(duì)運(yùn)動(dòng)的有效信息輸出事件

Fig. 2  Comparison of outputs between frame camera and event camera in rotating disc scene[2-3]. The frame camera records the data on all pixels in each frame image, even if the information in most areas of the disc is useless; The event camera only records the position of black spots in the disc, so it only outputs events for the effective information of motion

事件被觸發(fā)以像素地址-事件流的形式輸出, 地址?事件流數(shù)據(jù)包含事件的像素坐標(biāo)、觸發(fā)時(shí)間和極性(亮度變化的信號(hào))三類信息. 觸發(fā)的事件表示為

事件e表示在事件相機(jī)上位于(x,y)T${\left(x,y\right)}^{\mathrm{T}}$處的像素點(diǎn)在t時(shí)刻因亮度變化而被觸發(fā)的事件. ρ(p,c)$\rho (p,c)$為一個(gè)截?cái)嗪瘮?shù).

c為事件點(diǎn)的激發(fā)閾值, p為亮度變化值. 當(dāng)亮度增量大于c時(shí), 激發(fā)正極性事件點(diǎn), 當(dāng)亮度增量小于 ?c時(shí), 激發(fā)負(fù)極性事件點(diǎn), 當(dāng)亮度增量的絕對(duì)值小于c時(shí), 事件相機(jī)無輸出.

1.2   事件相機(jī)的發(fā)展歷程

事件相機(jī)的出現(xiàn), 可以追溯到1992年, Mahowald[4]在博士論文中提出了一種“硅視網(wǎng)膜”視覺傳感器. 這是首個(gè)輸出地址?事件流的視覺傳感器, 但它只是事件相機(jī)的雛形, 像素面積過大導(dǎo)致它無法得到實(shí)際使用. Boahen[5]在2002年開發(fā)了編碼增量視覺信號(hào)的視網(wǎng)膜啟發(fā)芯片, 模擬生物視網(wǎng)膜的空間視覺通路(Parallel pathway).

Kramer[6]在2002年提出了一種積分光瞬態(tài)傳感器, 缺點(diǎn)是傳感器的對(duì)比靈敏度較低. Ruedi等[7]在2003年提出了空間對(duì)比度和局部定向視覺傳感器, 其輸出編碼的是空間對(duì)比度而不是時(shí)間對(duì)比度. 在一個(gè)全局幀積分周期之后, 該設(shè)備按從高到低的空間對(duì)比順序傳輸事件, 每個(gè)對(duì)比度事件后面都跟著一個(gè)編碼梯度方向的事件. Luo等[8]在2006年提出了一種基于首次時(shí)間脈沖(Time-to-first-spike, TTFS)技術(shù)的CMOS (Complementary metal oxide semiconductor)相機(jī), 該相機(jī)利用每個(gè)像素的單個(gè)脈沖時(shí)序來編碼每個(gè)像素的光度. 這種光度的時(shí)間表示可以將圖像傳感器的動(dòng)態(tài)范圍擴(kuò)大到100 dB以上, 并引入了異步地址事件讀取技術(shù)以降低功耗. Chi等[9]在2007年提出了一種時(shí)間變化閾值檢測(cè)相機(jī), 它對(duì)傳統(tǒng)源像素傳感器(Active pixel sensor, APS)的像素進(jìn)行了改進(jìn), 使其能夠檢測(cè)絕對(duì)光度變化, 該同步裝置存儲(chǔ)信號(hào)變化的像素地址, 構(gòu)成一種同步地址事件表示(Address event representation, AER)的圖像傳感器. Lichtsteine等[10]在2008年提出了第一臺(tái)商用的事件相機(jī), 稱為基于異步事件的動(dòng)態(tài)視覺傳感器(Dynamic vision sensor, DVS). 在DVS的基礎(chǔ)上, 目前已經(jīng)開發(fā)了幾種具有附加功能的事件相機(jī). 如DAVIS、ATIS等, 詳見第1.4節(jié).

1.3   事件相機(jī)的主要特點(diǎn)

事件相機(jī)異步地測(cè)量每個(gè)像素的亮度變化, 而非以固定速率捕獲圖像幀, 因此能克服傳統(tǒng)幀相機(jī)的局限性并且具有特有的優(yōu)異屬性, 如高時(shí)間分辨率、低延遲、低功耗、高動(dòng)態(tài)范圍等, 在高速和高動(dòng)態(tài)范圍場(chǎng)景中有著廣闊的應(yīng)用空間.

1)高時(shí)間分辨率. 事件相機(jī)是通過檢測(cè)像素點(diǎn)處的亮度變化產(chǎn)生事件, 其對(duì)亮度變化產(chǎn)生的響應(yīng)速度極快, 輸出頻率可達(dá)1 MHz, 即事件時(shí)間戳分辨率為微秒級(jí). 因此, 事件相機(jī)可以捕捉到高速運(yùn)動(dòng), 不會(huì)受到運(yùn)動(dòng)模糊的影響.

2)低延遲. 事件相機(jī)可近乎實(shí)時(shí)地輸出亮度變化, 平均延遲在μs$\mu \mathrm{s}$數(shù)量級(jí), 而傳統(tǒng)相機(jī)受幀率限制, 采樣等待時(shí)間是0和1/f之間的均勻分布, 其中f是幀速率. 因此, 事件相機(jī)對(duì)輸入變化具有超低延遲, 實(shí)驗(yàn)測(cè)試中時(shí)延約為10μs$10\mu \mathrm{s}$, 在真實(shí)應(yīng)用中可達(dá)亞毫秒級(jí)[11].

3)低數(shù)據(jù)量和低功耗. 事件相機(jī)以稀疏事件流的形式輸出視覺信號(hào), 事件流中不包含靜態(tài)背景的任何信息, 因此過濾了大量冗余數(shù)據(jù). 因?yàn)閮H傳輸像素點(diǎn)的亮度變化, 不需要用于像素讀取的模數(shù)轉(zhuǎn)換器, 從而避免了大量冗余數(shù)據(jù)的傳輸, 能耗僅用于處理變化的像素. 大多數(shù)事件相機(jī)功耗約在10 mW級(jí), 甚至有些相機(jī)原型的功耗低于10μW$10\mu \mathrm{W}$. 基于事件相機(jī)構(gòu)建的嵌入式系統(tǒng), 其系統(tǒng)整體的功耗一般大約為100 mW, 甚至更低[12–14].

4)高動(dòng)態(tài)范圍. 事件相機(jī)不受白平衡、感光度等統(tǒng)一成像參數(shù)影響, 在圖像過暗、曝光過度、光線突變等情況下, 依然可以通過觸發(fā)事件來獲取視覺信息. 因此, 具有極高的動(dòng)態(tài)范圍(>120 dB), 甚至可高達(dá)143 dB[15]. 而幀相機(jī)通常只能達(dá)到60 dB, 所以, 事件相機(jī)在光照條件良好的白天或者光線較暗的夜晚均能夠有效地工作.

上述優(yōu)點(diǎn)與各類機(jī)器人控制結(jié)合, 能夠突破傳統(tǒng)幀相機(jī)的限制, 實(shí)現(xiàn)機(jī)器人系統(tǒng)對(duì)快速運(yùn)動(dòng)目標(biāo)的感知和響應(yīng)、大大降低感知系統(tǒng)的功耗、提高在復(fù)雜光照(強(qiáng)光、暗光)條件中的感知能力. 盡管如此, 目前在應(yīng)用上也存在一些挑戰(zhàn), 主要包括硬件缺陷造成的挑戰(zhàn)以及處理范式轉(zhuǎn)變帶來的挑戰(zhàn)[11]:

1)噪聲. 光子中存在固有的散粒噪聲以及晶體管電路中存在的噪聲, 使得視覺傳感器本身就攜帶大量的噪聲事件, 當(dāng)物體或相機(jī)運(yùn)動(dòng)時(shí)也會(huì)產(chǎn)生一系列噪聲事件, 并且它們是非理想性的. 因此如何從噪聲中提取有效事件信息是研究者所要解決的問題.

2)信息的處理. 與幀相機(jī)提供的灰度信息相比, 事件相機(jī)產(chǎn)生的每個(gè)事件僅提供二進(jìn)制亮度變化信息(亮度增加或減少, 以事件的極性表示). 并且亮度變化不僅取決于場(chǎng)景亮度, 還取決于場(chǎng)景和相機(jī)之間的過去和當(dāng)前的運(yùn)動(dòng)變化, 處理這種二進(jìn)制信息具有挑戰(zhàn)性.

3)新的算法. 事件相機(jī)的輸出與幀相機(jī)有著根本的不同, 事件是異步的、空間稀疏的, 而圖像是同步的、密集的. 因此, 現(xiàn)有的大多數(shù)計(jì)算機(jī)視覺算法在事件相機(jī)上無法直接使用, 因此開發(fā)特有的新算法是充分應(yīng)用事件相機(jī)的前提.

1.4   事件相機(jī)的代表性產(chǎn)品

1.4.1   DVS

DVS為事件相機(jī)的一種, 是眾多類視覺傳感器的基礎(chǔ). 它是一種基于時(shí)間的異步動(dòng)態(tài)視覺傳感器, 模擬生物視網(wǎng)膜空間視覺通路的功能, 試圖感知場(chǎng)景的動(dòng)態(tài)信息. DVS像素由快速對(duì)數(shù)光感受器(Photoreceptor)、差分電路(Differencing)和兩個(gè)比較器(Comparators)組成, 以微秒級(jí)時(shí)間分辨率響應(yīng)亮度相對(duì)變化. 它的單個(gè)像素結(jié)構(gòu)和工作原理簡(jiǎn)化圖[10, 16]分別如圖3(a)和圖3(b)所示. 感光電路主要由一個(gè)光電二極管、一個(gè)串聯(lián)的晶體管和一個(gè)負(fù)反饋回路構(gòu)成, 它能感知光線強(qiáng)度變化并及時(shí)給出響應(yīng). 差分電路可以將感光電路的輸出進(jìn)行放大, 并減少晶體管因工藝制作帶來的誤差. 閾值比較電路主要是通過比較器比較電壓的變化實(shí)現(xiàn)ON/OFF事件脈沖的輸出. 若光線變亮, 電壓變化量大于ON事件的閾值, 則會(huì)輸出一個(gè)脈沖表示ON事件; 若光線變暗, 電壓變化量小于OFF事件的閾值, 則會(huì)輸出一個(gè)脈沖表示OFF事件. 如果電壓達(dá)到飽和值, 復(fù)位信號(hào)會(huì)將電壓進(jìn)行復(fù)位, 不產(chǎn)生ON或OFF信號(hào). 2020年Samsung開發(fā)的最新款DVS具有1280 × 960的分辨率, 每像素功耗低至122 nW與4.95 μm的像素間距[17].

圖 3  DVS原理圖

Fig. 3  Schematic diagram of DVS

1.4.2   ATIS

Posch等[15, 18]在2011年提出基于異步時(shí)間的圖像傳感器(Asynchronous time-based image sensor, ATIS). ATIS在DVS上進(jìn)行改進(jìn), 加入了脈沖寬度調(diào)劑環(huán)節(jié), 在其受到光強(qiáng)變化產(chǎn)生事件信號(hào)時(shí)激發(fā)另一子像素進(jìn)行曝光成像, 可以得到亮度變化超過閾值部分像素的強(qiáng)度圖像, 也就是可以在輸出光線強(qiáng)度變化信息的同時(shí)輸出對(duì)應(yīng)點(diǎn)的光線強(qiáng)度信息. Chronocam供應(yīng)的系列最新款A(yù)TIS視覺傳感器擁有304 × 240的分辨率, 最高達(dá)143 dB的動(dòng)態(tài)范圍與30 μm × 30 μm的像素面積.

1.4.3   DAVIS

為了解決DVS難以直接應(yīng)用現(xiàn)有算法的問題, Brandli等[19]和Taverni等[20]開發(fā)了動(dòng)態(tài)和有源像素視覺傳感器(Dynamic and active pixel vision sensor, DAVIS). DAVIS是DVS相機(jī)和傳統(tǒng)的APS相機(jī)的結(jié)合體, 將APS電路和DVS電路共用一個(gè)光電二極管, 實(shí)現(xiàn)異步事件和同步幀級(jí)圖像的同時(shí)輸出. DAVIS像素也分為兩個(gè)子結(jié)構(gòu), 其中一個(gè)子結(jié)構(gòu)用于監(jiān)測(cè)光照變化的事件, 而另一個(gè)子結(jié)構(gòu)像傳統(tǒng)的APS相機(jī)一樣進(jìn)行同步的曝光. 不同于ATIS的是, DAVIS像素的兩個(gè)子結(jié)構(gòu)是共用同一個(gè)感光器的, 而ATIS像素的兩個(gè)子像素有各自的感光器. 因此, DAVIS相機(jī)的像素面積較ATIS相機(jī)的像素面積更小, 前者的填充因數(shù)較后者的更大. 通過DAVIS獲取的灰度圖和通過傳統(tǒng)APS相機(jī)獲取的灰度圖一樣, 具有時(shí)間冗余性和空間冗余性, 并且無法承受高動(dòng)態(tài)范圍的環(huán)境. 由iniVation公司供應(yīng)的系列最新款DAVIS 346視覺傳感器擁有346 × 260的分辨率, 最高達(dá)120 dB的動(dòng)態(tài)范圍與18.5 μm × 18.5 μm的像素面積.

1.4.4   CeleX

2019年上海芯侖科技發(fā)布CeleX-V事件相機(jī)[21], 具有1280 × 800的分辨率, 同時(shí)時(shí)域最大輸出采樣頻率為160 MHz, 動(dòng)態(tài)范圍為120 dB, 是第一款達(dá)到百萬像素級(jí)別的相機(jī), 該傳感器采用65 nm CIS (CMOS image sensor)工藝實(shí)現(xiàn), 像素尺寸為9.8 μm × 9.8 μm, 具有高空間分辨率、高時(shí)域分辨率和高動(dòng)態(tài)范圍的優(yōu)勢(shì), 引起了當(dāng)前事件相機(jī)領(lǐng)域的關(guān)注. CeleX-V將多個(gè)視覺功能集成到一個(gè)圖像傳感器中, 實(shí)現(xiàn)全陣列并行運(yùn)動(dòng)檢測(cè)和全幀圖像輸出, 它還可以實(shí)現(xiàn)片上光流提取.

表1總結(jié)了目前主流事件相機(jī)的性能.

2.   基于事件相機(jī)的無人機(jī)感知和運(yùn)動(dòng)控制

無人機(jī)(Unmanned aerial vehicle, UAV)具有體積小、造價(jià)低、使用方便、對(duì)使用環(huán)境要求低、生存能力較強(qiáng)等優(yōu)點(diǎn), 廣泛應(yīng)用于航拍、植保、測(cè)繪、巡檢等領(lǐng)域. 為了進(jìn)一步提升無人機(jī)對(duì)環(huán)境的感知能力, 已有眾多學(xué)者結(jié)合事件相機(jī)的低數(shù)據(jù)量、低延遲、高動(dòng)態(tài)范圍等特性, 對(duì)無人機(jī)運(yùn)動(dòng)控制問題進(jìn)行了研究, 實(shí)現(xiàn)了在基于傳統(tǒng)幀相機(jī)為感知器件時(shí), 較難實(shí)現(xiàn)的快速感知、避障和垂直降落動(dòng)作.

在無人機(jī)的實(shí)際應(yīng)用中, 會(huì)受到如鳥類、敵方目標(biāo)的干擾, 因此需要在較短的時(shí)間內(nèi)進(jìn)行障礙物的躲避. 無人機(jī)受到重量、功耗等限制, 對(duì)數(shù)據(jù)處理的計(jì)算復(fù)雜性、功耗、延遲有著極大的限制, 因事件相機(jī)低功耗、低數(shù)據(jù)量、低延遲的特性, 很適合裝載于無人機(jī)上, 完成相應(yīng)任務(wù). 從理論上來說, 傳統(tǒng)相機(jī)對(duì)環(huán)境的感知延遲約20 ~ 40 ms, 事件相機(jī)的感知延遲僅為2.2 ± 2 ms, 能夠?yàn)闊o人機(jī)預(yù)留更長(zhǎng)的機(jī)動(dòng)時(shí)間. 下面分別從基于事件相機(jī)的無人機(jī)感知、避障、垂直降落等方面, 介紹該方向的工作.

2.1   無人機(jī)基于事件相機(jī)感知運(yùn)動(dòng)物體

因?yàn)闊o人機(jī)較快的運(yùn)動(dòng)速度, 對(duì)數(shù)據(jù)處理實(shí)時(shí)性提出了較高的要求, 為了研究事件相機(jī)的極限跟蹤效果, Chamorro等[22]提出了一種超快速跟蹤的方法. 使用如圖4所示的實(shí)驗(yàn)環(huán)境, 事件相機(jī)靜止放置于四桿裝置前20 cm, 由直流電機(jī)驅(qū)動(dòng)四桿裝置進(jìn)行快速晃動(dòng), 該裝置上搭載畫有幾何圖形的平面, 用以產(chǎn)生事件, 并通過事件相機(jī)進(jìn)行觀測(cè), 用以求解物體的位姿.

圖 4  實(shí)驗(yàn)環(huán)境[22]

Fig. 4  Experimental environment[22]

圖4(a)模擬了事件相機(jī)成像平面. 這項(xiàng)實(shí)驗(yàn)具有Lie參數(shù)化功能[23], 提出了一種新的Lie-EKF公式用于跟蹤物體的6自由度狀態(tài). 為了測(cè)試該方法的追蹤極限, 直流電機(jī)的速度逐漸增加, 直到大約950 r/min (15.8 Hz), 跟蹤性能開始下降. 在這樣的角速度下, 裝置的速度分析報(bào)告的最大目標(biāo)速度為2.59 m/s. 線性目標(biāo)加速度達(dá)到253.23 m/s2或25.81 g, 遠(yuǎn)遠(yuǎn)高于最苛刻的機(jī)器人應(yīng)用的預(yù)期范圍. 根據(jù)所使用的運(yùn)動(dòng)模型和狀態(tài)參數(shù), 跟蹤器能夠處理89.1%到97.7%的輸入數(shù)據(jù), 達(dá)到實(shí)時(shí)性能, 并以10 kHz的速率產(chǎn)生姿態(tài)更新, 并且即使在亮度驟然變化時(shí)(開、關(guān)燈), 仍然能保證較好的性能.

Mueggler等[2]提出了帶有事件相機(jī)的四旋翼高速機(jī)動(dòng)的全3D軌跡跟蹤, 通過搭載在無人機(jī)上的事件相機(jī)記錄事件流, 事件數(shù)據(jù)由無線網(wǎng)絡(luò)傳輸?shù)焦P記本電腦上實(shí)時(shí)可視化, 同時(shí)記錄了前置標(biāo)準(zhǔn)CMOS相機(jī)的視頻. 實(shí)驗(yàn)過程成功演示了在四旋翼翻轉(zhuǎn)期間轉(zhuǎn)速高達(dá)1200°/s時(shí)的位姿跟蹤. 但是該方法適用環(huán)境有限, 也不能用于閉環(huán)控制.

Dimitrova等[24]在裝有事件相機(jī)的無人機(jī)平臺(tái)上解決了一維姿態(tài)跟蹤的問題, 并實(shí)現(xiàn)了閉環(huán)控制. 在雙旋翼直升機(jī)上搭載事件相機(jī)作為感知設(shè)備. 實(shí)驗(yàn)裝置如圖5所示, 其中黑白圓盤為參考圖, 位于事件相機(jī)前方10 cm的位置, 黑白兩部分之間的分界線為要跟蹤的參考基準(zhǔn)線, 在該實(shí)驗(yàn)中, 將卡爾曼濾波器與改進(jìn)的Hough變換算法相結(jié)合, 構(gòu)成基于事件的狀態(tài)估計(jì)器, 計(jì)算雙旋翼直升機(jī)相對(duì)于基準(zhǔn)線的滾轉(zhuǎn)角和角速度. 并通過旋轉(zhuǎn)編碼器提供轉(zhuǎn)盤和無人機(jī)的真實(shí)測(cè)量角度, 用于評(píng)估基于事件的狀態(tài)估計(jì)器和控制器的性能. 實(shí)驗(yàn)中雙旋翼無人機(jī)已最小化地面和周圍結(jié)構(gòu)的空氣動(dòng)力學(xué)影響, 狀態(tài)估計(jì)器以1 kHz的更新速率和12 ms的延遲執(zhí)行, 能夠以1600°/s的速度跟蹤基準(zhǔn)線, 并同時(shí)控制無人機(jī)以1600°/s的高速跟蹤基準(zhǔn)線. 該方法呈現(xiàn)了良好的事件相機(jī)驅(qū)動(dòng)閉環(huán)控制的結(jié)果. 但是實(shí)驗(yàn)中的狀態(tài)估計(jì)步驟繁瑣, 適用范圍也不廣. 該文作者后續(xù)也將繼續(xù)研究如何使用事件直接編碼控制信號(hào), 完全消除狀態(tài)估計(jì)步驟.

圖 5  實(shí)驗(yàn)裝置[24]

Fig. 5  Experimental platform[24]

2.2   無人機(jī)躲避高速運(yùn)動(dòng)物體

文獻(xiàn)[25]是第一個(gè)使用事件相機(jī)進(jìn)行躲避高速運(yùn)動(dòng)物體的工作. 基于無人機(jī)攜帶的雙目事件相機(jī), 設(shè)計(jì)了一種球形物體追蹤器, 使用擴(kuò)展卡爾曼濾波進(jìn)行數(shù)據(jù)處理, 可以在250 ms內(nèi)預(yù)測(cè)碰撞, 并可以躲避6 m遠(yuǎn)處以10 m/s的速度飛來的球. 但因?qū)嶒?yàn)平臺(tái)的限制, 僅從理論上驗(yàn)證了在無人機(jī)這樣的小型嵌入式平臺(tái)上, 檢測(cè)并躲避障礙物的可行性.

為了進(jìn)一步探究事件相機(jī)的優(yōu)勢(shì), Falanga等[26]對(duì)搭載單目、雙目以及事件相機(jī)3種傳感器的無人機(jī)進(jìn)行了實(shí)驗(yàn). 實(shí)驗(yàn)結(jié)果表明了在2 m的感知范圍下, 事件相機(jī)的延遲(2 ~ 4 ms)(指從視覺傳感器被觸發(fā)到將數(shù)據(jù)傳輸?shù)教幚砟K的時(shí)間)顯著低于普通單目相機(jī)(26 ~ 40 ms)和雙目相機(jī)(17 ~ 70 ms). 對(duì)于已知大小的障礙物, 使用聚類和光流算法對(duì)事件流數(shù)據(jù)進(jìn)行處理來跟蹤物體, 僅考慮水平移動(dòng), 搭載事件相機(jī)的無人機(jī)可在2 m的感知范圍內(nèi)躲避相對(duì)速度高達(dá)9 m/s的障礙物. 實(shí)驗(yàn)平臺(tái)如圖6(a)所示.

圖 6  無人機(jī)躲避高速運(yùn)動(dòng)物體的相關(guān)實(shí)驗(yàn)((a)無人機(jī)實(shí)驗(yàn)平臺(tái)[26]; (b)真實(shí)無人機(jī)躲避兩個(gè)飛行障礙物, 四旋翼無人機(jī)使用EVDodgeNet進(jìn)行障礙物躲避, 其中無人機(jī)左右兩側(cè)的弧線軌跡為同時(shí)擲向無人機(jī)的兩個(gè)障礙物, 中間的軌跡為無人機(jī)閃躲軌跡[27]; (c)神經(jīng)網(wǎng)絡(luò)架構(gòu)圖[27], 其中EVDeblurNet: 事件幀去噪網(wǎng)絡(luò), 在模擬數(shù)據(jù)集上進(jìn)行訓(xùn)練就可推廣到真實(shí)場(chǎng)景, 無需重新訓(xùn)練或者微調(diào); EVHomographyNet: 單應(yīng)性估計(jì)網(wǎng)絡(luò), 用于自我運(yùn)動(dòng)估計(jì), 計(jì)算相機(jī)的自我運(yùn)動(dòng). 第一個(gè)使用事件相機(jī)的單應(yīng)性估計(jì)方案; EVSegFlowNet: 物體分割與光流計(jì)算網(wǎng)絡(luò), 該網(wǎng)絡(luò)可分割場(chǎng)景中的運(yùn)動(dòng)物體并獲取其光流信息)

Fig. 6  Experiments of UAV avoiding high-speed moving obstacles ((a) UAV experimental platform[26]; (b) The real UAV avoids two flying obstacles, and the quadrotor UAV uses EVDodgeNet to avoid obstacles, in which the arc trajectory on left and right sides of the UAV is two obstacles thrown at the same time, and the middle trajectory is the UAV dodge trajectory[27]; (c) Neural network architecture diagram[27], in which EVDeblurNet: event frame denoising network, which can be extended to real scenes by training on simulated datasets without retraining or fine tuning; EVHomographyNet: homography estimation network, which is used to estimate self-motion and calculate self-motion of camera. The first homography estimation scheme using event camera; EVSegFlowNet: an object segmentation and optical flow computing network, which can segment moving objects in the scene and obtain their optical flow information)

文獻(xiàn)[27]使用了淺層神經(jīng)網(wǎng)絡(luò)從事件流中分割出獨(dú)立運(yùn)動(dòng)對(duì)象, 并對(duì)其三維運(yùn)動(dòng)進(jìn)行推理, 以執(zhí)行閃避任務(wù), 閃避場(chǎng)景如圖6(b)所示, 四旋翼無人機(jī)使用EVDodgeNet進(jìn)行障礙物躲避. 然后將其擴(kuò)展到追蹤任務(wù), 這是第一個(gè)基于深度學(xué)習(xí)的解決方案, 網(wǎng)絡(luò)如圖6(c)所示, 由3個(gè)網(wǎng)絡(luò)組成, 去模糊網(wǎng)絡(luò)EVDeblurNet, 用于將δt$\delta t$內(nèi)產(chǎn)生的事件對(duì)齊; 單應(yīng)性估計(jì)網(wǎng)絡(luò)EVHomographyNet, 用于計(jì)算相機(jī)自我運(yùn)動(dòng); 以及用以分割運(yùn)動(dòng)物體并進(jìn)行光流追蹤的EVSegFlowNet, 共包含130萬個(gè)參數(shù), 相比于文獻(xiàn)[26]實(shí)現(xiàn)了飛行器的三維避障. 并且對(duì)于沒有先驗(yàn)信息的障礙物, 仍有76%的躲避成功率, 無需重新訓(xùn)練即可泛化到實(shí)際場(chǎng)景中. 但最終的響應(yīng)延遲長(zhǎng)達(dá)60 ms, 極大地限制了無人機(jī)的運(yùn)動(dòng).

在文獻(xiàn)[26-27]的理論基礎(chǔ)上, 文獻(xiàn)[28]在相同的實(shí)驗(yàn)環(huán)境下, 僅使用事件相機(jī)進(jìn)行數(shù)據(jù)捕捉, 該方法使用精度換時(shí)間的策略, 從收到待處理事件到發(fā)出第一條避障指令, 時(shí)延僅為3.5 ms, 且成功率超過90%. 在感知環(huán)節(jié), 為降低計(jì)算量, 對(duì)文獻(xiàn)[29]中提出的方法進(jìn)行改進(jìn), 僅使用IMU (Inertial measurement unit)進(jìn)行自我運(yùn)動(dòng)補(bǔ)償, 將事件數(shù)據(jù)區(qū)分為靜態(tài)場(chǎng)景與動(dòng)態(tài)對(duì)象. 再通過聚類區(qū)分不同物體并結(jié)合雙目深度信息計(jì)算三維坐標(biāo), 并將該位置作為卡爾曼濾波的測(cè)量輸入計(jì)算其速度信息. 而在避障環(huán)節(jié), 為降低計(jì)算量, 使用了基于反應(yīng)式的人工勢(shì)場(chǎng)法回避方案[30], 避免了由于數(shù)值優(yōu)化而引入延遲. 同時(shí)為方便處理, 利用二維平面中的數(shù)據(jù)將障礙物構(gòu)造成橢圓體建立排斥場(chǎng), 目標(biāo)運(yùn)動(dòng)位置構(gòu)造引力場(chǎng), 最終向控制器輸出運(yùn)動(dòng)速度. 算法的總延遲從文獻(xiàn)[27]中的60 ms提升到了3.5 ms, 且能夠在板載處理器上實(shí)時(shí)運(yùn)行, 極大地提升了響應(yīng)速度. 在室內(nèi)及室外的實(shí)驗(yàn)中, 均可躲避相對(duì)速度10 m/s的障礙物, 可以連續(xù)躲避多個(gè)障礙物, 并且躲避成功率超過90%.

而在基于傳統(tǒng)相機(jī)的避障工作中, Lin等[31]的單目方案延遲可優(yōu)化到150 ms, 可以在2.2 m/s的移動(dòng)速度下躲避障礙物. Oleynikova等[32]的雙目方案, 從圖像曝光到路點(diǎn)規(guī)劃的整體時(shí)延為14.1 ms (曝光時(shí)間3 ms), 能夠在5 m/s的飛行速度下, 對(duì)0.07 m遠(yuǎn)處的障礙物進(jìn)行響應(yīng). Barry等[33]在無人機(jī)上搭載雙目120 Hz相機(jī), 能在14 m/s的速度下實(shí)現(xiàn)避障. Huang等[34]使用30 Hz的RGB-D相機(jī)在機(jī)載芯片上數(shù)據(jù)處理時(shí)間為25 ms. 因?yàn)閭鹘y(tǒng)圖像數(shù)據(jù)量較大, 目前很多方案會(huì)將數(shù)據(jù)傳回地面站進(jìn)行計(jì)算, 更進(jìn)一步加大了延遲, 可見因事件相機(jī)的獨(dú)特優(yōu)勢(shì), 已經(jīng)逐漸展現(xiàn)出了應(yīng)用潛力.

當(dāng)前的這些工作中, 導(dǎo)致躲避失敗的主要因素是檢測(cè)到障礙物的時(shí)間太晚, 導(dǎo)致無人機(jī)無法及時(shí)地完成規(guī)避動(dòng)作, 主要原因是: 1)當(dāng)障礙物進(jìn)入到相機(jī)視野時(shí), 距離已經(jīng)不足以使飛行器完成規(guī)避動(dòng)作; 2)障礙物的運(yùn)動(dòng)沒有產(chǎn)生足夠的事件(如物體垂直于像平面運(yùn)動(dòng), 僅物體邊緣產(chǎn)生少量事件), 算法無法及時(shí)檢測(cè)到障礙物.

文獻(xiàn)[26]的研究中也發(fā)現(xiàn)事件相機(jī)的延遲并不是恒定的, 而是取決于相機(jī)與障礙物之間的距離與速度, 障礙物速度越大、距離越近, 響應(yīng)時(shí)間越短. 因此該文獻(xiàn)認(rèn)為, 在當(dāng)前, 雙目相機(jī)在性能、成本上能夠有很好的折衷, 仍然是無人機(jī)的最佳選擇之一, 而隨著技術(shù)的發(fā)展, 事件相機(jī)能夠在未來提供更好的解決方案.

2.3   無人機(jī)垂直降落控制

為了模仿鳥類著陸, 現(xiàn)有的無人機(jī)垂直著陸解決方案均在無人機(jī)底部安裝事件相機(jī), 如圖7所示, 以觀察地面信息.

圖 7  無人機(jī)垂直降落實(shí)驗(yàn)裝置[35]

Fig. 7  Experimental device for vertical landing of UAV[35]

文獻(xiàn)[35]使用如圖7所示的實(shí)驗(yàn)裝置. 同時(shí)在事件流和基于事件幀的圖像上進(jìn)行直線追蹤, 使用擴(kuò)展卡爾曼濾波將二者結(jié)合, 利用前者的快速響應(yīng)和后者的魯棒性, 可以高速、有效地跟蹤直線, 進(jìn)而在時(shí)空中生成直線可能所在的平面, 整體頻率高達(dá)339 Hz. 再利用Tau理論[36]進(jìn)行位置調(diào)整可以有效地引導(dǎo)無人機(jī), 為著陸、懸停提供空間信息.

Pijnacker Hordijk等[37]最先將基于事件的光流集成到無人機(jī)應(yīng)用中, 提出了一種高效的平面幾何光流估計(jì)技術(shù), 盡管光流本身并不能提供運(yùn)動(dòng)的度量標(biāo)度, 但是來自光流場(chǎng)的信息對(duì)于一些導(dǎo)航任務(wù)(包括著陸)十分有用. 實(shí)現(xiàn)了無人機(jī)的快速平穩(wěn)著陸.

在文獻(xiàn)[37]的理論基礎(chǔ)上, 文獻(xiàn)[38]使用神經(jīng)進(jìn)化(Neuro-evolution)優(yōu)化人工神經(jīng)網(wǎng)絡(luò), 設(shè)計(jì)了神經(jīng)控制器, 學(xué)習(xí)現(xiàn)實(shí)世界中基于事件的光流控制. 對(duì)于使用事件相機(jī)與普通相機(jī)同時(shí)采集的數(shù)據(jù), 該控制器輸出了相近的控制策略, 證明了該控制器的魯棒性.

文獻(xiàn)[39]將文獻(xiàn)[38]中的方法擴(kuò)展到脈沖神經(jīng)網(wǎng)絡(luò), 脈沖神經(jīng)網(wǎng)絡(luò)(Spiking neural network, SNN)是一種生物神經(jīng)網(wǎng)絡(luò), 也是第三代神經(jīng)網(wǎng)絡(luò)模型[40]. 它采用脈沖神經(jīng)元為基本單位, 脈沖神經(jīng)元通過接收脈沖改變內(nèi)部狀態(tài), 當(dāng)狀態(tài)超過閾值才會(huì)輸出脈沖, 當(dāng)未接收脈沖時(shí)脈沖神經(jīng)元不工作, 因此SNN可以在極低的功耗下工作. 使用SNN可以更加充分地利用事件流信息, 以獲得更有效的方案. 飛行昆蟲能夠在混亂的環(huán)境中快速飛行, 可以靈活地避開障礙物. 而自主微型飛行器(Micro aerial vehicle, MAV)遠(yuǎn)遠(yuǎn)落后于生物飛行器, 消耗的能量非常多. SNN不僅可以用來模擬人腦的神經(jīng)網(wǎng)絡(luò), 文獻(xiàn)[39]提出該網(wǎng)絡(luò)還可以利用鏡頭向下的事件相機(jī)產(chǎn)生的光流散度控制MAV的飛行和著陸. 這項(xiàng)工作是第一次將SNN集成到真實(shí)飛行機(jī)器人的控制回路中. 不僅研究了如何大幅降低SNN控制器的脈沖率, 而且該方案可以節(jié)省大量的能量. 但是該控制器只能實(shí)現(xiàn)在常規(guī)芯片上, 不能在神經(jīng)形態(tài)芯片上實(shí)現(xiàn).

以上基于事件相機(jī)的無人機(jī)運(yùn)動(dòng)控制研究與結(jié)果描述如表2所示.

當(dāng)前研究的主要目標(biāo)為實(shí)現(xiàn)閉環(huán)控制以及實(shí)現(xiàn)低延遲高帶寬的飛行控制. 但是當(dāng)前研究中大部分仍然是基于傳統(tǒng)的視覺算法, 并未充分利用事件相機(jī)異步更新的特性.

3.   基于事件相機(jī)的機(jī)械臂感知和運(yùn)動(dòng)控制

機(jī)械臂是由多個(gè)驅(qū)動(dòng)關(guān)節(jié)串聯(lián)組成的多自由度機(jī)電系統(tǒng), 其通過安裝于末端的執(zhí)行器完成各類操作. 但是機(jī)械臂的運(yùn)動(dòng)規(guī)劃和控制均依賴其對(duì)周圍環(huán)境的感知, 確定被操作對(duì)象的位姿、狀態(tài)、是否有障礙等等. 現(xiàn)有的感知手段包括視覺、觸覺、力覺等. 其中基于視覺的感知具有低成本、易用性強(qiáng)等特點(diǎn), 已成為機(jī)械臂感知的主流方法. 目前已有學(xué)者開始將事件相機(jī)作為機(jī)械臂的感知器件, 完成基于事件數(shù)據(jù)的靜態(tài)物體抓取以及被夾持物體的滑動(dòng)檢測(cè). 與傳統(tǒng)的基于圖像的方法相比, 事件相機(jī)在此場(chǎng)景中提供了更高的靈敏度、更低的延遲以及更少的功耗.

3.1   “眼在手上” 的物體定位感知和抓取

抓取物體是機(jī)械臂的基本能力. 眼在手上是指視覺傳感設(shè)備安裝于機(jī)械臂的末端, 伴隨機(jī)械臂運(yùn)動(dòng). Muthusamy等[41]首先在該問題上做出了嘗試, 提出一種眼在手上的基于事件相機(jī)的機(jī)械臂抓取方案. 該方案初始化一個(gè)隨機(jī)目標(biāo)點(diǎn), 控制機(jī)械臂使相機(jī)向該點(diǎn)運(yùn)動(dòng)以產(chǎn)生事件, 利用基于事件的視覺伺服(Event-based visual servoing, EBVS), 控制機(jī)械臂使目標(biāo)中心與相機(jī)中心重合, 最后調(diào)整抓取角度以實(shí)現(xiàn)穩(wěn)定抓取. 其中, EBVS采用活躍事件表面(Surfaces of active events, SAE)異步執(zhí)行角點(diǎn)檢測(cè). 得到的角點(diǎn)儲(chǔ)存在活躍角點(diǎn)事件表面(Surfaces of active corner events, SACE)并用于進(jìn)一步跟蹤和目標(biāo)中心點(diǎn)計(jì)算.

目標(biāo)中心點(diǎn)儲(chǔ)存在活躍虛擬事件表面(Surfaces of active virtual events, SAVE), 用于二自由度視覺伺服和抓取角度計(jì)算. 3個(gè)活躍表面如圖8 (a)所示. 該抓取方案采用如圖8 (b)所示的結(jié)構(gòu), 機(jī)械臂末端安裝兩個(gè)真空吸盤, 在1.2 m × 1.0 m的工作臺(tái)上對(duì)三棱柱、立方體、五棱柱三種物體進(jìn)行了抓取實(shí)驗(yàn). 在不同速度和不同光照條件下, 機(jī)械臂均能實(shí)現(xiàn)穩(wěn)定抓取, 平均抓取誤差(實(shí)際中心與抓取中心的誤差距離)為16.1 mm. 但是這種抓取方式只適用于規(guī)則物體, 且要求像平面平行于工作臺(tái).

圖 8  處理步驟以及抓取場(chǎng)景[41]

Fig. 8  Processing steps and capture scene of reference[41]

3.2   機(jī)械臂的滑動(dòng)檢測(cè)感知與防滑控制

機(jī)械臂夾持物體后, 物體有可能產(chǎn)生滑動(dòng), 如果單純地使用最大加持力, 則有可能損壞物體, 因此根據(jù)物體的滑動(dòng)狀態(tài)確定夾持控制方案, 能夠恰到好處的完成機(jī)械臂夾取物體. 但是滑動(dòng)是一瞬間發(fā)生的運(yùn)動(dòng), 事件相機(jī)的低延遲特性, 恰好能夠解決該場(chǎng)景對(duì)感知系統(tǒng)的需求.

文獻(xiàn)[42]首次使用事件相機(jī)作為“觸覺傳感器”, 僅通過事件相機(jī)感知透明硅材料與不同物體之間的接觸面積, 并通過傳統(tǒng)的圖像處理方法, 分析重建幀上的事件分布以進(jìn)行滑動(dòng)檢測(cè), 無需事先了解物體的屬性或摩擦系數(shù)也可以成功檢測(cè)到位移. 實(shí)驗(yàn)環(huán)境如圖9所示, 在復(fù)雜光照下, 使用不同材質(zhì)、形狀、重量的物體上進(jìn)行了實(shí)驗(yàn), 滑動(dòng)檢測(cè)的平均精確率為0.85, 平均延遲為44.1 ms. 并同時(shí)使用高速相機(jī)進(jìn)行了驗(yàn)證, 證明了方法的精確性. 但是不同的材質(zhì)會(huì)對(duì)結(jié)果產(chǎn)生較大影響, 金屬物體由于摩擦和物理粘性, 具有更好的效果. 并且會(huì)受到接觸面積的影響, 接觸面積較小的物體會(huì)產(chǎn)生更高的延遲.

圖 9  實(shí)驗(yàn)裝置的俯視圖和側(cè)視圖[42]

Fig. 9  Top view and side view of the experimental device[42]

相比于文獻(xiàn)[42]中使用純事件相機(jī)的方式, Taunyazov等將觸覺傳感器與事件相機(jī)結(jié)合, 提出了視覺?觸覺脈沖神經(jīng)網(wǎng)絡(luò)(Visual-tactile spiking neural network, VT-SNN)[43], 將視覺和觸覺兩種感知方式用于監(jiān)督學(xué)習(xí)中. 而且通過二者相結(jié)合的方式(Prophesee事件相機(jī)與NeuTouch觸覺傳感器), 實(shí)現(xiàn)了容器分類和物體的旋轉(zhuǎn)滑動(dòng)分類, 取得了比傳統(tǒng)深度學(xué)習(xí)方法更好的效果. 最后在神經(jīng)形態(tài)處理器Intel Loihi[44]上進(jìn)行實(shí)驗(yàn), 相比于使用GPU, 推理效率更高, 功耗表現(xiàn)更優(yōu).

但是文獻(xiàn)[42]中的實(shí)驗(yàn)場(chǎng)景顯然不具備機(jī)動(dòng)性, 因此Baghaei Naeini等[45]提出了一種新的基于視覺測(cè)量(Vision-based measurement, VBM)的方法, 夾持器示意圖如圖10 (a)所示, 直接采用透明硅介質(zhì)作為夾持器. 這是第一個(gè)基于事件相機(jī)來測(cè)量接觸力并在單次抓握中進(jìn)行材料分類的方法, 提供了更高的靈敏度, 更低的時(shí)延以及更少的功耗. 實(shí)驗(yàn)通過圖10 (b)中的時(shí)延神經(jīng)網(wǎng)絡(luò)(Time delay neural network, TDNN)和高斯過程(Gaussian process)估計(jì)相同形狀、尺寸物體在抓取和釋放兩個(gè)階段的接觸力, 并使用深度神經(jīng)網(wǎng)絡(luò)僅通過接觸力進(jìn)行材料分類. 其中, TDNN方法的平均準(zhǔn)確率為79.17%, 時(shí)延為21 ms, 均方誤差(Mean square error, MSE)為0.16 N, 證明了基于事件的傳感器對(duì)于機(jī)器人抓取應(yīng)用的適用性.

圖 10  夾持器及網(wǎng)絡(luò)示意圖[45]

Fig. 10  Schematic diagram of gripper and network[45]

但是因?yàn)椴煌叽绲奈矬w與透明硅材料的接觸面積不同, 因此對(duì)于尺寸不同的物體, 需要復(fù)雜的動(dòng)態(tài)方法來關(guān)聯(lián)每個(gè)時(shí)間戳上的事件與力的測(cè)量值. 為了克服無法有效檢測(cè)不同尺寸物體的問題, 因此在文獻(xiàn)[45]的基礎(chǔ)上, 提出了使用不同的長(zhǎng)短記憶網(wǎng)絡(luò)(Long short-term memory, LSTM)結(jié)構(gòu)為傳感器提供記憶, 進(jìn)而動(dòng)態(tài)估計(jì)接觸力的方法[46]. 傳感器在抓取的早期階段識(shí)別物體的尺寸, 使用卷積網(wǎng)絡(luò)與循環(huán)層結(jié)合的方式, 使傳感器能夠根據(jù)物體的大小估計(jì)相應(yīng)的接觸力. 在與文獻(xiàn)[45]相同的實(shí)驗(yàn)條件下, 時(shí)延提升到10 ms, 誤差從文獻(xiàn)[45]中的0.16 N降低到0.064 N (MSE), 有著更優(yōu)良的表現(xiàn), 可以應(yīng)用于實(shí)時(shí)抓取應(yīng)用. 但是對(duì)于未知物體的泛化能力較弱.

Muthusamy等[47]使用事件相機(jī)作為滑動(dòng)感知器件, 同樣使用透明塑料板作為夾持器, 通過在物體上添加負(fù)載的方式使物體產(chǎn)生滑動(dòng); 能夠以2 kHz的采樣率實(shí)現(xiàn)夾持物體的滑動(dòng)檢測(cè); 并根據(jù)檢測(cè)到的滑動(dòng)幅度, 使用Mamdani型模糊邏輯控制器來調(diào)節(jié)握力. 另外, 文獻(xiàn)中提出了基于事件數(shù)量閾值與基于特征的兩種滑動(dòng)檢測(cè)方法, 能夠?qū)Νh(huán)境進(jìn)行噪聲采樣并自動(dòng)校準(zhǔn). 其中對(duì)基于特征的滑動(dòng)檢測(cè), 評(píng)估了3種特征檢測(cè)算法、兩種采樣速率下以及復(fù)雜光照、震動(dòng)環(huán)境下的性能. 實(shí)驗(yàn)證明, 使用e-Harries[48]特征的滑動(dòng)檢測(cè)具有更強(qiáng)的魯棒性, 成功率超過90%. 但是需要被抓取對(duì)象有較為明顯的紋理信息, 如邊緣或角點(diǎn).

文獻(xiàn)[49]提出了一種基于事件的觸覺圖像傳感器. 在黑色半球形的彈性體內(nèi)表面嵌入白色標(biāo)記點(diǎn), 通過事件相機(jī)觀測(cè)標(biāo)記點(diǎn)的位移變化, 即可檢測(cè)到指尖位置因受力而發(fā)生的形變, 能夠以0.5 ms的響應(yīng)速度進(jìn)行檢測(cè), 處理之后可以檢測(cè)到接觸、滑動(dòng)、位置、方向等信息. 但是這樣的處理方式對(duì)于震動(dòng)較為敏感, 容易出現(xiàn)誤檢測(cè).

可以看出, 在當(dāng)前滑動(dòng)檢測(cè)的應(yīng)用中, 大部分論文都選擇了將物體與透明板接觸, 然后使用事件相機(jī)觀測(cè)面積變化的方式. 但這種方法的問題就在于仍然要將事件流恢復(fù)成事件幀, 然后才能進(jìn)行后續(xù)操作. 本節(jié)所述算法的總結(jié)如表3所示.

本節(jié)主要總結(jié)了基于事件相機(jī)的機(jī)械臂伺服控制研究. 盡管針對(duì)事件相機(jī)的機(jī)械臂伺服控制雖然已經(jīng)有了一定的研究, 但很多方面仍處于起步階段, 許多文獻(xiàn)僅對(duì)于靜態(tài)物體的抓取以及滑動(dòng)檢測(cè)有了較深入的研究, 而對(duì)于一些典型的視覺伺服場(chǎng)景, 同時(shí)也是事件相機(jī)最擅長(zhǎng)的場(chǎng)景——運(yùn)動(dòng)物體的抓取, 尚未有深入研究, 這也是最能挖掘事件相機(jī)潛力的應(yīng)用場(chǎng)景. 同時(shí)當(dāng)前的研究也存在一定的缺陷, 如文獻(xiàn)[41]中雖然實(shí)現(xiàn)了物體的抓取, 但僅能抓取靜態(tài)的規(guī)則物體; 大部分文獻(xiàn)中的方法仍然需要將事件流恢復(fù)為事件幀處理, 無法快速響應(yīng); 文獻(xiàn)[45-46]使用的深度神經(jīng)網(wǎng)絡(luò)方法無法充分發(fā)揮事件流異步更新的優(yōu)勢(shì).

總的來說, 當(dāng)前基于事件相機(jī)的機(jī)械臂伺服面臨的問題主要在于, 抓取應(yīng)用僅適用于簡(jiǎn)單場(chǎng)景以及規(guī)則物體; 并且無法充分利用事件異步更新的優(yōu)勢(shì). 前者使得事件相機(jī)的應(yīng)用場(chǎng)景受到了極大的限制; 后者在很大程度上削弱了事件相機(jī)高時(shí)間分辨率的優(yōu)勢(shì). 因此對(duì)基于事件相機(jī)的機(jī)械臂伺服的后續(xù)研究, 工作重點(diǎn)應(yīng)盡可能減少?gòu)?fù)雜環(huán)境下, 靜態(tài)場(chǎng)景的影響, 以及尋找異步處理事件的方法.

4.   基于事件相機(jī)的人形機(jī)器人感知和控制

人形機(jī)器人是研制通用機(jī)器人的重要解決方案. 人形機(jī)器人能夠自然地適應(yīng)人類環(huán)境, 但是目前從各個(gè)層面, 如感知、規(guī)劃、驅(qū)動(dòng)、控制等, 現(xiàn)有能力均與人形機(jī)器人的預(yù)期有極大的差距. 事件相機(jī)基于生物視覺成像原理, 呈現(xiàn)出神經(jīng)形態(tài)特性, 其特點(diǎn)符合對(duì)人形機(jī)器人的感知能力預(yù)期, 因此已有學(xué)者將其應(yīng)用于人形機(jī)器人的感知和控制中. 本節(jié)系統(tǒng)介紹在此方向上, 事件相機(jī)的應(yīng)用和發(fā)展.

目前, 事件相機(jī)與人形機(jī)器人結(jié)合的研究, 大都是依托人形機(jī)器人iCub展開的. iCub是由意大利技術(shù)研究院(Italian Institute of Technology, IIT)建造的一個(gè)通用機(jī)器人開發(fā)平臺(tái), 無需任何特殊設(shè)備即可在任何實(shí)驗(yàn)室中工作, 可用于研究小型人形機(jī)器人的爬行、行走、視覺、觸摸、人工智能、認(rèn)知、操縱、學(xué)習(xí)等課題. iCub共具有53個(gè)自由度, 囊括了攝像頭、麥克風(fēng)、力/扭矩傳感器、全身皮膚、陀螺儀和加速度計(jì)以及每個(gè)關(guān)節(jié)中的編碼器等傳感器; 在軟件層面, iCub設(shè)有ROS (Robot operating system)接口, 并使用YARP (Yet another robot platform)作為中間件. 傳統(tǒng)幀相機(jī)在數(shù)據(jù)的傳輸、儲(chǔ)存和處理過程中需要消耗大量的計(jì)算資源, 難以滿足iCub自主控制的低功耗、低延遲需求; 而事件相機(jī)由于其高時(shí)間分辨率、低延遲、低功耗、高動(dòng)態(tài)范圍等特點(diǎn), 有助于iCub實(shí)現(xiàn)自主計(jì)算, 進(jìn)而實(shí)現(xiàn)iCub自主控制.

4.1   基于事件相機(jī)的人形機(jī)器人感知

為了實(shí)現(xiàn)事件相機(jī)與iCub的結(jié)合, IIT機(jī)器人事件驅(qū)動(dòng)感知團(tuán)隊(duì)(Event-driven Perception for Robotics, EDPR)在iCub的眼球上嵌入了一套事件視覺系統(tǒng)[50–52], 同時(shí)將幀相機(jī)重新布置在iCub的頭頂作為色彩等視覺信息的補(bǔ)充. 如圖11所示, 事件視覺系統(tǒng)由兩個(gè)DVS事件相機(jī)或ATIS事件相機(jī)、一個(gè)通用地址事件處理器以及一塊FPGA芯片組成. 隨著研究的逐步深入, 他們?cè)赮ARP框架下開發(fā)了基于事件驅(qū)動(dòng)的軟件庫(kù)[53], 這使得事件相機(jī)可以與包括iCub在內(nèi)的基于YARP的機(jī)器人一起使用[54]. 該軟件庫(kù)可以不依賴iCub單獨(dú)使用, 庫(kù)中包含了光流、聚類追蹤、角點(diǎn)檢測(cè)、圓檢測(cè)、粒子濾波、相機(jī)標(biāo)定、預(yù)處理、可視化等功能模塊, 并提供了示例程序及數(shù)據(jù)集.

圖 11  人形機(jī)器人事件視覺系統(tǒng)

Fig. 11  Event vision system of humanoid robot

基于在iCub上嵌入的事件視覺系統(tǒng), 學(xué)者們?cè)趫A檢測(cè)、角點(diǎn)檢測(cè)、機(jī)器視覺注意力機(jī)制等方面開展了大量研究. 在圓檢測(cè)方面, Wiesmann等[55]在桌面靜置小球, 通過轉(zhuǎn)動(dòng)iCub的頭部或眼球, 使小球與iCub產(chǎn)生相對(duì)運(yùn)動(dòng), 進(jìn)而產(chǎn)生邊緣事件, 然后對(duì)事件聚類, 實(shí)現(xiàn)圖像分割; 接著采用Hough圓變換檢測(cè)出圓形, 精確識(shí)別出小球. 針對(duì)復(fù)雜背景下的圓檢測(cè)問題, Glover等[56]提出了一種基于光流的定向Hough圓變換算法, 即利用光流信息估計(jì)圓心的運(yùn)動(dòng)方向, 只在該方向上開展Hough圓檢測(cè).

在角點(diǎn)檢測(cè)方面, Vasco等[48]提出了事件驅(qū)動(dòng)的e-Harris算法. e-Harris算法為每個(gè)異步事件創(chuàng)建一個(gè)局部檢測(cè)窗口, 充分利用累計(jì)的事件在局部檢測(cè)窗口應(yīng)用Harris算法計(jì)算角點(diǎn)響應(yīng)值. Vasco等通過轉(zhuǎn)動(dòng)iCub的頭部及眼球掃描靜置物體, 檢測(cè)到了對(duì)應(yīng)的角點(diǎn)事件, 驗(yàn)證了算法的有效性. 但是當(dāng)事件相機(jī)與目標(biāo)均在運(yùn)動(dòng)時(shí), 會(huì)產(chǎn)生大量背景事件, 這使得跟蹤或識(shí)別目標(biāo)物體的運(yùn)動(dòng)變得更加困難. 因此需要將由目標(biāo)自身運(yùn)動(dòng)所產(chǎn)生的目標(biāo)角點(diǎn)事件, 與由事件相機(jī)運(yùn)動(dòng)所產(chǎn)生的背景角點(diǎn)事件進(jìn)行區(qū)分. 在文獻(xiàn)[57]中, Vasco等通過聚類追蹤e-Harris檢測(cè)到的角點(diǎn), 并估計(jì)角點(diǎn)的運(yùn)動(dòng)速度; 同時(shí)根據(jù)iCub的關(guān)節(jié)運(yùn)動(dòng), 應(yīng)用支持向量機(jī)和徑向基函數(shù)核開展有監(jiān)督學(xué)習(xí). 最終實(shí)現(xiàn)了背景角點(diǎn)事件與目標(biāo)角點(diǎn)事件的區(qū)分, 且精度高達(dá)90%以上.

計(jì)算機(jī)視覺中的注意力機(jī)制具有廣泛的應(yīng)用, 這種機(jī)制能夠忽略無關(guān)信息而關(guān)注重點(diǎn)信息, 進(jìn)而節(jié)約有限的計(jì)算資源. Rea等[58]利用事件視覺系統(tǒng), 為iCub開發(fā)了一套低延遲的人工注意力系統(tǒng), 可以快速計(jì)算出需要聚焦的位置. 實(shí)驗(yàn)結(jié)果表明, 相比于基于幀相機(jī)的人工注意力系統(tǒng), 事件驅(qū)動(dòng)人工注意力系統(tǒng)的延遲要低兩個(gè)數(shù)量級(jí), 所占用CPU資源也要低近乎一個(gè)數(shù)量級(jí). 在高動(dòng)態(tài)場(chǎng)景中, 事件驅(qū)動(dòng)的人工注意力系統(tǒng)可以準(zhǔn)確識(shí)別出視野中需要聚焦的點(diǎn), 而基于幀相機(jī)的人工注意力系統(tǒng)完全無法進(jìn)行識(shí)別. Iacono等[59]將原型對(duì)象注意力模型與嵌入iCub人形平臺(tái)上的神經(jīng)形態(tài)事件驅(qū)動(dòng)相機(jī)配合使用, 為機(jī)器人提供了低延遲、計(jì)算效率高的注意力系統(tǒng).

此外, 基于iCub及其嵌入事件視覺系統(tǒng), 結(jié)合機(jī)器學(xué)習(xí)技術(shù), 還有許多有意義的研究項(xiàng)目. 例如Iacono等[51]將深度學(xué)習(xí)應(yīng)用于iCub上的事件相機(jī)開展目標(biāo)檢測(cè); Monforte等[50]采用長(zhǎng)短期記憶人工神經(jīng)網(wǎng)絡(luò)開展軌跡預(yù)測(cè)等.

4.2   人形機(jī)器人雙目凝視控制

基于在iCub上嵌入的事件視覺系統(tǒng), 可以實(shí)現(xiàn)驅(qū)動(dòng)iCub的頭部及眼球關(guān)節(jié)實(shí)現(xiàn)凝視追蹤、深度估計(jì)等復(fù)雜操作. Glover等[56]利用基于光流的定向Hough圓變換檢測(cè)算法識(shí)別小球的空間位置, 并驅(qū)動(dòng)iCub轉(zhuǎn)動(dòng)眼球及頭部, 實(shí)現(xiàn)對(duì)小球的實(shí)時(shí)凝視跟蹤. 在大多數(shù)情況下, 定向Hough圓變換都能取得很好的檢測(cè)效果. 但是由于Hough圓變換需要固定檢測(cè)窗口, 當(dāng)場(chǎng)景中有多個(gè)以不同速度移動(dòng)的物體時(shí), 事件發(fā)生率就會(huì)有很大波動(dòng), 最佳檢測(cè)閾值將針對(duì)不同的對(duì)象而變化很大, 并且還會(huì)隨時(shí)間而變化; 當(dāng)相機(jī)追蹤球體時(shí), 若相對(duì)運(yùn)動(dòng)很小, 則可能丟失追蹤目標(biāo). 為了解決上述問題, Glover等[60]又提出了一種粒子濾波算法, 展現(xiàn)出了更卓越的魯棒性.

在深度估計(jì)方面, iCub可以通過驅(qū)動(dòng)雙目運(yùn)動(dòng), 使其視線聚焦, 進(jìn)而通過雙目之間的相對(duì)姿態(tài)獲得深度信息[61]. 但幀相機(jī)存在延遲高、魯棒性差等問題, 目標(biāo)快速運(yùn)動(dòng)時(shí)算法甚至?xí)? 針對(duì)該問題, Vasco等[62]用基于事件驅(qū)動(dòng)的視差調(diào)諧雙目Gabor濾波器得到雙目視差, 然后驅(qū)動(dòng)眼動(dòng)使視差收斂, 進(jìn)而估計(jì)出深度信息. 這一改進(jìn)使得延遲從幀相機(jī)的1 s降低至事件相機(jī)的200 ms, 且降低了對(duì)光照等環(huán)境條件的要求, 實(shí)現(xiàn)了更好的魯棒性.

在iCub上同時(shí)安裝麥克風(fēng)與事件視覺系統(tǒng), 還可實(shí)現(xiàn)多信息融合. Akolkar等[63]在iCub的頭部安裝麥克風(fēng), 首先利用iCub上的事件視覺系統(tǒng)檢測(cè)視覺空間中的物體“碰撞”信息. 基于視覺檢測(cè)到的“碰撞”事件, 可能是真實(shí)碰撞, 也可能是假碰撞, 如兩個(gè)物體在視覺空間中相互遮擋. 真實(shí)碰撞通常會(huì)產(chǎn)生聲音, 因此發(fā)生真實(shí)碰撞時(shí)麥克風(fēng)可以檢測(cè)到聲音事件. 當(dāng)通過視覺與聽覺同時(shí)檢測(cè)到碰撞事件時(shí), 即可認(rèn)為視覺空間中發(fā)生了真實(shí)碰撞. 該基于視聽信息融合的碰撞檢測(cè)算法在iCub檢測(cè)人拍掌的場(chǎng)景中得到了驗(yàn)證.

綜上, 相比于傳統(tǒng)幀相機(jī), 事件相機(jī)在iCub上的應(yīng)用, 以耗費(fèi)更少的計(jì)算資源降低了系統(tǒng)的延遲, 提高了iCub在不同光照強(qiáng)度、復(fù)雜背景條件、高動(dòng)態(tài)場(chǎng)景下的自主控制能力, 但目前的研究仍較為基礎(chǔ), 主要是驅(qū)動(dòng)iCub的頭部和眼球進(jìn)行凝視追蹤, 更進(jìn)一步的應(yīng)用還有待進(jìn)一步挖掘, 如抓取、接球等更為復(fù)雜的操作.

5.   結(jié)合事件相機(jī)與脈沖神經(jīng)網(wǎng)絡(luò)的感知和控制方法

事件相機(jī)的離散、異步的數(shù)據(jù)特點(diǎn)與脈沖神經(jīng)網(wǎng)絡(luò)的輸入需求自然的契合, 因此將它們結(jié)合, 產(chǎn)生了一系列感知和控制的新方法. 本節(jié)重點(diǎn)介紹事件相機(jī)與脈沖神經(jīng)網(wǎng)絡(luò)結(jié)合的感知和控制工作, 側(cè)重算法和網(wǎng)絡(luò)的設(shè)計(jì).

第2.3節(jié)中提到, 脈沖神經(jīng)網(wǎng)絡(luò)(SNN)采用脈沖神經(jīng)元為基本單位, 由前饋型、遞歸型以及混合型3種拓?fù)浣Y(jié)構(gòu), 而且可以在極低的功耗下工作. 脈沖神經(jīng)元從神經(jīng)科學(xué)角度出發(fā)進(jìn)行建模, 現(xiàn)有的模型包括HH (Hodgkin-huxley)模型、LIF (Leaky integrate and fire)模型、SRM (Spike response model)模型等. 脈沖神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方式包括有監(jiān)督學(xué)習(xí)(如SpikeProp、Multi-SpikeProp、Hebbian、ReSuMe、Chronotron、SPAN、SWAT、Tempotron等)、基于STDP (Spike-timing-dependent plasticity)的無監(jiān)督學(xué)習(xí)、強(qiáng)化學(xué)習(xí)等. 事件相機(jī)以事件流的形式輸出, 這與脈沖神經(jīng)網(wǎng)絡(luò)的輸入十分契合, 因此選擇脈沖神經(jīng)網(wǎng)絡(luò)搭配事件相機(jī)工作具有相當(dāng)優(yōu)勢(shì).

結(jié)合事件相機(jī)和SNN的識(shí)別研究工作較多. Zhao等[64-65]開發(fā)了一種基于事件的前饋分類系統(tǒng), 該系統(tǒng)采用基于地址事件的Tempotron分類器實(shí)現(xiàn)分類. 如圖12所示, 系統(tǒng)由卷積、競(jìng)爭(zhēng)、特征脈沖轉(zhuǎn)換器、運(yùn)動(dòng)符號(hào)檢測(cè)器和Tempotron分類器構(gòu)成. 事件相機(jī)所產(chǎn)生的每個(gè)地址事件都會(huì)先由Gabor濾波器濾波, 然后與領(lǐng)域事件競(jìng)爭(zhēng), 獲勝者才能進(jìn)入圖12所示的C1特征層. 同時(shí), 地址事件會(huì)傳遞到運(yùn)動(dòng)符號(hào)檢測(cè)器(由LIF脈沖神經(jīng)元和峰值檢測(cè)單元組成)當(dāng)中, 當(dāng)LIF脈沖神經(jīng)元的輸出超過峰值時(shí), 將產(chǎn)生脈沖, 進(jìn)而導(dǎo)通圖12中的開關(guān), 此時(shí)可以將C1特征層中勝出的單元導(dǎo)入到特征脈沖轉(zhuǎn)換器中, 由特征脈沖轉(zhuǎn)換器將每個(gè)特征編碼為時(shí)域脈沖. 最終由Tempotron分類器實(shí)現(xiàn)分類. Tempotron分類器由LIF脈沖神經(jīng)元所構(gòu)成, 是一類有監(jiān)督學(xué)習(xí)算法. 上述分類器在基于事件相機(jī)的人體姿態(tài)識(shí)別、卡牌識(shí)別、數(shù)字識(shí)別等方面能取得較好效果.

圖 12  前饋分類系統(tǒng)的結(jié)構(gòu)[65]

Fig. 12  Structure of feedforward classification system[65]

Zhao等在文獻(xiàn)[66]中, 對(duì)前述前饋分類系統(tǒng)結(jié)構(gòu)進(jìn)行簡(jiǎn)化, 取消了特征脈沖轉(zhuǎn)換器和運(yùn)動(dòng)符號(hào)檢測(cè)器, 同時(shí)由LIF脈沖神經(jīng)元構(gòu)建S1層. 對(duì)地址事件, 在采用Gabor濾波器濾波后, 經(jīng)S1層、競(jìng)爭(zhēng)之后, 直接由Tempotron分類器進(jìn)行分類. 對(duì)該系統(tǒng)在MNIST-DVS數(shù)據(jù)集上進(jìn)行測(cè)試, 準(zhǔn)確性達(dá)到88.14%. Nan等[67]提出了一個(gè)基于事件的層次結(jié)構(gòu)模型, 該模型由特征提取層和SNN組成. 特征提取層包括Gabor濾波、池化、事件時(shí)間表面特征提取等操作. SNN采用Tempotron算法訓(xùn)練, 人臉識(shí)別的精度可以達(dá)到92.5%.

Shen等[68]應(yīng)用DVS128事件相機(jī)和SNN的結(jié)合, 開發(fā)了籃球比賽中的自動(dòng)得分檢測(cè)系統(tǒng), 識(shí)別準(zhǔn)確率高達(dá)91%. 地址事件處理框架如圖13所示, 主要由特征提取器、峰值檢測(cè)器和不平衡Tempotron分類器組成. 事件相機(jī)輸出的地址事件先經(jīng)Gabor濾波, 然后在S1層和C1層分別完成卷積和競(jìng)爭(zhēng); 峰值檢測(cè)器由LIF脈沖神經(jīng)元構(gòu)成, 當(dāng)神經(jīng)元達(dá)到閾值后即輸出脈沖, 此時(shí)將C1層提取的數(shù)據(jù)傳輸?shù)絋empotron分類器處理.

圖 13  籃球得分檢測(cè)框架[68]

Fig. 13  Basketball score detection framework[68]

值得注意的是, 上述結(jié)合事件相機(jī)和SNN的識(shí)別算法結(jié)構(gòu)具有很大的相似性, 決策端均是采用僅包含輸入層與輸出層的兩層脈沖神經(jīng)網(wǎng)絡(luò). Tempotron是一個(gè)二層網(wǎng)絡(luò)學(xué)習(xí)算法, 對(duì)這樣的兩層脈沖神經(jīng)網(wǎng)絡(luò)的訓(xùn)練是有效的, 但是無法擴(kuò)展到多層脈沖神經(jīng)網(wǎng)絡(luò). Massa等[69]使用DvsGesture數(shù)據(jù)集訓(xùn)練深度神經(jīng)網(wǎng)絡(luò), 通過將訓(xùn)練后的深度神經(jīng)網(wǎng)絡(luò)轉(zhuǎn)換為脈沖神經(jīng)網(wǎng)絡(luò), 并在Loihi上實(shí)現(xiàn), 可以實(shí)現(xiàn)實(shí)時(shí)手勢(shì)識(shí)別, 精度高達(dá)89.65%. Camunas-Mesa等[70-71]在Spartan6 FPGA上實(shí)現(xiàn)了一個(gè)4層卷積脈沖神經(jīng)網(wǎng)絡(luò), 可以實(shí)現(xiàn)撲克牌花色識(shí)別. 該卷積脈沖神經(jīng)網(wǎng)絡(luò)中共包含4個(gè)卷積層、兩個(gè)采樣層以及一個(gè)決策層, 卷積模塊基于LIF模型實(shí)現(xiàn), 模型參數(shù)由圖像驅(qū)動(dòng)的卷積神經(jīng)網(wǎng)絡(luò)映射而來[72]. 在測(cè)試中, 他們使用DVS相機(jī)在1 s內(nèi)拍攝了40張撲克牌, 可以達(dá)到97.5%的識(shí)別率.

在SNN無監(jiān)督學(xué)習(xí)方面, STDP是一種常用方法. Diehl等[73]提出了一種兩層架構(gòu)的脈沖神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu), 第1層為28×28的輸入層, 維度與輸入數(shù)據(jù)相同; 第2層為處理層, 又可細(xì)分為興奮層和抑制層, 兩層由同等數(shù)量的興奮性神經(jīng)元和抑制性神經(jīng)元組成. 輸入層與興奮層之間全連接; 每個(gè)興奮性神經(jīng)元一對(duì)一地連接到抑制性神經(jīng)元(如圖14中興奮層左側(cè)的射線), 同時(shí)抑制性神經(jīng)元會(huì)投射到所有興奮性神經(jīng)元(如圖14中抑制層左側(cè)的射線). 對(duì)該網(wǎng)絡(luò)采用STDP算法進(jìn)行訓(xùn)練, 在MNIST數(shù)據(jù)集上可以達(dá)到95%的精度. 但是Diehl等[73]在預(yù)處理MNIST數(shù)據(jù)集時(shí)沒有采用事件相機(jī)的數(shù)據(jù)格式. Iyer等[74]采用N-MNIST數(shù)據(jù)集(N-MNIST數(shù)據(jù)集為采用DVS事件相機(jī)記錄的MNIST數(shù)據(jù)集)重新測(cè)試了Diehl等[73]提出的網(wǎng)絡(luò), 精度可以達(dá)到80.63%.

圖 14  兩層脈沖神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示意圖[74]

Fig. 14  Schematic diagram of two-layer spiking neural network structure[74]

SNN與事件相機(jī)的結(jié)合, 不僅可用于識(shí)別工作, 還能進(jìn)一步助力機(jī)電伺服、運(yùn)動(dòng)檢測(cè)與追蹤等. Cheng等[75]將DVS事件相機(jī)、SpiNNaker平臺(tái)以及機(jī)電伺服模塊集成到由脈沖神經(jīng)網(wǎng)絡(luò)控制的自主機(jī)器人當(dāng)中, 實(shí)現(xiàn)守門任務(wù). 機(jī)電伺服模塊由伺服電機(jī)、長(zhǎng)臂以及長(zhǎng)臂末端的“守門員”組成. SpiNNaker平臺(tái)上運(yùn)行的脈沖神經(jīng)網(wǎng)絡(luò)僅有輸入層和輸出層, 不包含中間層, 共有8個(gè)輸出神經(jīng)元, 對(duì)應(yīng)“守門員” 8個(gè)位置. 當(dāng)球來臨時(shí), DVS相機(jī)捕捉到球的運(yùn)動(dòng), 生成地址事件傳遞給單片機(jī), 單片機(jī)將數(shù)據(jù)打包發(fā)送到SpiNNaker平臺(tái). 當(dāng)某個(gè)輸出神經(jīng)元輸出脈沖時(shí), 由SpiNNaker平臺(tái)向單片機(jī)發(fā)送數(shù)據(jù)包, 進(jìn)而由單片機(jī)驅(qū)動(dòng)機(jī)電伺服模塊, 使“守門員”運(yùn)動(dòng)到指定位置攔截小球.

Ting等[76]提出了一種六足機(jī)器人的步態(tài)模仿解決方案, 該方案采用基于CeleX5事件相機(jī)的前饋脈沖神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn). 如圖15所示, 在該方案中, Ting等[76]采用CeleX5事件相機(jī)觀察“專家”的步態(tài), 所產(chǎn)生的事件采用Andpool進(jìn)行濾波, 然后采用兩層脈沖神經(jīng)網(wǎng)絡(luò)處理, 實(shí)現(xiàn)“學(xué)生”步態(tài)與“專家”步態(tài)的同步控制. 脈沖神經(jīng)網(wǎng)絡(luò)輸出層有6個(gè)神經(jīng)元, 對(duì)應(yīng)“學(xué)生”的6條腿; 輸入層與輸出層全連接. Youssef等[77]在鰻魚型水下機(jī)器人Envirobot頭部安裝雙目DVS事件相機(jī), 采用LIF脈沖神經(jīng)網(wǎng)絡(luò)處理事件數(shù)據(jù), 產(chǎn)生Envirobot軀干關(guān)節(jié)控制信號(hào), 驅(qū)動(dòng)Envirobot向探測(cè)到的目標(biāo)游動(dòng).

圖 15  步態(tài)模仿系統(tǒng)結(jié)構(gòu)示意圖[76]

Fig. 15  Schematic diagram of gait simulation system[76]

Blum等[78]在神經(jīng)形態(tài)芯片ROLLS上部署SNN, 采用DVS事件相機(jī)作(像素為128×128)為敏感器, 采用Parallella并行計(jì)算平臺(tái)進(jìn)行實(shí)時(shí)計(jì)算, 實(shí)現(xiàn)了PushBot無人小車的避撞控制. 神經(jīng)網(wǎng)絡(luò)的輸出分為3個(gè)簇, 每簇16個(gè)神經(jīng)元, 分別輸出信號(hào)控制PushBot左轉(zhuǎn)、右轉(zhuǎn)以及前進(jìn), 3個(gè)方向的速度與被激活的輸出神經(jīng)元的數(shù)目相關(guān). 在進(jìn)行避撞控制時(shí), 將DVS視圖的下半部分用于障礙探測(cè), 每個(gè)4 × 64的像素陣列連接一個(gè)輸入神經(jīng)元, 共32個(gè)神經(jīng)元構(gòu)成輸入層, 輸入層與前進(jìn)簇抑制連接; 像素陣列左右兩側(cè)連接的輸入神經(jīng)元分別與左轉(zhuǎn)、右轉(zhuǎn)簇神經(jīng)元采用激活連接, 左轉(zhuǎn)與右轉(zhuǎn)簇之間有抑制連接. 同時(shí)為了在沒有障礙物的情形下驅(qū)動(dòng)PushBot持續(xù)前進(jìn), 在前進(jìn)簇神經(jīng)元旁邊設(shè)置了8個(gè)神經(jīng)元, 與前進(jìn)簇激活連接. PushBot通過DVS視圖的上半部分探測(cè)目標(biāo), 每個(gè)2×64的像素陣列連接一個(gè)輸入神經(jīng)元, 共64個(gè)神經(jīng)元構(gòu)成輸入層, 用于指引PushBot的前進(jìn)目標(biāo)方向.

此外, Renner等[79]基于DAVIS 240C事件相機(jī)和在Loihi上實(shí)現(xiàn)的遞歸脈沖神經(jīng)網(wǎng)絡(luò), 實(shí)現(xiàn)了用于選擇性關(guān)注和跟蹤的事件驅(qū)動(dòng)視覺和處理系統(tǒng). Gehrig等[80]使用卷積脈沖神經(jīng)網(wǎng)絡(luò)估計(jì)了一個(gè)旋轉(zhuǎn)運(yùn)動(dòng)的DAVIS240C事件相機(jī)三自由度角速度. 該卷積脈沖神經(jīng)網(wǎng)絡(luò)由5個(gè)卷積層、一個(gè)全局平均池化層以及一個(gè)全連接層組成, 其神經(jīng)元采用SRM模型, 采用一階優(yōu)化方法訓(xùn)練.

6.   基于事件相機(jī)的其余類型機(jī)電系統(tǒng)感知和控制

除了無人機(jī)、機(jī)械臂和人形機(jī)器人, 事件相機(jī)也在其余類型的機(jī)電系統(tǒng)中有典型的應(yīng)用. 如鉛筆倒立控制等小車的追蹤控制等. Conradt等[13, 81]采用由兩部DVS事件相機(jī)和一個(gè)由兩臺(tái)伺服電機(jī)驅(qū)動(dòng)的工作臺(tái), 實(shí)現(xiàn)了鉛筆倒立平衡控制, 如圖16所示. 兩部DVS相機(jī)分別安裝在平臺(tái)X、Y兩個(gè)方向上, 當(dāng)鉛筆傾斜時(shí)會(huì)可以分別獲得兩個(gè)方向上的地址事件, 進(jìn)而分別實(shí)現(xiàn)平面線檢測(cè); 基于兩個(gè)相機(jī)平面線檢測(cè)的結(jié)果可以對(duì)鉛筆進(jìn)行三維線估計(jì), 進(jìn)而采用PD控制律驅(qū)動(dòng)兩部伺服電機(jī), 最終實(shí)現(xiàn)了鉛筆倒立平衡控制.

圖 16  鉛筆倒立平衡控制系統(tǒng): 兩臺(tái)DVS事件相機(jī)進(jìn)行線檢測(cè)(右上角及左下角), 左上角運(yùn)動(dòng)平臺(tái)由中間兩部伺服電機(jī)驅(qū)動(dòng)[81]

Fig. 16  Photo of balancer hardware: 2 DVS (right top and bottom left), the motion table (top left) actuated by two servos (center)[81]

在機(jī)器人控制方面, Moeys等[82]在Summit XL小車上安裝DAVIS相機(jī), 結(jié)合卷積神經(jīng)網(wǎng)絡(luò), 實(shí)現(xiàn)對(duì)另一部Summit XL機(jī)器人的追蹤. DAVIS相機(jī)可以同時(shí)輸出地址事件和幀圖像, 在預(yù)處理數(shù)據(jù)時(shí)每記錄5000個(gè)地址事件就合成一張直方圖, 合成直方圖和幀圖像作為卷積神經(jīng)網(wǎng)絡(luò)的輸入. 網(wǎng)絡(luò)結(jié)構(gòu)為4C5-R-2S-4C5-R-2S-40F-R-4F, 4個(gè)輸出分別是左轉(zhuǎn)、右轉(zhuǎn)、前進(jìn)、消失, 追蹤的準(zhǔn)確度可以達(dá)到80%, 如圖17所示. 在守門機(jī)器人驅(qū)動(dòng)方面, 除了Cheng等[75]采用的將事件相機(jī)與SNN結(jié)合的算法, Delbruck等[83-84]還采用聚類算法識(shí)別和追蹤小球的運(yùn)動(dòng), 應(yīng)用小球的速度和位置信息驅(qū)動(dòng)伺服系統(tǒng)到達(dá)指定位置實(shí)現(xiàn)攔截.

圖 17  Summit XL機(jī)器人追蹤實(shí)驗(yàn)[82]

Fig. 17  Summit XL robot tracking experiment[82]

Mueller等[85-86]提出了一種基于事件反饋的控制方法, 直接利用事件相機(jī)高時(shí)間分辨率、低延遲、低功耗、高動(dòng)態(tài)范圍的特點(diǎn). 在實(shí)驗(yàn)中, 基于PD控制律和控制實(shí)驗(yàn)LQR (Linear quadratic regulater)調(diào)節(jié)器控制伺服電機(jī)驅(qū)動(dòng)滾筒裝置, 取得了較好的效果. Delbruck等[87]將DAVIS安裝在槽車軌道的上帝視角, 當(dāng)小車行駛時(shí)會(huì)產(chǎn)生事件, 這些事件可用于計(jì)算小車的加減速指令. 與人才操控的小車比賽, 基于DAVIS控制的小車能贏超過80%的比賽. Censi[88]在將原始事件數(shù)據(jù)采用線性濾波器濾波后, 研究了在事件相機(jī)反饋下的圖像空間中的航向調(diào)節(jié)問題. 在線性系統(tǒng)整定方面, Singh等[89-91]應(yīng)用事件相機(jī)的成像機(jī)制, 研究了連續(xù)線性時(shí)不變系統(tǒng)的二次穩(wěn)定問題, 并在考慮測(cè)量噪聲和測(cè)量信號(hào)離散的基礎(chǔ)上設(shè)計(jì)了一種H∞$H_{\mathrm{\infty }}$控制器, 能實(shí)現(xiàn)不穩(wěn)定系統(tǒng)的穩(wěn)定控制.

事件相機(jī)在機(jī)電系統(tǒng)控制、環(huán)境識(shí)別與感知等方面具有極其廣泛的應(yīng)用, 相比于傳統(tǒng)幀相機(jī)具有顯著優(yōu)勢(shì). 但將事件相機(jī)應(yīng)用于識(shí)別與控制仍具有相當(dāng)?shù)奶魬?zhàn)性, 譬如事件相機(jī)與脈沖神經(jīng)網(wǎng)絡(luò)的結(jié)合, 結(jié)構(gòu)簡(jiǎn)單的網(wǎng)絡(luò)易于訓(xùn)練但性能有限、而復(fù)雜網(wǎng)絡(luò)的訓(xùn)練仍面臨許多挑戰(zhàn); 結(jié)合事件相機(jī)的機(jī)電系統(tǒng)控制能顯著提高系統(tǒng)的響應(yīng)時(shí)間, 但新算法、新應(yīng)用的開發(fā)仍需要深入研究.

7.   總結(jié)與展望

事件相機(jī)與傳統(tǒng)幀相機(jī)具有完全不同的工作機(jī)理, 具有數(shù)據(jù)量小、延遲低、動(dòng)態(tài)范圍高的特點(diǎn), 因此將其置于機(jī)器人控制回路的閉環(huán)之中, 降低了測(cè)量、感知環(huán)節(jié)的延遲和數(shù)據(jù)量. 本文介紹了事件相機(jī)在無人機(jī)、機(jī)械臂、人形機(jī)器人等機(jī)器人系統(tǒng)中感知與控制的最新工作以及結(jié)合事件相機(jī)發(fā)展的新型控制算法, 技術(shù)發(fā)展脈絡(luò)如圖18所示, 圖中橫軸對(duì)應(yīng)感知部分技術(shù), 主要分為兩大類: 一類(負(fù)橫軸)先將事件相機(jī)采集的事件流數(shù)據(jù)對(duì)應(yīng)成事件幀, 可嘗試?yán)脠D像處理方法解決高速、高動(dòng)態(tài)的應(yīng)用場(chǎng)景問題. 另一類(正橫軸)則根據(jù)事件相機(jī)采集數(shù)據(jù)自身特點(diǎn)直接設(shè)計(jì)新的事件流處理算法, 如基于異步事件流的活躍事件表面; 縱軸對(duì)應(yīng)控制部分技術(shù)也分為兩大類, 包括基于目標(biāo)特征的運(yùn)動(dòng)規(guī)劃與控制的傳統(tǒng)算法(正縱軸), 以及充分考慮事件相機(jī)異步事件流特性的新型控制算法(負(fù)縱軸), 代表如SNN. 目前的研究根據(jù)上述技術(shù)分類組合可得到四條主流技術(shù)路線, 但是仍處于起步階段, 主要存在的問題和發(fā)展方向有:

圖 18  技術(shù)發(fā)展脈絡(luò)圖 (橫軸為感知技術(shù)分類, 負(fù)橫軸為基于事件幀的圖像感知算法, 正橫軸為基于異步事件流的感知算法; 縱軸為控制技術(shù)分類, 正縱軸為基于目標(biāo)特征的運(yùn)動(dòng)規(guī)劃與控制的傳統(tǒng)方法, 負(fù)縱軸為基于異步事件流的新型控制算法,其中使用相似技術(shù)路線的文獻(xiàn)處于同一象限, 標(biāo)注是根據(jù)機(jī)器人類型進(jìn)行分類并按時(shí)間順序排列, 虛線內(nèi)文獻(xiàn)只涉及基于事件相機(jī)的感知技術(shù))

Fig. 18  Development venation map of technology (The horizontal axis is the classification of perception technology, the negative horizontal axis is the image perception algorithm based on event frame, and the positive horizontal axis is the perception algorithm based on asynchronous event stream. The vertical axis is the classification of control technology, the positive vertical axis is the traditional method of motion planning and control based on object features, and the negative vertical axis is a new control algorithm based on asynchronous event stream. The literatures using similar technical routes are in the same quadrant, and the labels are classified according to robot types and arranged in chronological order. The literatures in the dotted line only involve the sensing technology based on event cameras)

1) 視覺系統(tǒng)是機(jī)器人完成跟蹤、抓取以及操作的關(guān)鍵基礎(chǔ), 而目前基于事件的視覺算法難以滿足復(fù)雜環(huán)境下物體檢測(cè)、跟蹤與識(shí)別任務(wù)的要求. 例如當(dāng)事件相機(jī)隨機(jī)器人(如無人機(jī)、機(jī)械臂末端等)運(yùn)動(dòng)時(shí), 輸出的數(shù)據(jù)包括靜止物體、運(yùn)動(dòng)物體產(chǎn)生的事件以及噪聲事件, 從這些雜亂的事件數(shù)據(jù)中提取可用的目標(biāo)信息是一大難點(diǎn). 因此, 有必要進(jìn)一步研究基于事件的運(yùn)動(dòng)分割技術(shù)以及基于機(jī)器/深度學(xué)習(xí)的目標(biāo)檢測(cè)與識(shí)別技術(shù).

2) 目前在結(jié)合事件相機(jī)的機(jī)器人控制系統(tǒng)中, 視覺模塊的延遲占比較高, 為進(jìn)一步提升機(jī)器人操控的靈活性, 有必要根據(jù)事件相機(jī)特性設(shè)計(jì)更加快速高效的視覺模塊. 例如, 可深挖事件流的異步特性并開發(fā)異步、超低延遲的特征檢測(cè)與跟蹤算法. 另外, 隨著近年來事件相機(jī)分辨率的不斷提升, 在計(jì)算效率方面視覺算法將面臨更多挑戰(zhàn).

3) 目前在結(jié)合事件相機(jī)的機(jī)器人控制系統(tǒng)中, 控制器設(shè)計(jì)較為簡(jiǎn)單. 由于事件相機(jī)對(duì)光照變化較為敏感, 可能產(chǎn)生包含大量噪聲事件的視覺信號(hào), 而這些噪聲的不確定性將很容易影響控制系統(tǒng)的性能, 因此有必要進(jìn)一步研究新型的控制算法, 以實(shí)現(xiàn)基于事件相機(jī)的機(jī)器人穩(wěn)定控制. 同時(shí), 也需要研究噪聲事件的產(chǎn)生機(jī)理, 這將有助于去噪算法的設(shè)計(jì)以及控制器分析.

4) 目前結(jié)合事件相機(jī)的機(jī)器人控制系統(tǒng)仍依賴傳統(tǒng)機(jī)器人的控制流程, 如首先進(jìn)行視覺特征的檢測(cè)跟蹤, 再進(jìn)行期望軌跡規(guī)劃與軌跡跟蹤等, 并沒有發(fā)揮出事件相機(jī)神經(jīng)形態(tài)與高時(shí)間分辨率的特點(diǎn). 理論上, 事件相機(jī)與脈沖神經(jīng)網(wǎng)絡(luò)具有自然的適配性, 研究有效的脈沖神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法, 以實(shí)現(xiàn)端到端的控制指令生成, 具有一定的研究意義.

綜上, 在未來的研究中, 建議充分利用事件相機(jī)輸出的異步事件流的特性, 設(shè)計(jì)低延遲、低計(jì)算量的視覺處理算法, 研究新型的控制算法以及研究事件相機(jī)與脈沖神經(jīng)網(wǎng)絡(luò)結(jié)合的方法以實(shí)現(xiàn)機(jī)器人的靈活與智能操控.