文章題目從機器視覺的角度，從攝像機標定、平面物體檢測、紋理物體、非紋理物體、深度學習、與任務/運動規(guī)劃的結(jié)合等六個方面進行了深入分析。

首先要明白機器人領(lǐng)域的機器視覺和計算機視覺有一些區(qū)別:機器視覺的目的是為機器人提供操作對象的信息。因此，機器視覺的研究大概有這幾塊:

1.物體識別:在圖像中檢測物體類型，與CV研究有較大交叉；

2.姿態(tài)估計:計算物體在攝像機坐標系中的位置和姿態(tài)。對于機器人來說，要抓東西，不僅要知道是什么，還要知道在哪里；

3.攝像機標定:由于上面只計算了物體在攝像機坐標系中的坐標，我們還需要確定攝像機和機器人之間的相對位置和姿態(tài)，這樣就可以將物體的姿態(tài)轉(zhuǎn)換成機器人的姿態(tài)。

當然，我主要專注于物體抓取領(lǐng)域的機器視覺；SLAM等領(lǐng)域我就不說了。

由于視覺是機器人感知的重要組成部分，因此有很多研究。我將按照從簡單到復雜的順序介紹一些我所知道的。

1.攝像機標定

其實這是一個比較成熟的領(lǐng)域。由于我們所有的物體識別只是計算物體在攝像機坐標系中的姿態(tài)，所以機器人在操作物體時需要知道物體在機器人坐標系中的姿態(tài)。因此，我們需要首先校準相機的姿態(tài)。

內(nèi)參校準我就不提了，參考張的論文或者各種校準工具箱；

對于外部參考校準，根據(jù)攝像機安裝位置有兩種方式:

到手:相機與機器人的極坐標系統(tǒng)固定連接，不隨機械臂的移動而移動。

眼手:攝像頭固定在機械臂上，隨機械臂移動。

這兩種方案類似，第一種是眼對手。

只需在機械臂末端固定一個棋盤，在相機視野內(nèi)移動幾個姿勢。因為攝像機可以計算出棋盤格相對于攝像機坐標系的位姿A_i，而機器人的運動學正解可以計算出從機器人基座到末端手爪的位姿變化E_i，而末端手爪和棋盤格的位姿相對恒定。

這樣，我們可以得到一個坐標系環(huán)CX=XD。

至于手握眼球的情況，同樣，只需要在地面上放一個棋盤(與機器人底座固定連接)，然后讓機械臂拿著相機拍幾個位置，然后形成一個AX=XB的坐標環(huán)。

2.平面目標檢測

這是目前工業(yè)流水線上最常見的場景。目前該領(lǐng)域?qū)σ曈X的要求是:快速、準確、穩(wěn)定。所以一般采用最簡單的邊緣提取+邊緣匹配/形狀匹配的方法；而且為了提高穩(wěn)定性，一般會以點亮光源為主，采用對比度大的背景來減少系統(tǒng)變量。

目前很多智能相機(比如康耐視)直接嵌入了這些功能；而且物體一般放置在一個平面上，攝像機只需要計算出物體的(x，y，θ)T三自由度位姿。

另外，這種應用場景一般用于加工特定工件，相當于只有姿態(tài)估計，沒有物體識別。

當然，在工業(yè)上追求穩(wěn)定也無可厚非，但是隨著生產(chǎn)自動化需求的增加，服務機器人的興起。更復雜物體的完整位姿(x，y，z，rx，ry，rz)T的估計已經(jīng)成為機器視覺的研究熱點。

三。有紋理的物體

機器人領(lǐng)域最先研究有紋理的物體，比如飲料瓶、快餐盒等具有豐富紋理的表面。

當然，這些對象仍然可以使用邊緣提取+模板匹配的方法。但在實際的機器人操作過程中，環(huán)境會更加復雜:光照條件不確定(光照)，物體與攝像機的距離不確定(縮放)，攝像機看物體的角度不確定(旋轉(zhuǎn)，仿射)，甚至被其他物體遮擋(遮擋)。

具體原理可以在上面4萬+引用的論文或者各種博客中找到。簡單來說，這種方法提取的特征點只與物體表面的某一部分紋理有關(guān)，與光照變化、尺度變化、仿射變換和整個物體無關(guān)。

因此，利用SIFT特征點，我們可以直接在相機圖像中找到與數(shù)據(jù)庫中相同的特征點，從而確定相機中的物體是什么(物體識別)。

對于不會變形的物體，特征點在物體坐標系中的位置是固定的。因此，我們可以在獲得幾對點后，直接求解攝像機中的物體與數(shù)據(jù)庫中的物體之間的單應矩陣。

如果我們使用深度相機(如Kinect)或雙目視覺方法，我們可以確定每個特征點的三維位置。然后直接求解這個PnP問題，就可以計算出物體在當前攝像機坐標系中的姿態(tài)。

↑這里有一份實驗室前大四畢業(yè)生的成果。

當然，在實際操作中，要使其真正可用還有很多細節(jié)，比如:首先，利用點云分割和歐氏距離去除背景的影響，選擇特征穩(wěn)定的物體(有時SIFT會發(fā)生變化)，利用貝葉斯方法加快匹配速度。

而且除了SIFT之外，后來還出了很多類似的特征點，比如SURF，ORB等等。

四。有紋理的物體

好吧，有問題的物體很容易解決，所以生活或行業(yè)中還是有很多物體是沒有質(zhì)感的:

我們最容易想到的是:有沒有一個特征點可以描述物體的形狀，并且具有類似SIFT的不變性？

可惜，據(jù)我所知，目前還沒有這樣的特征點。

所以之前的方法還是使用基于模板的匹配，但是匹配的特征是經(jīng)過特殊選擇的(不僅僅是邊緣等簡單特征)。

簡單來說，本文同時使用彩色圖像的梯度和深度圖像的表面法線作為特征來匹配數(shù)據(jù)庫中的模板。

因為數(shù)據(jù)庫中的模板是從多個視角拍攝一個物體后生成的，所以這種匹配得到的物體姿態(tài)只能算是一個初步的估計，并不準確。

但是，只要我們有了物體的這個初步估計姿態(tài)，就可以直接使用ICP算法(迭代最近點)將物體模型與3D點云進行匹配，從而獲得物體在攝像機坐標系中的精確姿態(tài)。

當然，這個算法的實現(xiàn)還有很多細節(jié):如何建立模板，顏色漸變的表示等。另外，這種方法不能處理物體被遮擋的情況。(當然部分遮擋可以通過降低匹配閾值來處理，但是會造成誤識別)。

針對部分遮擋，我們實驗室的張博士去年對LineMod進行了改進，但由于論文沒有發(fā)表，所以沒有過多涉及。

動詞 （verb的縮寫）深度學習

由于深度學習在計算機視覺領(lǐng)域已經(jīng)取得了非常好的成果，我們作為機器人自然會嘗試將DL用于機器人物體識別。

首先對于物體識別，這個可以復制DL的研究成果，各種CNN都可以。在2016年的“亞馬遜抓取大賽”中，很多隊伍都采用了DL作為物體識別算法。

但是在這個比賽中，雖然很多人使用DL進行物體識別，但是仍然使用簡單或者傳統(tǒng)的算法進行物體姿態(tài)估計。DL似乎沒有被廣泛采用。正如周所說，語義分割網(wǎng)絡一般用于分割彩色圖像上的物體，然后通過ICP將一些分割的點云與物體的三維模型進行匹配。

其方法大致如下:對于一個物體，取很多小塊的RGB-D數(shù)據(jù)(只關(guān)注一個面片，可以用局部特征處理遮擋)；每個塊都有一個坐標(相對于物體坐標系)；然后，首先使用自編碼器降低數(shù)據(jù)的維數(shù)。然后，利用降維后的特征訓練霍夫森林。

六。與任務/體育規(guī)劃相結(jié)合

這部分也是一個有趣的研究內(nèi)容。因為機器視覺的目的是為機器人操作物體提供信息，并不局限于攝像機中的物體識別和定位，往往需要與機器人的其他模塊相結(jié)合。

我們讓機器人從冰箱里拿一瓶雪碧，但雪碧被米琳達擋住了。

我們做的是這樣的:首先去掉美琳達，然后拿走精靈。

所以對于機器人來說，它首先需要通過視覺確定Sprite在mirinda后面，同時需要確定mirinda是可以移開的，而不是冰箱門這樣的固定物體。