模擬器自動圖像生成及自動標註：以深度學習結合機器人隨機堆疊取料為例
摘要：目前視覺領域中的深度學習往往依賴大量圖像及針對這些圖像進行標註，才能將資料集給深度學習演算法進行學習，而人工蒐集資料曠日廢時，且成像品質無法控管其為問題之一，人工針對大量資料進行標註，不同工程師標註方式與品質不一，且此工作枯燥乏味無法負荷長時間工作其為問題之二。針對上述兩個問題，本技術提出以模擬器建立高擬真的場景，其中包含工廠配置、料籃、光源及工件資料，並透過多樣性生成算法(Domain Randomization)，快速產生大量符合物理特性工件隨機堆疊擺放之多樣性場景，以及相關條件控制如：光源種類、光源方向等。針對每一次的場景進行工件遮蔽演算法計算，判別物料隨機掉落於料籃後是否有遮蔽現象等，以配合後續機器人隨機堆疊取料之應用情境。根據每一次場景結果進行圖像儲存以及自動圖像標註包含：工件多邊型標註(Polygon)資訊、深度圖像取料點標註(Picking Point label)資訊、圖像儲存位置描述等，其描述檔案符合Pascal 與 COCO Datasets格式，故可以支援絕大多數圖像深度學習演算法之使用。
Abstract：Vision recognition with deep learning relies on massive amount of training images. All these training images must be labeled before deep learning algorithms can be used for training. However, manual gathering and labeling of images are both extremely time consuming given that labeling quality is find to be inconsistent. This article proposes a method to generate large amount of physically correct scenes of randomly stacked objects through domain randomization technique. The controllable conditions include illumination type, light source direction, and occlusion status. Every image taken from each scene can be labeled automatically without human interference. The labeled information includes polygon label, depth image picking point label, image storage location, etc. The description of each label conforms with Pascal and COCO Dataset description formats and can be used in most image-based deep learning algorithms.
關鍵詞：自動圖像生成、自動標註、人工智慧、隨機堆疊取料
Keywords：Computer-generated imagery(CGI), Auto annotation / Auto labeling, Artificial Intelligence(AI), Random Bin Picking(RBP)
前言
機器人搭配機器視覺的整合應用已經非常普及，諸如瑕疵檢測、物件定位、量測、夾取等多個領域當中，傳統上的演算法往往需要針對個別工件特徵，各別設計對應的演算法，且往往需要多個演算法疊合才能準確的篩選出所需要的特徵進行後續的工作如檢測或定位等。3D的視覺應用一樣廣泛於物件的量測、物件姿態估測等，其中物件的姿態估測傳統上仰賴高精度的相機進行深度點雲的分割處理，並最後倚靠CAD model進行最終姿態的擬合，以機器人3D隨機堆疊取料-3D Random Bin Picking (RBP)為例，傳統的流程圖大致如圖1所示。
圖1 傳統RBP流程圖
現今許多學術單位及相關公司已經利用深度學習演算法於機器人隨機多疊取料中，其優點為可以在物件辨識這一塊演算法中，以替換不同資料集的方式訓練人工智慧(Artificial Intelligence)AI ，以達到在演算法架構不必重構情況下，同一套演算法即可辨識不同的工件，再進行後續姿態辨識及機器人取料控制，AI結合RBP[1-5]的流程圖如圖2所示。
圖2 AI RBP流程圖
上述傳統RBP以及AI RBP皆有其優點，但傳統RBP問題為：若無高解析度之3D相機，或是工廠若無提供CAD模型則無法進行。AI RBP問題為：人工智慧演算法依賴大量圖像及針對這些圖像進行標註，才能將資料集給深度學習演算法進行學習，而人工蒐集資料曠日廢時，且成像品質無法控管其為問題之一，人工針對大量資料進行標註，不同工程師標註方式與品質不一，且此工作枯燥乏味無法負荷長時間工作其為問題之二。
針對上述問題，本文提出透過模擬器建立高擬真的場景，其中包含工廠配置、料籃、光源及工件資料，並透過多樣性生成算法(Domain Randomization)，快速產生大量符合物理特性工件隨機堆疊擺放之多樣性場景，以及相關條件控制如：光源種類、光源方向等。針對每一次的場景進行工件遮蔽演算法計算，判別物料隨機掉落於料籃後是否有遮蔽現象等，以配合後續機器人隨機堆疊取料之應用情境。根據每一次場景結果進行圖像儲存以及自動圖像標註包含：工件多邊型標註(Polygon)資訊、深度圖像取料點標註(Picking Point label)資訊、圖像儲存位置描述等，其描述檔案符合Pascal 與 COCO Datasets格式，故可以支援絕大多數圖像深度學習演算法之使用，模擬器結合人工智慧演算法應用於機器人隨機堆疊取料其流程圖如圖3。
圖3 自動圖像生成與自動標註於AI RBP流程圖
…本文未結束
更完整的內容 歡迎訂購 2020年8月號 449期
機械工業雜誌‧每期240元‧一年12期2400元
我要訂購