應用視覺化程式語言與人工智慧實現創新人機互動介面
作者：
黃立武、陳響亮、李宜靜、黃兆平、董塘筠、陳品修
刊登日期：2022/06/28
摘要：機台運動控制程式之編輯往往需要艱深的專業知識，且控制程式之程式語言需要專業背景才能閱讀。為了降低編輯運動控制程式之專業門檻，本文針對PC-Based控制器之六軸機械手臂與生產線周邊設備之運動控制進行研究，設計出一套視覺化程式語言(Visual Programming Language, VPL)，並透過此VPL實作出一套人機互動介面，使用者可透過拖曳、連結不同功能方塊之方式，實現生產線控制流程之建立與調整。為更進一步降低系統之操作門檻，本系統導入深度學習、電腦視覺、語音識別、眼動追蹤(eye tracking)等技術，開發基於手勢、語音、視線等特徵之人機互動功能，實現創新人機互動VPL編程機制。藉由上述機制之輔助，使用者可透過較為直覺的方式完成控制程式之編輯。
Abstract：The editing of machine motion control programs often requires professional knowledge, and the programming language of the control program is difficult to read. To reduce the professional threshold for editing motion control programs, this article focuses on the design and development of a human machine interface by using the visual programming language (VPL) which can be applied for the performance testing of the performance of the developed system. The testing examples include the motion control of the six-axis robotic arms with PC-Based controllers and the control of production line peripherals. Through the VPL, a human-computer interaction system is developed, which allows users to establish and adjust the production line control flow by dragging and linking different functional icons. To further reduce the operating threshold of the system, deep learning, computer vision, voice recognition, eye tracking and other technologies are also introduced to develop the human-computer interaction mechanism based on gesture, voice, and vision features. With the help of the above mentioned mechanism, users can realize the editing of production line control programs in a more intuitive way.
關鍵詞：視覺化程式語言、運動控制、人工智慧、語音辨識、手勢辨識
Keywords：Visual programming language, Motion control, Artificial intelligence, Voice recognition, Gesture recognition
前言
在工業環境中，機械手臂或各機台之運動控制有著相當高的技術門檻，大多須由受過專業訓練之工程師才能負責此項工作。目前許多機器人大廠具有各自獨特的機器人控制語言，導致市面上運動控制程式語言的種類繁多，讓不具程式編輯經驗與非專業領域的使用者必須付出更多時間與心力，方能熟悉並運用不同的系統；Alexandrova等人之研究[1]亦顯示，市售的機械手臂軟體環境仍過於封閉，針對不同的系統環境與日益複雜的應用情境，機械手臂的運動程式將更要求由專業的程式人員撰寫。為改善上述問題，本文將基於VPL[2]設計一視覺化人機互動介面，並於其中整合工業機械手臂與生產線周邊設備之控制功能，以期降低智慧製造領域使用者編輯運動控制程式之門檻。相較於文字形式之程式，VPL能夠讓使用者不再受限於程式語法，只需排列、連結功能區塊即可實現程式執行流程的設計，將有助於降低程式編輯之難度並使程式更易於理解。且VPL各程式功能獨立呈現，新增功能時不必修改舊的程式方塊，僅須創建新方塊便能完成。該特性使VPL之擴展性高於一般文字程式語言，並有更高的自由度進行功能之擴展。
在傳統的製造環境裡，人機互動(HMI)多是透過教導器、按鈕或圖形化使用者界面完成，且大多只有受過專業訓練的工程師才知道該如何正確控制；而在未來的趨勢中，HMI正朝著以人為本(Person-Centered)的複合控制模式發展，期望人與機器人可以使用更類似人與人之間的直覺方式互動[3]。隨著感測技術的發展，人們與電子設備的交互方式正逐漸改變。除了傳統人機交互設備(如鍵盤、滑鼠、觸控式介面等)之外，手勢、語音、眼動追蹤、臉部表情、腦波、觸覺等資訊皆可做為HMI之輸入訊號。若將人與人溝通時經常採用的手勢、語言甚至眼神做為智慧製造場域中人機互動之媒介，將有助於降低初學者操作複雜設備時的負擔。藉由易於上手之人機互動功能，操作者可透過更為人性化的介面傳達需求給製造設備，不再需要牢記複雜的機台操作指令或設備控制方式。
本文提出之「創新人機互動介面」基於PC-Based控制器進行開發，並導入機械手臂、CNC、輸送帶等製程設備之控制功能，同時採用視覺化程式語言作為使用者編程之方式，讓使用者得以跳脫複雜且難懂的文字程式語言編輯，可以用更直觀的方式進行機台之控制與生產線之調整。同時為強化使用者與機械設備協作之實用性與便利性，本文之人機互動介面結合電腦視覺、深度學習、自動語音識別(Automatic Speech Recognition, ASR)、眼動追蹤等技術，於系統中加入創新之手勢、語音及視線人機互動功能，讓操作者能以更直覺方式進行VPL程式之編輯，並能以更直觀之方式完成機台之運動操作或軌跡教導，實現降低機台操作門檻之目的。
人機互動介面總體設計
本文之人機互動介面之系統模組設計如圖1所示，此系統分為實體設備、系統前端與系統後端三部分。實體設備包含用於實現產線運作的工業機械手臂、輸送帶、I/O控制卡，以及用於實現HMI之IP網路攝影機、指向性麥克風與眼動追蹤儀；系統前端負責實現視覺化程式之各項編輯機制，包含「VPL控制介面模組」、「VPL功能圖示模組」、「HMI功能模組」；系統後端則透過混合式編譯器，解析使用者於前端設計之VPL，並執行對應之機械設備控制功能或應用功能。
圖1 人機互動介面系統模組設計圖
而系統前端之介面設計如圖2所示，可分為「工具列」、「工具箱」、「VPL編輯頁面」、「功能視窗」四個主要區塊，於圖片中依序標示為數字1到4，以下將對各區塊之功能進行詳細說明。
圖2 VPL之使用者介面設計
(1) 工具列：主要用於儲存及開啟VPL程式及顯示各類功能子視窗。為使整體操作流程更加流暢，本文中將機器手臂的初始化流程整併進人機互動介面中，透過「工具」列表的「手臂控制器」開啟機械手臂的設置頁面。「執行」子視窗負責VPL之編譯與執行，於VPL程式編輯完成後，可透過該功能完成運動程式之編譯並開始執行，如圖3所示。
圖3 工具列之詳細選單內容
…本文未結束
更完整的內容 歡迎訂購 2022年7月號 472期
機械工業雜誌‧每期240元‧一年12期2400元
我要訂購