機械工業網 - 機械工業雜誌 - 機械產業的入口網站

:::

當期雜誌

作者:程登湖、謝佳鴻、王昱健整合大型語言模型至機器人感知與組裝系統

本研究探討將大型語言模型，特別是多模態語言模型，整合至機器人感知系統的方法，藉由結合影像與語言輸入，實現情境理解與自主決策。透過將視覺編碼器處理的影像資料與自然語言輸入結合，系統進行情境推理和決策，並透過多種策略量化感知結果。此方法已應用於機器人螺絲緊固組裝任務，採用Gemma 3 4B模型整合視覺、力覺感知和控制模組，建構智慧組裝系統。實驗結果顯示，將多模態感知資訊與語言模型的推理能力相結合，可以使人工智慧有效地評估任務成功率並提供可信度評估，為智慧製造中的精密組裝提供了一種新穎的解決方案。

作者:蕭欽奇、程登湖、謝佳鴻機器人無治具組裝技術研究

無治具組裝 (Fixtureless Assembly) 為機器人邁向高度彈性化的核心指標，亦為製造業面對少量
多樣生產之關鍵挑戰。傳統組裝技術仰賴精密治具與預先編程，難以因應頻繁換線之成本與時間壓
力。本文整合三大核心技術：(1) 以 Google Gemini API 為基礎之大型語言模型 (LLM) 任務規劃，可
將自然語言指令轉換為可執行動作序列並支援即時錯誤恢復；(2) 視覺、力覺與多模態大型語言模型
(MLLM) 之三重感測融合，依序執行夾取、組裝與判定；(3) 雙臂協作控制演算法，搭配 YOLO 物件檢
測與 Gemma 3 4B 多模態模型。於木製椅子組裝實驗中，達成物件辨識率 95%、組裝成功與失敗判定正
確率分別為 95% 與 94%，並維持力控誤差小於 1 N，驗證本架構於無治具情境下兼具彈性與穩健性。