SBDQ-205A機(jī)器人視覺(jué)數(shù)智化電氣實(shí)訓(xùn)平臺(tái)

一、實(shí)驗(yàn)指導(dǎo)

（一）電氣實(shí)訓(xùn)操作

機(jī)器人視覺(jué)數(shù)智化電氣實(shí)訓(xùn)平臺(tái)學(xué)生了解電氣工程中常見(jiàn)的控制回路及插件，并進(jìn)行邏輯觸發(fā)后完成整體電氣回路的搭建，過(guò)程中記錄，并對(duì)過(guò)程進(jìn)行評(píng)估和識(shí)別。

1.平臺(tái)啟動(dòng)后進(jìn)入登錄界面，輸入實(shí)訓(xùn)者身份信息后，開始在主控界面進(jìn)行線路的接通，并在執(zhí)行過(guò)程中了解操作部件的結(jié)構(gòu)、原理以及使用方式；

2.指令發(fā)出后實(shí)訓(xùn)臺(tái)開始呼喚機(jī)械臂操作部分就位，并開始執(zhí)行按壓、插拔、旋轉(zhuǎn)等動(dòng)作：

3.所有操作完畢后，將對(duì)操作內(nèi)容進(jìn)行識(shí)別評(píng)估、同時(shí)啟動(dòng)實(shí)訓(xùn)對(duì)象，并開始監(jiān)控其狀態(tài)，實(shí)訓(xùn)對(duì)象運(yùn)行過(guò)程中以物理的方式進(jìn)行運(yùn)行原理及內(nèi)部結(jié)構(gòu)的展示；

（二）自主行進(jìn)機(jī)器人實(shí)訓(xùn)

1.機(jī)器人底盤技術(shù)介紹：

學(xué)生了自行走機(jī)器人基本原理和應(yīng)用場(chǎng)景。

介紹自行走機(jī)器人運(yùn)行的基本條件及邏輯。

2.行走部分遙控操作：

學(xué)生使用遙控終端與機(jī)器底盤連接，操控機(jī)器人底盤，同時(shí)了解和學(xué)習(xí)差速控制條件下的底盤前進(jìn)、轉(zhuǎn)彎、掉頭變速等運(yùn)動(dòng)學(xué)分析。

3.可視化終端展示及學(xué)習(xí)：

學(xué)生使用遠(yuǎn)程終端學(xué)習(xí)和了解傳感器數(shù)據(jù)的原理、發(fā)布、完成基于gazebo界面工具搭建2D地圖，以及多算法模型規(guī)劃下的全局地圖和局部地圖。

4.編程控制實(shí)驗(yàn)：

學(xué)習(xí)如何ROS命令切換地圖及路徑規(guī)劃算法，實(shí)現(xiàn)自行走機(jī)器人不同的路線規(guī)劃。

（三）機(jī)器視覺(jué)模塊實(shí)訓(xùn)

學(xué)習(xí)和了解機(jī)器視覺(jué)模塊的基本原理和功能，以及其在機(jī)器人應(yīng)用中的作用。

1、介紹機(jī)器視覺(jué)模塊的圖像采集、處理和識(shí)別技術(shù)，如顏色識(shí)別、形狀識(shí)別、文字等。

2.目標(biāo)物體識(shí)別任務(wù)設(shè)計(jì)

設(shè)計(jì)目標(biāo)物體識(shí)別任務(wù)，并植入相應(yīng)的模型，根據(jù)視覺(jué)反饋?zhàn)R別特定顏色、形狀等特征的物體，并執(zhí)行相應(yīng)的動(dòng)作，過(guò)程中要求學(xué)生考慮識(shí)別算法、目標(biāo)檢測(cè)和定位精度等因素，設(shè)計(jì)合理的識(shí)別任務(wù)。

3.實(shí)驗(yàn)操作

學(xué)生進(jìn)行實(shí)驗(yàn)操作，控制機(jī)器人根據(jù)視覺(jué)反饋執(zhí)行不同的動(dòng)作，如拾取特定顏色的物體。

學(xué)生根據(jù)實(shí)驗(yàn)結(jié)果對(duì)視覺(jué)反饋控制程序進(jìn)行調(diào)整和優(yōu)化，提高識(shí)別和執(zhí)行的準(zhǔn)確性和效率。

（四）機(jī)械臂模塊實(shí)訓(xùn)

學(xué)習(xí)和了解多軸機(jī)械臂的基本原理和功能，以及其在工業(yè)應(yīng)用中的作用。

1、示教界面下的機(jī)械臂移動(dòng)及終端的動(dòng)作配合；

2、rvia可視化界面下機(jī)械臂運(yùn)動(dòng)軌跡規(guī)劃及避障操作。

3.實(shí)驗(yàn)操作

學(xué)生根據(jù)目標(biāo)坐標(biāo)，通過(guò)路徑規(guī)劃器對(duì)機(jī)械臂進(jìn)行單點(diǎn)移動(dòng)、多點(diǎn)軌跡移動(dòng)，并控制機(jī)器人終端拾取物品。

二、主要技術(shù)參數(shù)

三、設(shè)計(jì)軟件工具

四、設(shè)備結(jié)構(gòu)與組成

電氣工程數(shù)智化實(shí)訓(xùn)平臺(tái)平臺(tái)采用模塊化設(shè)計(jì)，分別為自行走機(jī)器人模塊、機(jī)械臂模塊、電氣控制模塊、機(jī)器視覺(jué)模塊、顯示操作模塊、等多功能快換模塊組成，實(shí)訓(xùn)臺(tái)采用鋁型材結(jié)構(gòu)，臺(tái)面上用于放置實(shí)訓(xùn)對(duì)象。

（一）自行走機(jī)器人模塊

機(jī)器人底盤采用雙?？刂品绞剑ㄟb控+自主避障導(dǎo)航），根據(jù)實(shí)訓(xùn)臺(tái)操作指令進(jìn)行位置的移動(dòng)，導(dǎo)航及行進(jìn)。

工作流程：

可視化Ros工作平臺(tái)，包含對(duì)相機(jī)、雷達(dá)、底盤驅(qū)動(dòng)、短波雷達(dá)、IMU姿態(tài)傳感器等組成部件的調(diào)用，提供SDK，在完成實(shí)訓(xùn)任務(wù)的同時(shí)，具備多種機(jī)器人行進(jìn)算法和控制的輸出：

a）對(duì)機(jī)器人自主行進(jìn)、建圖、避障話題及數(shù)據(jù)發(fā)布直觀的認(rèn)知。

b）Rviz可視窗口下的導(dǎo)航狀態(tài)監(jiān)控及目標(biāo)設(shè)定。

c）遙控狀態(tài)下的差速模式行進(jìn)轉(zhuǎn)彎、掉頭、修正交互感官。

d）NFS掛載與配置。

（二）機(jī)械臂動(dòng)作模塊

由六自由度機(jī)械臂、機(jī)械爪、深度相機(jī)組成。機(jī)器人本體模仿人的手臂，共有6 個(gè)旋轉(zhuǎn)關(guān)節(jié)，每個(gè)關(guān)節(jié)表示一個(gè)自由度，深度相機(jī)負(fù)責(zé)視覺(jué)識(shí)別及測(cè)距、機(jī)械爪負(fù)責(zé)識(shí)別后動(dòng)作執(zhí)行。

工作流程：

Rviz可視化界面，通過(guò)多自由度的運(yùn)行配合，完成目標(biāo)的捕捉，在完成實(shí)訓(xùn)任務(wù)的同時(shí)，具備機(jī)器視覺(jué)及相關(guān)的訓(xùn)練和過(guò)程演示：

a）手眼標(biāo)定。

b）機(jī)械臂運(yùn)動(dòng)學(xué)正逆解。

c）AR標(biāo)簽識(shí)別。

d）Moveit軌跡規(guī)劃及避障。

（三）顯示操作模塊

顯示操作模塊分別由主邏輯控制、過(guò)程感知部分組成，其中主邏輯計(jì)算機(jī)負(fù)責(zé)對(duì)整體任務(wù)指令的發(fā)出進(jìn)行輸出，包括自行走底盤的運(yùn)動(dòng)、機(jī)械臂操作指令、主交互界面的操作指令識(shí)別等，監(jiān)控計(jì)算機(jī)分別對(duì)實(shí)訓(xùn)對(duì)象的轉(zhuǎn)速、溫度、噪聲、操作動(dòng)作等動(dòng)態(tài)參數(shù)進(jìn)行感知和展示。

顯示部分采用聯(lián)動(dòng)模式進(jìn)行工作，及操作對(duì)象跟換后展示進(jìn)行聯(lián)動(dòng)，包括原理、組成結(jié)構(gòu)等進(jìn)行三維動(dòng)畫展示；機(jī)械臂動(dòng)作執(zhí)行狀態(tài)進(jìn)行實(shí)時(shí)顯示。

同時(shí)采用模塊化設(shè)計(jì)，在具備課件標(biāo)定后替換功能，實(shí)訓(xùn)過(guò)程在不單進(jìn)行操作的交互還具備以下功能：

a）傳感技術(shù)的應(yīng)用及常態(tài)感知技術(shù)展示。

b）基于多模塊交互狀態(tài)下的通訊及響應(yīng)。

c）NFS服務(wù)端、客戶端工作模式。

（四）機(jī)器視覺(jué)模塊

機(jī)器視覺(jué)模塊由深度相機(jī)、yoloV5、opencv、Svw模型算法等組成，機(jī)械臂掃描過(guò)程中識(shí)別目標(biāo)特征并獲取空間坐標(biāo)，為機(jī)械臂軌跡規(guī)劃提供終點(diǎn)坐標(biāo)。

Opencv可視化界面，通過(guò)深度相機(jī)的調(diào)用，在完成實(shí)訓(xùn)任務(wù)的同時(shí)，具備機(jī)器視覺(jué)識(shí)別的相關(guān)算法模型調(diào)用：

a）Yolo識(shí)別過(guò)程及模型訓(xùn)練。

b）基于Svw模型的文字提取。

c）圖像的讀取及抽幀處理。

d）TOF測(cè)距空間坐標(biāo)提取。

（五）電氣控制模塊

電氣控制模塊分為：斷路接通部分、按鈕開關(guān)、接通展示部分組成，在實(shí)訓(xùn)過(guò)程中通過(guò)機(jī)械臂使斷路及控制部件接通，并進(jìn)行展示，同時(shí)實(shí)訓(xùn)對(duì)象進(jìn)行感知。

采用模塊插拔化設(shè)計(jì)可以快速完成部件的部署及線路更換，完成相應(yīng)的更換后可以快速實(shí)現(xiàn)：

a）不同課件的替換。

b）實(shí)訓(xùn)動(dòng)部件的更換。

五、主設(shè)備配置清單