2023 年1月18日，工業(yè)和信息化部、教育部等十七部門印發(fā)《“機器人+”應(yīng)用行動實施方案》（以下簡稱《方案》）。

《方案》提出，研制交互、教學、競賽等教育機器人產(chǎn)品及編程系統(tǒng)，分類建設(shè)機器人服務(wù)平臺。加大機器人教育引導，完善各級院校機器人教學內(nèi)容和實踐環(huán)境，針對教學、實訓、競賽等場景開發(fā)更多功能和配套課程內(nèi)容。強化機器人工程相關(guān)專業(yè)建設(shè)，提升實驗機器人產(chǎn)品及平臺水平，加強規(guī)范管理。推進5G、人工智能、智能語音、機器視覺、大數(shù)據(jù)、數(shù)字孿生等技術(shù)與機器人技術(shù)融合應(yīng)用，積極培育機器人校園服務(wù)新模式和新形態(tài)，深化機器人在教學科研、技能培訓、校園安全等場景應(yīng)用。

為響應(yīng)國家大力發(fā)展新工科的號召，為高職、本科等院校的機器人與人工智能相關(guān)專業(yè)的學習和教育提供全面、良好的條件，大象機器人推出了一套基于視覺識別+機械臂的整體解決方案-人工智能套裝 2023版，實現(xiàn)從識別到分揀的全自動化作業(yè)，并期望最終攜手用戶一起打造產(chǎn)學研的閉環(huán)，形成高質(zhì)量的新工科人才培養(yǎng)體系，助力國家科技教育的向前發(fā)展！

在已部署數(shù)千套第一代人工智能套裝后，歷經(jīng)2年研發(fā)，人工智能套裝 2023版 全新升級，

●5大視覺識別算法

●6種適配機械臂

●7大硬件升級

● 8大機器人學習點！

并支持可視化軟件，是定位抓取、自動分揀模塊為一體的入門級人工智能套裝。基于python平臺，可通過開發(fā)軟件實現(xiàn)機械臂的控制，簡單易學，能夠快速入門學習人工智能基礎(chǔ)知識，啟發(fā)創(chuàng)新思維，領(lǐng)悟開源創(chuàng)意文化。

本套裝擴展性好，開放性高，可以被用于多種用途?？梢子酶咝嵱柶脚_、機器人學科搭建、機器人實驗室或個人學習與使用。

2023

產(chǎn)品特點

01五大視覺識別算法

機器視覺是用機器來代替人眼進行目標對象識別、判斷和測量的技術(shù)。機器視覺通過計算機模擬人的視覺功能，主要技術(shù)涉及目標圖像獲取技術(shù)、圖像信息處理技術(shù)、目標對象測量與識別技術(shù)。典型機器視覺系統(tǒng)主要由視覺感知單元、圖像信息處理與識別單元、處理結(jié)果顯示單元和視覺系統(tǒng)控制單元組成。

1

顏色識別

顏色識別能力可以對輸入圖片的顏色信息進行分析，輸出顏色值（RGB形式和HEX格式）與對應(yīng)的占比信息。

人工智能套裝 2023版使用eye-to-hand的模式，使用攝像頭，通過OpenCV進行顏色定位，并將符合情況的顏色物塊框出，通過相關(guān)點位計算出物塊相對于機械臂的空間坐標位置。為機械臂設(shè)置一套相關(guān)動作，根據(jù)識別的物塊顏色不同放置不同的物料框中。

2形狀識別

物體的形狀識別是模式識別的重要方向，在計算機中物體的形狀有多種表示方式，基于不同的形狀表示方式，提出了多種形狀識別方法，如基于傅里葉描述子、主分量分析、不變性距等方法。在形狀識別中，識別所基于的模式特征非常重要。

形狀識別的一般流程：形狀提取、形狀特征提取和分類識別。

3、特征點識別

FAST角點檢測，通過考察像素點與周圍領(lǐng)域內(nèi)的16個像素點的差異來確定特征點，并且通過分割測試算法對檢測效率做了極大的提升。

圖像特征點帶你學習圖像分割、保存圖片特征。

4、yolov5識別

傳統(tǒng)的目標檢測系統(tǒng)利用分類器來執(zhí)行檢測。為了檢測對象，這些系統(tǒng)在測試圖片的不同位置不同尺寸大小采用分類器對其進行評估。如目標檢測系統(tǒng)采用deformable parts models (DPM)方法，通過滑動框方法提出目標區(qū)域，然后采用分類器來實現(xiàn)識別。近期的R-CNN類方法采用region proposal methods，首先生成潛在的bounding boxes，然后采用分類器識別這些bounding boxes區(qū)域。最后通過post-processing來去除重復(fù)bounding boxes來進行優(yōu)化。這類方法流程復(fù)雜，存在速度慢和訓練困難的問題。

我們將目標檢測問題轉(zhuǎn)換為直接從圖像中提取bounding boxes和類別概率的單個回歸問題，只需一眼（you only look once，YOLO）即可檢測目標類別和位置。

5、AR二維碼識別

在特征提取模塊中，我們使用紋理特征提取算法從原始輸入圖像中提取出多分辨率直方圖特征、局部二值模式特征和邊緣方向直方圖特征，這三種紋理特征的表達形式均為一維數(shù)組。我們將這 3 個數(shù)組連接為 1 個一維數(shù)組，作為后續(xù)分類模塊的輸入。

四種ID二維碼識別學習二維和三維世界之間的投影關(guān)系。

02、高精度相機

提供完整的視覺硬件設(shè)備，相機能夠?qū)崟r的“看到”工件所處的位置以及姿態(tài)，自動判斷得到下一個抓取的工件信息。機械臂系統(tǒng)根據(jù)相機的分析結(jié)果，自動規(guī)劃路徑并同時避開障礙物實現(xiàn)對工件的抓取。

支持相機光源調(diào)整，對反光、暗色等金屬件，緊密貼合或隨意擺放物件均可有效識別相機點云成像細膩，抓取精度高，引導精準，高效準確的完成引導操作，抓取精度可到0.5mm。

03 六種適配機械臂

適配6種桌面級小型機械臂-M5Stack和樹莓派版本，采用高度集成的伺服單元，在融合機械臂的基礎(chǔ)原理的同時，精簡結(jié)構(gòu)設(shè)計，方便進行課程教學。

（M5版本和樹莓派版本）

04、可視化軟件

支持可視化軟件操作，可以選擇對應(yīng)視覺算法，全自動識別抓取放置，方便觀看效果展示，并且支持分步運行，可以只識別、只抓取、只放置，讓用戶理解每一過程原理。同時，可以通過圖形化的方式，實時顯示坐標信息，物體定位坐標與機械臂實時坐標；顯示物體識別信息，比如形狀識別三角形，會顯示形狀為三角形。

總而言之，幫助用戶實現(xiàn)所有可監(jiān)測信息的圖形化顯示，用戶也可以在軟件控制界面下，修改XY坐標，完成精準抓取。

05、開源軟件系統(tǒng)ROS

軟件系統(tǒng)基于開源機器人操作系統(tǒng)ROS進行架構(gòu)設(shè)計，方便利用各種人工智能開源資源，開發(fā)如視覺抓取、3D感知場景規(guī)劃等智能化應(yīng)用。

2023

機械臂視覺抓取過程

01、手眼標定

手眼標定即相機內(nèi)參和外參的標定，用于矯正圖像和后續(xù)數(shù)據(jù)推算。內(nèi)參即與相機安裝位置無關(guān)的本身硬件參數(shù)（如焦距、像素大小等），內(nèi)參標定功能包為 camera-calibration ；外參即相機在世界坐標系中的參數(shù)（如相機的位置、旋轉(zhuǎn)方向等），外參標定的功能包easy_handeye 。

02、實現(xiàn)物體識別與定位

視覺抓取的第一步自然是對于目標物體的識別和定位，目前可以借助開源視覺庫Opencv的內(nèi)置庫以及ROS開源包進行實現(xiàn)。不論是通過二維圖像的深度信息或是物體的顏色形狀 還是三維點云的識別分析，相機需要傳回目標物體在世界坐標系中的位置和姿態(tài)。

對于物體的識別分析，后續(xù)可以進一步采用機器學習 / 深度學習的方法。

03、計算位置坐標

計算位置坐標，需要根據(jù)上一步相機返回物體的像素中心點坐標，再根據(jù)抓取區(qū)域中心點相對于機械臂坐標和可識別物體相對與機械臂的坐標，以及兩個aruco二維碼的相關(guān)距離數(shù)值，推算出機械臂抓抓取物體的坐標。

4.運動規(guī)劃

機械臂的運動規(guī)劃（這里包括路徑規(guī)劃）屬于上層算法內(nèi)容，是機械臂算法的研究重點。

插件Movelt!為我們提供了一個易于使用的集成化開發(fā)平臺。它由一系列移動操作的功能包組成，包括運動規(guī)劃、操作控制、3D感知、運動學、動力學、控制與導航算法等。我們可以通過 Moveit! 提供的的編程接口來進行機械臂的運動規(guī)劃控制，根據(jù)第三步中的目標姿態(tài)，得到一個可達路徑。

2023

完整配套

針對實驗教學和實踐教學，完整配套系列教材、實訓指導書等，輕松開展教與學活動。

01 八大學習點

視覺教育套裝你能學到什么?

OpenCV

Python編程

ROS學習

逆運動學

手眼標定

機器視覺

末端執(zhí)行器使用

AI機器視覺

機器人控制原理

末端執(zhí)行器使用

02 課程大綱

2023

套裝組件

（點擊放大查看）

2023

產(chǎn)品參數(shù)

名稱 ：人工智能套裝 2023版

整體尺寸：500X400X405mm

識別速度：顏色/形狀/二維碼：300ms特征點：600ms

識別精度：3mm

攝像頭名稱：USB無畸變攝像頭

圖像像素：2M 1080p

支持圖像格式：MJPG/YUY2

像元尺寸：3.0umx3.0um

最高幀率：MJPG：1920*1080@30fpsYUV：1920*1080@30fps

USB 協(xié)議：標準 UVC 協(xié)議

電源供應(yīng)：DC5V 90mA

視場角度：110°無畸變

鏡頭焦距：2.8mm

支持的系統(tǒng)：Windows XP/7/8/10/VISTA/SEVEN/MAC、LINUX(include uvc)/樹莓派/Android 4.2+

2023

應(yīng)用案例

適用于中高職、及應(yīng)用型本科，面向人工智能、機器人工程、自動化等相關(guān)專業(yè)的實驗實訓教學使用。

1.某兩所中等職業(yè)學校-人工智能實訓項目

2.某中學人工智能項目

審核編輯黃宇