1. 車牌識別檢測簡介

EAI-LPR是一個高性能中文車牌識別框架，識別速度快。準確率高，在出入口場景下，準確率可達98%；支持多種車牌類型，包括單行藍牌、單行黃牌、新能源車牌、教練車牌等，還可有限支持白色警用車牌、使館/港澳車牌、雙層黃牌、武警車牌等；采用端到端識別，無需字符分割，直接輸出識別結果。

使用輕量級卷積神經(jīng)網(wǎng)絡定位圖像中的車牌區(qū)域，對傾斜的車牌進行仿射變換矯正，使其水平，再采用端到端的OCR模型直接輸出車牌號碼。廣泛應用于智能交通、安防監(jiān)控、智慧城市、移動應用等領域，如車輛出入口管理、停車場系統(tǒng)、車輛軌跡追蹤、異常行為檢測、交通流量統(tǒng)計、違章抓拍以及手機APP車牌識別功能等。

本教程針對EAI-LPR車牌識別算法部署到EASY-EAI-Nano-TB(RV1126B)進行說明。

本車牌識別算法在數(shù)據(jù)集表現(xiàn)如下所示：

基于EASY-EAI-Nano-TB硬件主板的運行效率：

2. 快速上手

2.1 開發(fā)環(huán)境準備

如果您初次閱讀此文檔，請閱讀《入門指南/開發(fā)環(huán)境準備/Easy-Eai編譯環(huán)境準備與更新》，并按照其相關的操作，進行編譯環(huán)境的部署。

在PC端Ubuntu系統(tǒng)中執(zhí)行run腳本，進入EASY-EAI編譯環(huán)境，具體如下所示。

cd ~/develop_environment ./run.sh 2204

2.2 源碼下載

在EASY-EAI編譯環(huán)境下創(chuàng)建存放源碼倉庫的管理目錄：

cd /opt mkdir EASY-EAI-Toolkit cd EASY-EAI-Toolkit

通過git工具，在管理目錄內克隆遠程倉庫

git clone https://github.com/EASY-EAI/EASY-EAI-Toolkit-1126B.git

注：

* 此處可能會因網(wǎng)絡原因造成卡頓，請耐心等待。

* 如果實在要在gitHub網(wǎng)頁上下載，也要把整個倉庫下載下來，不能單獨下載本實例對應的目錄。

2.3 模型部署

要完成算法Demo的執(zhí)行，需要先下載車牌識別算法模型。

百度網(wǎng)盤鏈接為：https://pan.baidu.com/s/1y-NIDZjIZCEqZLxlYgU8Vw?pwd=1234 （提取碼：1234 ）。

同時需要把下載的車牌識別算法模型復制粘貼到Release/目錄：

2.4 例程編譯

進入到對應的例程目錄執(zhí)行編譯操作，具體命令如下所示：

cd EASY-EAI-Toolkit-1126B/Demos/algorithm-lpr/ ./build.sh cpres

注：

* 由于依賴庫部署在板卡上，因此交叉編譯過程中必須保持/mnt掛載。

* 若build.sh腳本帶有cpres參數(shù)，則會把Release/目錄下的所有資源都拷貝到開發(fā)板上。

2.5 例程運行及效果

通過串口調試或ssh調試，進入板卡后臺，定位到例程部署的位置，如下所示：

cd /userdata/Demo/algorithm-lpr/

運行例程命令如下所示：

sudo ./test-lpr lpr_det.model lpr_cls.model lpr_rec.model 2.jpg

在EASY-EAI編譯環(huán)境可以取回測試圖片:

cp /mnt/userdata/Demo/algorithm-lpr/dst.jpg .

結果圖片如下所示：

API的詳細說明，以及API的調用（本例程源碼），詳細信息見下方說明。

3. 車牌識別API說明

3.1 引用方式

為方便客戶在本地工程中直接調用我們的EASY EAI api庫，此處列出工程中需要鏈接的庫以及頭文件等，方便用戶直接添加。

3.2 車牌識別初始化函數(shù)

車牌識別初始化函數(shù)原型如下所示。

int lpr_init(const char *p_det_model, const char *p_cls_model, const char *p_rec_model, rknn_lpr_t *p_lpr)

具體介紹如下所示。

3.3 車牌識別運行函數(shù)

車牌識別運行函數(shù)lpr_run原型如下所示。

std::vector lpr_run(cv::Mat image, rknn_lpr_t *p_lpr, float conf_thresh, float nms_thresh);

具體介紹如下所示。

3.4 車牌識別釋放函數(shù)

車牌識別釋放函數(shù)原型如下所示。

int lpr_release(rknn_lpr_t *p_lpr)

具體介紹如下所示。

4. 車輛識別算法例程

例程目錄為Demos/algorithm-car/test-lpr.cpp，操作流程如下。

參考例程如下所示。

#include #include #include #include #include #include #include #include #include #include "lpr_detector.h" #include "lpr_classifier.h" #include "lpr_recognizer.h" #include "lpr.h" #include "put_text_zh.h" /******************************************* * 車牌識別demo ********************************************/ int lpr_demo(char *p_det_path, char *p_cls_path, char *p_rec_path, char *p_img_path) { struct timeval start; struct timeval end; float time_use=0; std::vector layers = { "單層", "雙層"}; std::vector colors = { "藍色", "綠色", "黃色" }; PutTextZH put_text = PutTextZH("./simhei.ttf"); cv::Scalar font_size{ 30, 0.5, 0.1, 0 }; // 字體大小/空白比例/間隔比例/旋轉角度 put_text.setFont(nullptr, &font_size, nullptr, nullptr); cv::Mat image = cv::imread(p_img_path); rknn_lpr_t lpr; // 車牌識別初始化 int ret; ret = lpr_init(p_det_path, p_cls_path, p_rec_path, &lpr); // 車牌識別 float conf_thresh = 0.35; float nms_thresh = 0.35; gettimeofday(&start,NULL); std::vector results = lpr_run(image, &lpr, conf_thresh, nms_thresh); gettimeofday(&end,NULL); time_use=(end.tv_sec-start.tv_sec)*1000000+(end.tv_usec-start.tv_usec);//微秒 printf("車牌識別耗時： %f\n",time_use/1000); // 繪制結果 int num = results.size(); for (int i = 0; i < num; i++) { cv::rectangle(image, results[i].box, CV_RGB(255, 0, 0), 2); for (int j = 0; j < 4; j++) { cv::circle(image, results[i].key_pts[j], 2, CV_RGB(0, 255, 0), 3); } //char p_text[128] = ""; //for (int j = 0; j < results[i].char_list.size(); j++) { // sprintf(p_text, "%s%s", p_text, results[i].char_list[j].c_str()); //} //sprintf(p_text, "%s score: %0.2f", p_text, results[i].det_score); //cv::putText(image, p_text, cv::Point(results[i].box.x, results[i].box.y - 5), 1, 2, CV_RGB(255, 0, 0), 3); std::string temp_str; int num = results[i].char_list.size(); for (int j = 0; j < num; j++) { temp_str += results[i].char_list[j]; } // 轉換為寬字符字符串 std::wstring_convert> converter; std::wstring wstr = converter.from_bytes(temp_str); // 如果需要 wchar_t 數(shù)組 wchar_t w_text[256]; wcsncpy(w_text, wstr.c_str(), sizeof(w_text) / sizeof(wchar_t)); w_text[255] = L'\0'; put_text.putText(image, w_text, cv::Point(results[i].box.x, results[i].box.y - 5), CV_RGB(255, 0, 0)); printf("車牌%d：%s, 顏色: %s, 車牌層數(shù): %s\n", i+1, temp_str.c_str(), colors[results[i].color].c_str(), layers[results[i].layer_num].c_str()); } cv::imwrite("dst.jpg", image); // 車牌識別釋放 ret = lpr_release(&lpr); return ret; } /******************************************* * 車牌檢測demo ********************************************/ int lpr_detector_demo(char *p_det_path, char *p_img_path) { cv::Mat image = cv::imread(p_img_path); rknn_lpr_detector_t lpr_det; // 車牌檢測初始化 int ret = rknn_lpr_detector_init(p_det_path, &lpr_det); // 車牌檢測 float conf_thresh = 0.35; float nms_thresh = 0.35; std::vector results = rknn_lpr_detector_calc(image, &lpr_det, conf_thresh, nms_thresh); // 繪制結果 int num = results.size(); for (int i = 0; i < num; i++) { cv::rectangle(image, results[i].box, CV_RGB(255, 0, 0), 2); for (int j = 0; j < 4; j++) { cv::circle(image, results[i].key_pts[j], 2, CV_RGB(0, 255, 0), 3); } printf("Layer num = %d\n", results[i].layer_num); } cv::imwrite("det.jpg", image); // 車牌檢測釋放 ret = rknn_lpr_detector_deinit(&lpr_det); return ret; } /******************************************* * 車牌分類Demo ********************************************/ int lpr_classifer_demo(char *p_cls_path, char *p_img_path) { int label = 0; float score; std::vector colors = { "blue", "green", "yellow" }; cv::Mat image = cv::imread(p_img_path); // 車牌分類初始化 rknn_lpr_classifer_t lpr_cls; int ret = rknn_lpr_classifer_init(p_cls_path, &lpr_cls); // 車牌分類計算 ret = rknn_lpr_classifer_calc(image, &lpr_cls, label, score); // 車牌分類釋放 ret = rknn_lpr_classifer_deinit(&lpr_cls); return ret; } /******************************************* * 車牌字符識別Demo ********************************************/ int lpr_recognizer_demo(char *p_rec_path, char *p_img_path) { float score; cv::Mat image = cv::imread(p_img_path); // 車牌字符識別初始化 rknn_lpr_recognizer_t lpr_rec; int ret = rknn_lpr_recognizer_init(p_rec_path, &lpr_rec); //車牌字符識別計算 10ms std::vector char_list; ret = rknn_lpr_recognizer_calc(image, &lpr_rec, char_list, score); /* char p_text[128] = ""; int num = char_list.size(); for (int j = 0; j < num; j++) { sprintf(p_text,"%s%s", p_text, char_list[j].c_str()); } printf("車牌字符識別耗時：%0.2fms, 車牌號：%s, score = %0.2f\n", run_time, p_text, score); */ // 車牌字符識別釋放 ret = rknn_lpr_recognizer_deinit(&lpr_rec); return ret; } /******************************************* * 主函數(shù) ********************************************/ int main(int argc, char **argv) { if (argc != 5) { printf("%s \n", argv[0]); return -1; } char *p_det_path = argv[1]; char *p_cls_path = argv[2]; char *p_rec_path = argv[3]; char *p_img_path = argv[4]; // 車牌識別demo lpr_demo(p_det_path, p_cls_path, p_rec_path, p_img_path); //// 車牌檢測demo //lpr_detector_demo(p_det_path, p_img_path); //// 車牌分類Demo //lpr_classifer_demo(p_cls_path, p_img_path); ////// 車牌字符識別Demo //lpr_recognizer_demo(p_rec_path, p_img_path); return 0; }