OpenCV（Open Source Computer Vision Library）是一個(gè)跨平臺(tái)的計(jì)算機(jī)視覺開源庫，其中包含了數(shù)百種計(jì)算機(jī)視覺算法。因此OpenCV提供的功能十分豐富，從圖像處理（比如圖片格式的轉(zhuǎn)換），到計(jì)算機(jī)視覺（比如動(dòng)作識(shí)別，人臉識(shí)別等），都可以通過OpenCV來實(shí)現(xiàn)。所以O(shè)penCV在各個(gè)領(lǐng)域中都有較廣泛的應(yīng)用，更加詳細(xì)的說明可以參考OpenCV的中文網(wǎng)站http://www.opencv.org.cn/。

英創(chuàng)公司在Linux主板中移植了OpenCV，能夠支持的主板有ESM6800E/H，ESM7000，ESM6802以及ESM8000系列的主板。其中ESM6800E/H和ESM7000系列主板中沒有GPU和VPU，所以比較適合進(jìn)行圖像的處理，比如圖片的分割、格式轉(zhuǎn)化等。而ESM6802與ESM8000系列主板帶有GPU與VPU，可以做一些簡單的視頻方面的處理，比如人臉偵測、動(dòng)作識(shí)別等。具體可以參考下面的表格：

關(guān)于圖像處理，可以通過調(diào)用OpenCV提供的API來實(shí)現(xiàn)，比較簡單。而在視頻的處理上，主板中OpenCV的視頻操作都是基于Gstreamer來實(shí)現(xiàn)的，具體可以參考下圖：

從圖中可以看出，OpenCV的提供的Video I/O可以基于多種Backends，而主板中的Backends支持的是Gstreamer。因?yàn)镚streamer中已經(jīng)包含了可以調(diào)用GPU和VPU的插件，對(duì)用戶來說就可以不必關(guān)心如何去調(diào)用GPU與VPU，只需要做上層的應(yīng)用開發(fā)，使用起來會(huì)更加簡單。因?yàn)镺penCV的跨平臺(tái)性，而基于Opencv實(shí)現(xiàn)的一些開源算法，比如人臉識(shí)別，動(dòng)作識(shí)別等，都可以直接移植到主板上使用。

最后是關(guān)于顯示界面的問題，OpenCV中提供了顯示的API，在Linux主板中，調(diào)用顯示API后可以顯示出一個(gè)OpenCV的窗口（底層是基于Qt實(shí)現(xiàn)的）。但是對(duì)于用戶來說，通常情況下OpenCV只是其中一部分功能，在顯示界面上可能還需要顯示一些其他的數(shù)據(jù)，這個(gè)時(shí)候就推薦客戶使用Qt+OpenCV的方式來實(shí)現(xiàn)。Qt實(shí)現(xiàn)基本的界面顯示，而OpenCV用于處理圖像或者視頻，處理好的數(shù)據(jù)再通過Qt的控件顯示出來。

我們以在ESM8000主板上顯示網(wǎng)絡(luò)攝像頭的畫面為例，來進(jìn)行演示。下面的代碼可以通過OpenCV提供的API實(shí)現(xiàn)一個(gè)窗口來顯示網(wǎng)絡(luò)攝像頭的畫面：

#include <opencv2/opencv.hpp>  
  
int main() {  
   cv::VideoCapture cap;  
   /* gstreamer 參數(shù) */  
   if (!cap.open("rtspsrc location=rtsp://user:passwd@ip:port/ latency=0 ! queue ! rtph264depay ! vpudec ! queue ! imxvideoconvert_g2d ! capsfilter caps=\"video/x-raw,format=(string)RGBA\" ! videoconvert ! queue ! appsink sync=false", cv::CAP_GSTREAMER)) {  
        std::cout << "Unable to open video capture\n";  
        return -1;  
    }  
   return 0; */  
  
    while(true) {  
        cv::Mat frame;  
  
        /* 獲取顯示數(shù)據(jù) */  
        auto ret = cap.grab();  
        cap >> frame;  
  
        if (frame.empty()) {  
            break; // End of video stream  
        }  
  
        cv::resize(frame, frame, cv::Size(640, 480));  
  
        // Do other stuff here with frame  
  
        /*  顯示 */  
        cv::imshow("frame", frame);  
  
        if (cv::waitKey(10) == 27) {  
            break; // stop capturing by pressing ESC  
        }  
    }  
  
    return 0;  
}

通過代碼可以看到，在調(diào)用cv::imshow("frame", frame)后，就會(huì)顯示一個(gè)窗口出來。但是這是OpenCV提供的顯示窗口，只會(huì)顯示視頻數(shù)據(jù)，如果用戶需要顯示其他數(shù)據(jù)，就不方便了。這個(gè)時(shí)候就可以選擇使用Qt的控件來顯示讀取到的frame，可以參考下面的代碼來替換cv::imshow("frame", frame)函數(shù)：

/* 轉(zhuǎn)換格式 */   
cv::cvtColor(frame, frame, cv::COLOR_BGR2RGB);  
  
/* 通過Qt控件來顯示 */   
QPixmap pix = QPixmap::fromImage(QImage((unsigned char*) frame.data, frame.cols, frame.rows, QImage::Format_RGB888));  
label->setPixmap(pix);

上面的代碼中，將OpenCV讀取的數(shù)據(jù)通過一個(gè)label顯示出來。基于這種方式，用戶可以更加靈活地設(shè)計(jì)界面，然后指定一個(gè)控件用于顯示視頻數(shù)據(jù):

本文簡單介紹了Linux主板對(duì)OpenCV的支持，感興趣的客戶可以通過聯(lián)系英創(chuàng)公司的工程師獲取更多的資料和例程。