米爾科技提醒您:您的瀏覽器版本過低或者使用了兼容模式,為了獲得更好的瀏覽體驗,建議使用IE10以上的瀏覽器或使用極速模式。 請升級瀏覽器以獲得更好的體驗!

    1. <tt id="umw5u"></tt>
      <sub id="umw5u"></sub>

        如何用百度大腦FZ3深度學習卡+Paddle模型創建你的應用?

        文章來源:米爾科技 發布日期:2020.7.17 瀏覽次數:1457
        無標題文檔


        前言:米爾科技的FZ3是與百度緊密合作推出的一款基于Xilinx Zynq Ultrascale CZU3EG芯片打造的深度學習計算卡,芯片內部集成了4核ARM A53處理器+GPU+FPGA的架構,具有多核心處理能力、FPGA可編程能能力以及視頻流硬件解碼能力等特點。

        同時內置了基于Linux操作系統+百度深度學習平臺-飛槳(Paddle)定制的深度學習軟核,深度兼容百度大腦模型資源與工具平臺(EasyDL/AIStudio),可高效、快速的實現模型的訓練-部署-推理等一系列流程,極大降低了開發驗證、產品集成、科研教學、項目部署的門檻。

         

        軟核簡介

         


        FZ3 計算卡內部搭載Linux系統,開發者可以基于Linux系統進行應用程序進行開發。 
        主要調用流程: 
        ->1.應用程序獲取視頻輸入 
        ->2.調用預測庫加載模型 
        ->3.調度模型和底層驅動加速模塊進行計算 
        ->4.獲得運行結果


        如何用Paddle模型開發應用?

        1.模型獲得

        目前Paddle-Mobile僅支持Paddle訓練的模型。如果你手中的模型是不同種類的模型,需要進行模型轉換才可以運行。驗證過的網絡包含resnet、Inception、ssd、mobilenet等。

        訓練模型:
        如果您沒有模型,可以使用sample中的模型,或自己訓練模型。
        1.通過PaddlePaddle開源深度學習框架自己訓練模型; 
        2.通過AI Studio平臺訓練模型;
        3.可以在EasyDL等平臺上傳標注數據,訓練模型;
        轉換模型:
        1.如果您已有caffe模型,我們提供了相應的轉換工具,幫助轉為Paddle模型。                                                                                                              
        2.如果您已有Tensorflow模型,我們提供了相應的轉換工具,幫助轉為Paddle模型。


        2.連接視頻數據源

        FZ3提供多種視頻輸入硬件接口,支持多種協議輸入圖像數據作為數據源。包括bt1120、usb、mipi、GIGE
        等協議。
        1.usb協議視頻數據輸入:
        可以選擇uvc usb攝像頭作為視頻源。插入usb攝像頭到FZ3 的usb接口
        2.bt1120協議視頻數據輸入:
        可以選擇海思具有bt1120視頻數據輸出的網絡攝像頭,通過fpc排線連接FZ3的BT1120接口,具體針腳的定義可參考硬件說明。
        3.mipi協議視頻數據輸入:
        可以選擇適配好的mipi攝像頭作為視頻源,通過fpc連接FZ3的mipi接口。
        4.GIGE協議視頻數據輸入:
        可以選擇支持linux系統的GIGE相機,并聯系我司進行相機官方sdk的適配,硬件連接FZ3的網口。


        3.加載驅動

        使用FZ3的加速功能,預測庫會把計算量大的op通過驅動調用fpga進行運算。運行自己的應用前需要加載驅動,編譯好的驅動位于/home/root/workspace/driver目錄,提供無日志輸出和有日志輸出兩個版本。
        加載驅動

        insmod /home/root/workspace/driver/fpgadrv.ko 

        卸載驅動(正常情況您不需要卸載驅動,若需要加載有日志輸出的版本,可以通過如下命令卸載后,再加載該版本)
        rmmod /home/root/workspace/driver/fpgadrv.ko 
        設置驅動自動加載


        1.在系統中添加自啟動腳本


        // 打開啟動目錄 
        cd /etc/init.d/ 
        // 新建啟動腳本并編輯,名稱可以自定義 
        vim eb.sh 
        腳本內容 
        chmod +x /home/root/workspace/driver/fpgadrv.ko insmod /home/root/workspace/driver/fpgadrv.ko


        2.建立軟鏈接


        cd /etc/rc5.d/ 
        ln -s /etc/init.d/eb.sh S99eb


        3.更改腳本權限


        chmod +x /etc/init.d/eb.sh reboot 
        四、使用預測庫
        FZ3支持Paddle-Moblie預測庫,編譯好的預測庫,位于/home/root/workspace/paddle-mobile。具體使用 把預測庫的頭文件和動態庫拷貝到自己應用中即可。另外可以參考我們提供的sample。Paddle-Moblie源碼可以參考https://github.com/PaddlePaddle/paddle-mobile
        五、創建應用
        1.添加預測庫
        拷貝/home/root/workspace/paddle-mobilie/下面的動態庫和頭文件到您的工程中。在CmakeLists.txt添加paddle- mobile庫的引用
        set(PADDLE_LIB_DIR "${PROJECT_SOURCE_DIR}/lib" ) 
        set(PADDLE_INCLUDE_DIR "${PROJECT_SOURCE_DIR}/include/paddle-mobile/" )
        
        include_directories(${PADDLE_INCLUDE_DIR}) LINK_DIRECTORIES(${PADDLE_LIB_DIR}) 
        ... 
        target_link_libraries(${APP_NAME} paddle-mobile)


        2.添加模型
        拷貝自己訓練的模型到您的工程中
        3.添加預測數據源
        可以選擇圖片,攝像頭數據作為預測數據源,使用攝像頭需要插入相應的攝像頭。

        USB攝像頭
        1)插入攝像頭后,通過ls /dev/video* 查看設備接入情況。通過會顯示如下:

        /dev/video0 /dev/video1 /dev/video2
        /dev/video2為usb攝像頭v4l2輸出yuv數據,當應用提示找不到設備時,可以修改src/video_classify.cpp或者 
        src/video_detection.cpp。 通過/home/root/workspace/tools下video工具檢測攝像頭聯通性 
        // src/video_classify.cpp 169行config.dev_name = "/dev/video2";


        2)另外可以修改攝像頭分辨率

        // src/video_classify.cpp 170行 
        config.width = 1280; 
        config.height = 720;


        3)運行video工具

        //讀取usb攝像頭,采集一張圖片保存到本地 
        cd /home/root/workspace/tools/video 
        ./v4l2demo -i /dev/video2 -j -n 1 
        //如有疑問,查看幫助 
        ./v4l2demo -h


        執行程序后在build目錄下會生成jpg文件,可以查看圖片否正確。如果沒有生成圖片,檢測是否識別到USB設備。
        bt1120 ipc攝像頭
        FZ3通過bt1120協議接收原始數據進行推理后,可以把結果通過串口或spi傳回ipc(bt1120、串口、spi
        接口定義參考硬件說明)??梢栽趫D片幀的像素數據中攜帶幀編號。
        插入攝像頭后,通過/home/root/workspace/tools下video工具檢測攝像頭聯通性

        1)查看設備,正常情況下設備為/dev/vide01


        ls /dev/video* 
        /dev/video0	/dev/video1 
        2)配置攝像頭參數
        media-ctl -v --set-format '"a0010000.v_tpg":0 [RBG24 1920x1080 field:none]'


        3)運行video工具

        //讀取BT1120攝像頭,采集一張圖片保存到本地cd /home/root/workspace/tools/video 
        ./v4l2demo -i /dev/video1 -j -n 1 
        //如有疑問,查看幫助 
        ./v4l2demo -h


        執行程序后在build目錄下會生成jpg文件,可以查看圖片否正確。如果沒有生成圖片,檢測bt1120連接線是否正確。
        4.調用預測庫加載模型和使用預測數據
        初始化模型

        Predictor _predictor_handle = new Predictor(); 
        _predictor_handle->init(model, {batchNum, channel, input_height, input_width}, output_names);


        準備數據
        1.縮放圖片到指定的大小。如果網絡只能固定大小輸入,需要縮放到網絡輸入大小。
        2.圖片預處理(減均值、轉浮點、歸一化等).
        3.產出數據,由于FZ3使用的NHWC格式,通常視頻過來的數據就是NHWC格式,就不需要NHWC->NCHW轉換。預測數據
        調用API的predict接口,傳輸處理好的數據,獲取預測結果

        bool predict(const float* inputs, vector &outputs,vector > &output_shapes);


        更多說明請點擊了解:
        http://www.www.shurrj.com/product/mys-czu3eg.htm
        看到這里,你是否已經掌握了用米爾FZ3深度學習卡+百度飛槳(Paddle)模型來打造你的各種應用?
        實際應用場景參考:

         



        本文來自米爾科技,原文地址: http://www.www.shurrj.com/resource/549.asp,轉載請注明出處。

        成人视频手机免费播放,久久色综合在,亚洲一区二区经典在线播放,日韩中文字幕精品乱码,狠狠色噜狠狠狠狠的777米奇,日韩A片R级无码中文 久久久久青草线蕉综合,国产自拍第,国产精品极品清纯露脸最新,中文av人妻av有码中文,亚洲AV永久无码嘿嘿嘿,久青草无码视频在线观看 久久久噜噜噜久久熟女色,欧美老汉色老汉首页a亚洲,亚洲国产欧洲综合997久久,日本无码高清中文字幕视频,亚洲аv电影天堂网无码,国产在线观看香蕉视频 7777欧美成是人在线观看,欧美日韩乱码高清视频,国产成人a视频高清在线观看,av小电影在线,久久精品青青大伊人av,久久夜色精品国产,一级少妇A片无码专区 精品久久久久久中文字幕2020,国自产拍AV在线天天更新,日日摸夜夜摸狠狠爱,伊人大香线蕉久久久,99国产这里有精品视频,无限资源日本官网 亚洲国产在线精品一区在,港台经典三级,亚欧激情无码视频在线播放,欧洲日韩aV在线无码试看,日本高清h色视频在线观看,中文字幕亚洲无线码 亚洲蜜芽在线精品一区,婷婷色五月另类综合视频,成年女人喷潮毛片免费播放,人妻天天爽夜夜爽精品视频,熟妇的荡欲欧美在线观看,亚洲色欲色欲WWW在线看 国产香蕉大伊利视频,亚洲成a人v影院色老汉影院,97久久超碰国产精品…,欧美日韩在线无码,久久国产亚洲高清观看,亚洲AV永久无码,日本亚欧乱色视频在线 亚洲18禁速播影院,久久精品人人槡人妻人人玩,国产在线精选免费视频,免费一本色道久久一区,福利一区二区微拍视频,综合亚洲伊人午夜网
        色偷偷亚洲男人的天堂,肉感熟女巨人乳在线观看,亚洲国产精品无码中文字,国产99视频精品观看蕾,中美日韩亚洲高清在线,天堂国产+人+综合+亚洲欧美 亚洲久久天堂无码国产,学生精品国自产拍中文字幕,亚洲欧美在线综合色影视,最新四色米奇影视777在线看,日本日本乱码伦视频免费,人妻av无码中文专区久久 日本老熟妇无码色视频网站,中文字幕人成乱码熟女免费,国产精品资源一区二区,亚洲毛片不卡aV在线播放一区,午夜性刺激在线看免费y 狠狠任你日线观看免费,亚洲AV中文无码字幕色本草,国产AV一二三无码影片,欧美牲交作爱在线AAV,2020最新无码福利视频,国产一级做a 好男人影视在线观看,人人人澡人人肉久久精品,色欲天天婬色婬香综合网,中文字幕精品一区二区,青青日本视频,保利海上五月花,日本三级香港三级亚洲三级 思思99在热线女精品视频,色狠狠色偷偷色噜噜色,奇米影色777四色在线,亚洲欧洲日韩淙合久久,无码高潮尖叫av,奇米影视第四色 首页 美女免费高清视频黄是免费,一级A片高潮潮喷免费看,亚洲首页在线无码观看,最近最新中文字幕大全电影,a∨在线视频播放,一级a性色生活片久久无码 7777欧美成是人在线观看,欧美日韩乱码高清视频,国产成人a视频高清在线观看,av小电影在线,久久精品青青大伊人av,久久夜色精品国产,一级少妇A片无码专区 亚洲18禁速播影院,久久精品人人槡人妻人人玩,国产在线精选免费视频,免费一本色道久久一区,福利一区二区微拍视频,综合亚洲伊人午夜网 国产亚洲国产v网站在线,男女免费视频观看在线,中文精品久久久久国产,欧美一级旡码,国产午夜人做人免费视频网站,99久热re在线精品99re8热视频