婷婷乱伦五月人人干成人|三级做爰大爽色情三级七男一女|精彩亚洲一区二区三区|97欧美在线视频|青青黄色大网站|91色色网在线三级片日韩成人|日韩无码直播AV|黄色a√视频在线|黄色视频在线观看免费|日韩无码高清无码高清

        隨著大數(shù)據(jù)、人工智能技術(shù)的不斷發(fā)展，視頻監(jiān)控技術(shù)越來越廣泛應(yīng)用于“智慧城市”、“平安城市”等公共安全項目，相比基于云端的視頻分析服務(wù)，人們更傾向于在靠近視頻源頭的邊緣設(shè)備如智能攝像頭上直接運行模型，以降低網(wǎng)絡(luò)延遲、帶寬占用、部署成本及保護隱私。本文以抽煙檢測為例，來闡述在Jetson Nano這種計算資源有限的設(shè)備上，提供近端智能分析服務(wù)的相關(guān)實踐。
        對于抽煙的檢測，在計算機視覺場景屬典型的小目標檢測，這類目標通常分辨率低、信息少、噪音多，會給檢測帶來較大的困難，首先，我們先來回顧一下基于深度學習的小目標檢測常用的一些方法。
        小目標檢測常用技術(shù)
        小目標檢測常用技術(shù)有以下幾種：
        基于多尺度滑動窗口的方法
        通過對原圖構(gòu)建不同分辨率的圖像金字塔，并用分類器在不同層滑動來檢測不同尺度的目標；
        基于數(shù)據(jù)增強的方法
        其基本思想是通過增加圖像中小目標的數(shù)量來提升模型的效果，具體可采用過采樣的策略或是通過復(fù)制小目標區(qū)域再粘貼的方法；
        基于特征金字塔FPN的方法
        其考慮網(wǎng)絡(luò)不同層的特征圖對信息的表達程度不一樣，淺層感受野較小，更適合小目標檢測；
        基于拼圖的方法
        在不改變原圖大小的情況下，對圖片進行按照網(wǎng)絡(luò)輸入分辨率進行切分，組成一批數(shù)據(jù)，傳入網(wǎng)絡(luò)進行檢測；
        基于切圖的方法
        其基本思想是選擇真值尺度和錨框接近的目標進行訓練，代表方法有SNIP和SNIPER等；
        基于自適應(yīng)錨框的方法
        根據(jù)特定的任務(wù)來調(diào)優(yōu)預(yù)先設(shè)置的錨框，如可采用KMeans聚類算法來對數(shù)據(jù)集的邊框做聚類分析，找到合適的錨框尺寸。
        具體針對抽煙場景，“煙”本身長寬比例較為特殊，且無明顯特征，并經(jīng)常有手遮擋的情況，因此，在實踐中，我們一方面采用自適應(yīng)錨框的方法來適應(yīng)煙的比例，同時配合數(shù)據(jù)增強的方法來增加煙的數(shù)量，另一方面，采用“先檢測手，再檢測煙”這種基于兩階段的檢測方法。由于我們是在邊緣設(shè)備上運行模型，模型過大會造成實時性較差，這種兩階段的方法，可以極大降低目標檢測難度，即可以用簡單的模型來實現(xiàn)，并可以很好地消除誤檢。
        基于兩階段的抽煙檢測流程

        基于兩階段的抽煙檢測流程如上圖所示，第一階段采用基于Yolov4-tiny的手檢測模型，從整幅圖片中定位出手所在的區(qū)域，這樣可極大減少后續(xù)抽煙檢測的計算量；第二階段，考慮到目標本身所包含的判別信息，采用語義分割模型來對煙所在區(qū)域的像素進行區(qū)分，這樣可充分利用周圍像素的相關(guān)信息。具體采用基于U-Net的煙語義分割模型，進而判斷是否有煙的存在，最終，完成抽煙的判定。
        為了加速模型在Jetson Nano上的運行速度，我們基于TensorRT模型優(yōu)化加速框架，生成針對Nano GPU硬件優(yōu)化的模型文件，具體流程如下：

        由于第一階段采用的檢測模型為Yolov4-tiny，而TensorRT中對其中的一些層的算子不支持，要生成優(yōu)化模型，需要結(jié)合DeepStream部署框架及TensorRT相關(guān)標準，實現(xiàn)對應(yīng)IPluginV2和IPluginCreator的接口：


        基于Jetson Nano的抽煙檢測模型部署
        抽煙檢測對接實時視頻流，在部署時采用DeepStream框架進行部署：

        首先對于輸入視頻流，采用H264等解碼器結(jié)合硬件進行解碼，然后輸入模型，模型部分借助DeepStream的nvinfer接口來加載經(jīng)TensorRT優(yōu)化后的模型，并結(jié)合OSD展示檢測框、類別等，最終經(jīng)EGL等Sink進行桌面展示。其中，對于檢測結(jié)果，可借助GstPlugin接口進行結(jié)合業(yè)務(wù)進行整合：

        在抽煙檢測場景，我們基于此實現(xiàn)對于煙分割結(jié)果中煙類別的獲取、煙所在區(qū)域的獲取及抽煙違規(guī)的判定，并生成對應(yīng)的檢測元信息，經(jīng)消息轉(zhuǎn)換及消息Broker實現(xiàn)檢測結(jié)果的發(fā)送。
        綜上，利用基于深度學習的小目標檢測相關(guān)方法，借助Nano GPU硬件及DeepStream等軟件框架，可實現(xiàn)邊緣端的抽煙實時檢測，滿足智能監(jiān)控分析場景的實時性要求，并很好地降低了帶寬消耗、保護數(shù)據(jù)隱私，同時可結(jié)合云端存儲，實現(xiàn)事中實時報警、事后可追溯。