甘肃快3:在邊緣選擇機器學習處理器

2019-07-10 11:41:12 嵌入式開發中心 12

  并非所有機器學習模型都需要按幾個TOPS的順序進行處理。了解應用程序的性能,延遲和準确性需求是選擇處理器進行機器學習的關鍵第一步。

機器學習已成爲解決機器視覺和其他嵌入式計算問題的流行方法。雖然經典機器學習算法需要人工幹預來從數據中提取特征,但機器學習算法或網絡模型學習如何提取數據中的重要特征并對該數據進行智能預測。

 

 機器學習.jpg

在智能家用電器如智能烤箱中,機器學習可用于對烤箱内的食物進行分類,并相應地設定烤箱的烹饪溫度和時間。在工廠中,機器學習可用于檢測産品中的缺陷,或者可用于預測性維護,以幫助預測電機的剩餘使用壽命或檢測電機操作中的異常。在車輛中,它可用于檢測道路上的汽車,行人,交通标志等。它也可以用于進行自然語言翻譯的設備。

機器學習有兩個主要部分:培訓和推理。機器學習的訓練部分是算法的學習階段。訓練網絡模型的目的是使模型學習最佳可能的參數值,以可預測地解決給定問題。有兩種方法可以訓練機器學習模型監督或無監督。  

在監督訓練方法中,模型學習基于若幹教學輸輸出對示例将輸入映射到輸出用于訓練算法的數據已經用正确答案标記并且可能的輸出已知它涉及标記的訓練數據集,前向傳遞算法,誤差計算和後向傳遞算法。

前向傳遞算法涉及從輸入數據中提取特征和預測信息。在監督訓練方法中,将預測與實際信息進行比較,并計算誤差。基于預測誤差結果,調整網絡參數以便在下一次叠代中做出更好的預測。

機器學習模型訓練計算量很大因此,這些模型使用功能強大的圖形處理單元(GPU)和現場可編程門陣列(FPGA)在台式機或雲端運行。

一旦模型被訓練以預測信息,其參數值被凍結并且被部署到現場以推斷它接收的任何新數據的結果。這是機器學習的第二部分:推理。在推理階段,隻有前向傳遞算法運行,提取重要特征和預測信息。因爲不需要誤差計算,後向傳遞算法或多次叠代(因爲不需要網絡參數調整),所以與訓練相比,推理的計算強度要小得多。從而,與雲中的運行推理相比,使用嵌入式處理器的邊緣機器學習推理變得非常流行,因爲可預測性,隐私,網絡帶寬,延遲和功耗的固有優勢。

在嵌入式系統中,推理可以在各種片上處理單元上運行,如中央處理單元(CPU),GPU,數字信號處理器,FPGA邏輯,專用加速器或這些選項的任意組合。機器學習推理功能通常報告爲每秒兆(兆卡,千兆或萬億)操作(MOPSGOPSTOPS)。

選擇嵌入式處理器以在邊緣運行機器學習推理

如今有多種選擇,可能很難選擇合适的設備或設備組合來進行推理。GPU在神經網絡模型訓練方面的成功可能導緻人們誤以爲GPU也是運行推理的最佳選擇。存在将給定設備的性能與可以執行許多TOPSGPU進行比較的趨勢。但是,TOPS可能不是應該考慮的唯一參數。

首先,引用的TOPS數字是理論上的。對于許多設備,内存訪問和數據總線基礎設施無法擴展到核心子系統處理功能因此,在系統上實現的實際吞吐量可以遠低于理論上引用的吞吐量。将理論上可實現的TOPS視爲比較的唯一參數并不是一個好主意。可實現的吞吐量(可低至理論計算性能的20%)是更相關的度量。某些設備可能在不同的網絡模型中表現不佳,而其他設備可能具有吞吐量作爲分辨率,批量大小等的函數。批處理可能适用于雲環境或培訓,但許多嵌入式應用程序具有不允許的延遲限制批量輸入框架。比較TOPS時,

并非所有機器學習模型都需要按幾個TOPS的順序進行處理。許多應用程序可以在MOPSGOPS的性能預算内解決。了解應用程序的性能,延遲和準确性需求是關鍵的第一步。

用于基于視覺的對象分類任務的流行卷積神經網絡(CNN)模型GoogLeNetInceptionNetResNetResNextDenseNet被設計用于桌面或雲。在嵌入式處理器上原樣使用它們可能需要大量的GOPS / TOPS,這反過來會增加系統成本和功率要求。随着時間的推移,機器學習網絡模型技術已發展爲嵌入式處理器友好型。諸如高效網絡配置,修剪,稀疏性和定點量化等技術已經證明可以顯着降低性能要求(數量級),對精度的影響可以忽略不計。

例如,基于CNN的對象分類任務在224 x 224像素大小的圖像上具有1,000個類以從ImageNet數據庫檢測,對于非嵌入友好網絡模型上的單個圖像可能花費大于1 GOPS。采用嵌入式處理器友好技術時,操作次數可降至<200 MOPS,精度降低最小。如果準确度是可接受的,那麽使用嵌入式友好型網絡模型将需要6GOPS來每秒對30個這樣的圖像進行分類,而不是+30 GOPS。在這種情況下,提供6GOPS的設備就足夠了。除非仔細選擇特定于應用程序的嵌入式處理器,否則使用提供不必要的高性能的設備最終會增加系統成本和功耗。

其他需要考慮的因素包括系統集成,器件特性和器件的長期可用性。要降低總體成本,請尋找集成應用程序所需外圍設備和接口的設備。例如,如果的應用程序是基于機器視覺的智能工廠的工業應用程序,必須通過工業以太網協議或其他協議進行通信,則集成的片上系統可能是最有效的解決方案。TI Sitara AM57x處理器等器件,可根據特定應用要求提供特定應用的性能集成必要的外設接口,支持所需的工業協議,滿足工業級半導體要求以及長期承諾支持可能是更好的系統級選擇。

最後但同樣重要的是,您還應該考慮軟件開發成本。能夠提供成熟軟件開發套件以及良好工程支持的供應商可以幫助降低風險,降低開發成本并實現可以按時交付的更優質産品。





24小時全國服務熱線:0755-88879880

 

甘肅翔銳智科實業有限公司是深圳北航物聯網研究院旗下專注物聯網方案實施實現的創新企業,緻力于成爲“領先的物聯網綜合方案服務提供商”。

提供從雲到端的全流程産品研發和生産服務,硬件設計涵蓋單片機、ARM、X86、DSP等平台,軟件開發跨Windows、linux、android及IOS等操作系統,應用技術從數據采集、工業通訊、自動化控制到機器視覺等,服務領域從電梯安全、油田監控、環保監測、鐵路安全、現代農業到醫療健康等。

以物聯網綜合解決方案爲基礎,通過高效軟硬件開發,服務客戶的垂直行業應用,幫助客戶實現物聯網項目快速實施快速盈利。

在線留言
甘肅翔銳智科實業有限公司