在物聯(lián)網(wǎng) (IoT) 基礎(chǔ)設(shè)施上使用人工智能 (AI) 的軟件應(yīng)用，被稱為“AIoT”。構(gòu)建 AIoT 應(yīng)用程序的 3 個(gè)階段包括 ：數(shù)據(jù)收集、訓(xùn)練和推理。圖片來源 ：Moxa

　　工業(yè)物聯(lián)網(wǎng)（IIoT）應(yīng)用正在產(chǎn)生比以往任何時(shí)候都多的數(shù)據(jù)。在很多工業(yè)應(yīng)用中www.cechina.cn，尤其是位于偏遠(yuǎn)地區(qū)的高度分散的系統(tǒng)中，定期向中央服務(wù)器發(fā)送大量原始數(shù)據(jù)可能無法實(shí)現(xiàn)。為了減少延遲、降低數(shù)據(jù)通信和存儲(chǔ)成本，同時(shí)提高網(wǎng)絡(luò)可用性，企業(yè)正在將人工智能 (AI) 和機(jī)器學(xué)習(xí) (ML) 轉(zhuǎn)移到邊緣，以便在現(xiàn)場進(jìn)行實(shí)時(shí)決策和行動(dòng)。 

　　這些在物聯(lián)網(wǎng)基礎(chǔ)設(shè)施上部署 AI 功能的應(yīng)用，被稱為人工智能物聯(lián)網(wǎng) (AIoT)。盡管 AI 模型仍在云端進(jìn)行訓(xùn)練，但可以在邊緣計(jì)算機(jī)上部署經(jīng)過訓(xùn)練的 AI 模型，從而在現(xiàn)場實(shí)現(xiàn)數(shù)據(jù)收集和推理。那么，如何為工業(yè) AIoT 應(yīng)用選擇合適的邊緣計(jì)算機(jī)呢？

　　大多數(shù) IIoT 數(shù)據(jù)未經(jīng)分析

　　連接到互聯(lián)網(wǎng)的工業(yè)設(shè)備近年來增長迅速，預(yù)計(jì)到 2025 年將達(dá)到 416 億個(gè)終端。更令人難以置信的是每臺(tái)設(shè)備產(chǎn)生的驚人數(shù)據(jù)量。手動(dòng)分析制造裝配線上傳感器生成的所有信息，可能需要花費(fèi)畢生的精力。在《哈佛商業(yè)評(píng)論》的一篇關(guān)于數(shù)據(jù)策略的文章中指出，在制定決策的過程中，組織的結(jié)構(gòu)化數(shù)據(jù)往往只有不到一半得到有效的利用，不到 1% 的非結(jié)構(gòu)化數(shù)據(jù)被分析或應(yīng)用。

　　IP 攝像機(jī)每天生成的視頻數(shù)據(jù)將近 1.6 EB，其中只有 10% 得到分析。盡管有能力收集更多信息，但這些數(shù)字表明，數(shù)據(jù)分析存在驚人的差距。靠人力是無法分析產(chǎn)生的所有數(shù)據(jù)的，這就是企業(yè)嘗試將 AI 和 ML 融入到 IIoT 應(yīng)用的原因。

　　設(shè)想一下，僅靠人工目視，在制造裝配線上，每周 5 天每天 8 小時(shí)手動(dòng)檢查高爾夫球上微小缺陷的應(yīng)用場景。即使有一大批檢查人員，每個(gè)人仍然會(huì)容易疲勞，犯人因錯(cuò)誤。同樣，人工目視檢查鐵路軌道緊固件，只能在列車停運(yùn)后的半夜進(jìn)行，不僅耗 時(shí)，而且做起來很困難。人工檢查高壓電力線和變電站設(shè)備，還會(huì)使工作人員面臨額外的風(fēng)險(xiǎn)。

　　將 AI 與 IIoT 相結(jié)合 

　　在前面討論的每個(gè)工業(yè)應(yīng)用 中，“AIoT”都可以提供降低勞動(dòng)力成本、減少人為錯(cuò)誤和優(yōu)化預(yù)防性維護(hù)的能力。AIoT 是指在物聯(lián)網(wǎng) (IoT) 應(yīng)用中采用人工智能技術(shù)，以提高運(yùn)營效率、人機(jī)交互以及數(shù)據(jù)分析和管理。那么我們所說的人工智能到底是什么，它將如何融入工業(yè)物聯(lián)網(wǎng)？

　　AI 是研究如何構(gòu)建智能程序和機(jī)器，來解決傳統(tǒng)上由人解決的問題的一般科學(xué)領(lǐng)域。AI 包括 ML，ML是 AI 的一個(gè)特定子集，它使系統(tǒng)能夠通過經(jīng)驗(yàn)自主學(xué)習(xí)和改進(jìn)，而無需進(jìn)行編程，例如通過各種算法和神經(jīng)網(wǎng)絡(luò)。另一個(gè)相關(guān)術(shù)語是“深度學(xué)習(xí)”（DL）， 它是 ML 的一個(gè)子集，其中多層神經(jīng)網(wǎng)絡(luò)從大量數(shù)據(jù)中學(xué)習(xí)。

　　由于 AI 是一門覆蓋面非常廣的學(xué)科，本文主要討論的重點(diǎn)是計(jì)算機(jī)視覺或 AI 驅(qū)動(dòng)的視頻分析。AI 的其它子領(lǐng)域，通常與 ML 結(jié)合使用，實(shí)現(xiàn)工業(yè)應(yīng)用中的分類和識(shí)別。 

　　從遠(yuǎn)程監(jiān)控和預(yù)防性維護(hù)中獲取的的數(shù)據(jù)，到智能交通系統(tǒng)中控制交通信號(hào)的車輛識(shí)別，到農(nóng)業(yè)無人機(jī)和戶外巡邏機(jī)器人，再到工業(yè)產(chǎn)品的微小缺陷自動(dòng)光學(xué)檢測(cè)等，計(jì)算機(jī)視覺和視頻分析正在為工業(yè)應(yīng)用釋放更大的生產(chǎn)力和效率。

　　將 AI 轉(zhuǎn)移到 IIoT 邊緣 

　　IIoT 系統(tǒng)的激增正在產(chǎn)生大量的數(shù)據(jù)。例如，在大型煉油廠內(nèi)，大量傳感器和設(shè)備每天都會(huì)生成 1TB 的原始數(shù)據(jù)。將所有這些原始數(shù)據(jù)，發(fā)送回公共云或私有服務(wù)器進(jìn)行存儲(chǔ)或處理，需要相當(dāng)大的帶寬、可用性和功耗。在很多工業(yè)應(yīng)用中www.cechina.cn，尤其是位于偏遠(yuǎn)地區(qū)的高度分散的系統(tǒng)中，不間斷向中央服務(wù)器發(fā)送大量數(shù)據(jù)是不可能的。

　　即使企業(yè)擁有帶寬和足夠的基礎(chǔ)設(shè)施，部署和維護(hù)成本也非常高，數(shù)據(jù)傳輸和分析還存在大量延遲的情況。關(guān)鍵任務(wù)的工業(yè)應(yīng)用必須能夠盡快分析原始數(shù)據(jù)。

　　為了減少延遲、降低數(shù)據(jù)通信和存儲(chǔ)成本，并提高網(wǎng)絡(luò)可用性，IIoT 應(yīng)用正將 AI 和 ML 功能部署到網(wǎng)絡(luò)邊緣，以直接在現(xiàn)場啟用更強(qiáng)大的預(yù)處理功能。更具體地說，邊緣計(jì)算處理能力的進(jìn)步，使 IIoT 應(yīng)用能利用邊遠(yuǎn)位置的 AI 決策能力。 

　　通過將現(xiàn)場設(shè)備連接到邊緣計(jì)算機(jī)控制工程網(wǎng)版權(quán)所有，該計(jì)算機(jī)配置了強(qiáng)大的本地處理器和人工智能，這樣就無需將所有數(shù)據(jù)發(fā)送到云端進(jìn)行分析。事實(shí)上，預(yù)計(jì)到 2025 年，在遠(yuǎn)端和近端站點(diǎn)創(chuàng)建和處理的數(shù)據(jù)將從 10% 增加到 75%，預(yù)計(jì)到 2024 年，整個(gè)邊緣 AI 硬件市場將實(shí)現(xiàn) 20.64% 的復(fù)合年增長率（CAGR）。

　　為工業(yè) AIoT 選擇合適的邊緣計(jì)算機(jī) 

　　在將人工智能引入工業(yè)物聯(lián)網(wǎng)應(yīng)用時(shí)，有幾個(gè)關(guān)鍵問題需要考慮。盡管與訓(xùn)練 AI 模型有關(guān)的 大部分工作仍然在云中進(jìn)行，但最終企業(yè)還是需要在現(xiàn)場部署經(jīng)過訓(xùn)練的推理模型。AIoT 邊緣計(jì)算本質(zhì)上是在現(xiàn)場進(jìn)行 AI 推理，而不是將原始數(shù)據(jù)發(fā)送到云端進(jìn)行處理和分析。為了有效運(yùn)行 AI 模型和算法，工業(yè) AIoT 應(yīng)用需要可靠的邊緣硬件平臺(tái)。要為工業(yè) AIoT 應(yīng)用選擇合適的邊緣計(jì)算機(jī)時(shí)，請(qǐng)考慮以下因素 ：

　　1. 人工智能不同實(shí)施階段的處理要求 ；

　　2. 邊緣計(jì)算水平 ；

　　3. 開發(fā)工具 ；

　　4. 環(huán)境問題。

　　“對(duì)于關(guān)鍵任務(wù)的工業(yè)應(yīng)用，必須能夠盡快分析原始數(shù)據(jù)。”

　　構(gòu)建 AIoT 應(yīng)用的 3 個(gè)階段 

　　一般來說，AIoT 計(jì)算的處理要求與應(yīng)用需要的計(jì)算能力以及是否需要中央處理單元 (CPU) 或加速器有關(guān)。由于在構(gòu)建 AI 邊緣計(jì)算應(yīng)用的 3 個(gè)階段中，每個(gè)階段都使用不同的算法來執(zhí)行不同的任務(wù)，因此每個(gè)階段都有自己的處理要求。

　　1 數(shù)據(jù)收集

　　這一階段的目標(biāo)是獲取大量信息來訓(xùn)練 AI 模型。未經(jīng)處理的原始數(shù)據(jù)本身幫助不大，因?yàn)樾畔⒖赡馨貜?fù)、錯(cuò)誤和異常值。在初始階段對(duì)收集的數(shù)據(jù)進(jìn)行預(yù)處理以識(shí)別模式、異常值和缺失的信息，允許用戶糾正錯(cuò)誤和偏差。根據(jù)收集數(shù)據(jù)的復(fù)雜程度，用于數(shù)據(jù)收集的計(jì)算平臺(tái)通?；?Arm Cortex 或英特爾 Atom/Core 處理器。一般來說，輸入 / 輸出 (I/O) 和 CPU 的規(guī)格，而不是圖形處理單元 (GPU)，對(duì)于執(zhí)行數(shù)據(jù)收集任務(wù)更為重要。

　　2 訓(xùn)練

　　AI 模型需要在高級(jí)神經(jīng)網(wǎng)絡(luò)和資源匱乏的 ML 或 DL 算法上進(jìn)行訓(xùn)練，這些算法需要更強(qiáng)大的處理能力，例如強(qiáng)大的 GPU，以支持并行計(jì)算來分析所收集的、經(jīng)預(yù)處理的大量訓(xùn)練數(shù)據(jù)。訓(xùn)練 AI 模型涉及選擇 ML 模型，并根據(jù)所收集、經(jīng)預(yù)處理的數(shù)據(jù)對(duì)其進(jìn)行訓(xùn)練。在此過程中，需要評(píng)估和調(diào)整參數(shù)以確保準(zhǔn)確性。有很多訓(xùn)練模型和工具可供選擇，包括現(xiàn)成的 DL 設(shè)計(jì)框架，例如 PyTorch、Tensor Flow 和 Caffe。訓(xùn)練通常在指定的 AI 訓(xùn)練機(jī)或云計(jì)算服務(wù)上而不是在現(xiàn)場進(jìn)行，例如亞馬遜的 AWS Deep Learning  AMIs、谷歌 Cloud AI 或微軟 Azure Machine  Learning 等。

　　3 推理

　　最后階段涉及在邊緣計(jì)算機(jī)上部署經(jīng)過訓(xùn)練的 AI 模型，以便它可以根據(jù)新收集和預(yù)處理的數(shù)據(jù)快速有效地進(jìn)行推理和預(yù)測(cè)。由于推理階段通常比訓(xùn)練消耗更少的計(jì)算資源，因此 CPU 或輕量級(jí)加速器就足以滿足 AIoT 應(yīng)用的需求。盡管如此www.cechina.cn，仍需要一個(gè)轉(zhuǎn)換工具，來將訓(xùn)練好的模型轉(zhuǎn)換為可以在專用邊緣處理器 / 加速器上運(yùn)行的模型，例如英特爾 Open VINO 或 NVIDIA CUDA。推理還包括幾個(gè)不同的邊緣計(jì)算水平和要求。

　　邊緣計(jì)算水平和架構(gòu) 

　　盡管 AI 訓(xùn)練仍在云端或本地服務(wù)器上進(jìn)行，但數(shù)據(jù)收集和推理仍然需要在網(wǎng)絡(luò)邊緣進(jìn)行。此外，由于訓(xùn)練有素的 AI 模型應(yīng)完成的目標(biāo)（例如根據(jù)新收集的現(xiàn)場數(shù)據(jù)做出決策或執(zhí)行操作）的大部分工作是在推理中實(shí)現(xiàn)的控制工程網(wǎng)版權(quán)所有，因此需要根據(jù)以下邊緣計(jì)算的不同水平來選擇合適的處理器。

　　低水平的邊緣計(jì)算 ：在邊緣和云之間傳輸數(shù)據(jù)既昂貴又耗時(shí)，并導(dǎo)致延遲。采用低水平的邊緣計(jì)算，只需將少量有用數(shù)據(jù)發(fā)送到云端，從而減少延遲時(shí)間、帶寬、數(shù)據(jù)傳輸費(fèi)用、功耗和硬件成本?？梢栽?IIoT 設(shè)備上使用沒有加速器的、基于 Arm 的平臺(tái)來收集和分析數(shù)據(jù)，以便快速做出推斷或決策。

　　中等水平的邊緣計(jì)算 ：此級(jí)別的推理可以以足夠的幀速率，處理用于計(jì)算機(jī)視覺或視頻分析的各種 IP 攝像機(jī)流。中等水平的邊緣計(jì)算，包括基于 AI 模型和性能要求的復(fù)雜數(shù)據(jù)，例如安裝在辦公室入口的大型公共監(jiān)控網(wǎng)絡(luò)的面部識(shí)別應(yīng)用程序。大多數(shù)工業(yè)邊 緣計(jì)算應(yīng)用，還需要考慮有限的功率預(yù)算或無風(fēng)扇設(shè)計(jì)來散熱。在這個(gè)級(jí)別上，可以使用高性能 CPU、入門級(jí) GPU 或視覺處理單元 (VPU)。例如，英特爾 Core i7 系列 CPU 通過 OpenVINO 工具包和基于軟件的 AI/ML 加速器提供了一個(gè)高效的計(jì)算機(jī)視覺解決方案，可以在邊緣執(zhí)行推理任務(wù)。

　　高水平的邊緣計(jì)算 ：該層級(jí)的邊緣計(jì)算，可以為使用更復(fù)雜模式識(shí)別的 AI 專家系統(tǒng)處理大量數(shù)據(jù)負(fù)載，例如公共安全系統(tǒng)中自動(dòng)視頻監(jiān)控的行為分析，以檢測(cè)安全事件或潛在威脅事件。高水平的邊緣計(jì)算推理通常使用加速器，包括高端 GPU、VPU、谷歌張量處理單元 (TPU) 或現(xiàn)場可編程門陣列 (FPGA)，它們消耗更多功率（200W 或更多）并產(chǎn)生過多熱量。由于必要的功耗和產(chǎn)生的熱量可能會(huì)超出網(wǎng)絡(luò)遠(yuǎn)端（例如在行駛中的火車上）的限制，因此高水平邊緣計(jì)算系統(tǒng)通常部署在近邊緣站點(diǎn)（例如火車站）以執(zhí)行任務(wù)。 

　　有種工具可用于各種硬件平臺(tái)，以幫助加快應(yīng)用程序開發(fā)過程或提高 AI 算法和 ML 的整體性能。

　　“選擇最適合的邊緣計(jì)算機(jī)，來執(zhí)行現(xiàn)場工業(yè) AI 推理任務(wù)?！?/p>

　　深度學(xué)習(xí)框架 

　　考慮使用 DL 框架，它是一種接口、庫或工具，可讓用戶更輕松、更快速地構(gòu)建深度學(xué)習(xí)模型，而無需深入了解底層算法的細(xì)節(jié)。深度學(xué)習(xí)框架提供了一種清晰簡潔的方法，使用一組預(yù)先構(gòu)建和優(yōu)化的組件來定義模型。最受歡迎的 3 個(gè)工具包括 ：

　　PyTorch ：主要由 Facebook 的人工智能研究實(shí)驗(yàn)室開發(fā)，PyTorch 是一個(gè)基于 Torch 庫的開源機(jī)器學(xué)習(xí)庫。它用于計(jì)算機(jī)視覺和自然語言處理等應(yīng)用，是在升級(jí)版 BSD 許可下發(fā)布的免費(fèi)開源軟件。 

　　TensorFlow ：使用 TensorFlow 用戶友好的基于 Keras 的 API, 實(shí)現(xiàn)快速原型設(shè)計(jì)、研究和生產(chǎn)，這些 API 用于定義和訓(xùn)練神經(jīng)網(wǎng)絡(luò)。 

　　Caffe ：提供了一個(gè)功能強(qiáng)大的架構(gòu)，允許用戶在沒有硬編碼的情況下 , 定義和配置模型和優(yōu)化。設(shè)置單個(gè)標(biāo)志以在 GPU 機(jī)器上訓(xùn)練模型，然后部署到商品集群或移動(dòng)設(shè)備上。

　　基于硬件的加速器工具包 

　　硬件供應(yīng)商提供的 AI 加速器工具包，專門用于在其平臺(tái)上加速 AI 應(yīng)用，例如 ML 和計(jì)算機(jī)視覺。 

　　英特爾 Open VINO ：英特爾的開放視覺推理和神經(jīng)網(wǎng)絡(luò)優(yōu)化 (Open VINO) 工具包，旨在幫助開發(fā)人員在英特爾平臺(tái)上構(gòu)建強(qiáng)大的計(jì)算機(jī)視覺應(yīng)用。Open VINO 還支持對(duì) DL 模型進(jìn)行更快的推理。 

　　NVIDIA CUDA ：CUDA 工具包可為嵌入式系統(tǒng)、數(shù)據(jù)中心、云平臺(tái)和基于 NVIDIA 統(tǒng) 一計(jì)算設(shè)備架構(gòu)的超級(jí)計(jì)算機(jī)上的 GPU 加速應(yīng)用，提供高性能并行計(jì)算。

　　實(shí)施應(yīng)用的位置和環(huán)境考慮 

　　最后需要考慮的，但并不意味著它最不重要，是實(shí)施應(yīng)用的物理位置。部署在戶外或惡劣環(huán)境中的工業(yè)應(yīng)用（如智慧城市、石油和天然氣、采礦、電力或戶外巡邏機(jī)器人應(yīng)用），應(yīng)具有較寬的工作溫度范圍和適當(dāng)?shù)纳釞C(jī)制，以確保在酷熱或嚴(yán)寒天氣環(huán)境下的可靠性。某些應(yīng)用還需要行業(yè)特定的認(rèn)證或批準(zhǔn)，例如無風(fēng)扇設(shè)計(jì)、防爆結(jié)構(gòu)和抗振性。由于很多實(shí)際應(yīng)用部署在空間有限的機(jī)柜中并受到尺寸限制，因此首選小型邊緣計(jì)算機(jī)。

　　遠(yuǎn)程站點(diǎn)中高度分散的的工業(yè)應(yīng)用，也可能需要通過可靠的蜂窩或 Wi-Fi 連接進(jìn)行通信。例如，具有集成蜂窩 LTE 連接的工業(yè)邊緣計(jì)算機(jī)，消除了對(duì)額外蜂窩網(wǎng)關(guān)的需求，并節(jié)省了寶貴的機(jī)柜空間和部署成本。另一 個(gè)需要考慮的因素是可能需要支持雙 SIM 卡 的冗余無線連接，以確保在一個(gè)蜂窩網(wǎng)絡(luò)信 號(hào)弱或下降時(shí)仍可以傳輸數(shù)據(jù)。 

　　在邊緣端啟用 AI 功能，使企業(yè)能夠提高工業(yè)應(yīng)用的運(yùn)營效率，降低風(fēng)險(xiǎn)和成本。為工業(yè) AIoT 應(yīng)用選擇合適的計(jì)算平臺(tái)，應(yīng)認(rèn)真考量數(shù)據(jù)收集、訓(xùn)練和推理三個(gè)實(shí)施階段的具體處理要求，并根據(jù)不同的邊緣計(jì)算水平（低、中或高），選擇最合適的處理器類型。通過仔細(xì)評(píng)估 AIoT 應(yīng)用在每個(gè)階段的具體要求，選擇最適合的邊緣計(jì)算機(jī)來執(zhí)行現(xiàn)場工業(yè) AI 推理任務(wù)。（作者：Ethan Chen）

　　關(guān)鍵概念： 

　　■ 通過將 AI 引入工業(yè)物聯(lián)網(wǎng)的應(yīng)用，可支持更智能的工業(yè)決策。 

　　■ 選擇合適的邊緣計(jì)算機(jī)以支持 AI 和機(jī)器學(xué)習(xí)。

　　思考一下： 

　　如何使用 AI 支持的邊緣計(jì)算來進(jìn)行更智能的實(shí)時(shí)決策？