英特爾推出OpenVINO全新版本， 賦能開發(fā)者加速AI推理
發(fā)布時間：2022-03-21 18:35:47
自2018年推出OpenVINO?以來，英特爾已經(jīng)幫助數(shù)十萬開發(fā)者大幅提升了AI推理性能，并將其應用從邊緣計算擴展到企業(yè)和客戶端。英特爾于2022年巴塞羅那世界移動通信大會前夕，推出了英特爾®發(fā)行版OpenVINO工具套件的全新版本。其中的新功能主要根據(jù)開發(fā)者過去三年半的反饋而開發(fā)，包括更多的深度學習模型選擇、更多的設備可移植性選擇以及更高的推理性能和更少的代碼更改。
最新版OpenVINO 2022.1根據(jù)數(shù)十萬開發(fā)者在過去三年多的反饋而開發(fā)，旨在簡化和自動化優(yōu)化工作。最新版本增加了硬件自動發(fā)現(xiàn)和自動優(yōu)化功能，讓軟件開發(fā)者可以在任意平臺上實現(xiàn)最優(yōu)性能。該軟件與英特爾芯片相結合，可實現(xiàn)顯著的AI投資回報優(yōu)勢，并可輕松部署到用戶網(wǎng)絡中基于英特爾技術的解決方案中。
——Adam Burns
英特爾網(wǎng)絡與邊緣事業(yè)部
OpenVINO開發(fā)者工具副總裁
用于高性能深度學習的英特爾發(fā)行版OpenVINO工具套件基于oneAPI而開發(fā)，以期在從邊緣到云的各種英特爾平臺上，幫助用戶更快地將更準確的真實世界結果部署到生產(chǎn)系統(tǒng)中。通過簡化的開發(fā)工作流程，OpenVINO可賦能開發(fā)者在現(xiàn)實世界中部署高性能應用程序和算法。
邊緣AI正在改變各行各業(yè)，賦能各種全新、增強的用例，包括制造、健康與生命科學應用，以及零售和安全保障。根據(jù)Omdia的研究，由于企業(yè)對邊緣AI推理的需求越來越高，全球邊緣AI芯片組的收入截至2025年將達到519億美元。邊緣推理降低了時延、減少了帶寬需求并提高了性能，從而滿足了新興物聯(lián)網(wǎng)設備和應用對及時處理越來越高的要求。
與此同時，開發(fā)者的工作負載也在不斷增加和變化。因此，他們需要更簡單、自動化程度更高的流程和工具，這些工具需要具備全面的智能功能，從而優(yōu)化從構建到部署的性能。
關于OpenVINO 2022.1的功能
借助這些新功能，開發(fā)者可以更輕松地在更廣泛的深度學習模型中采用、維護、優(yōu)化和部署代碼。亮點包括：
更簡易的更新API
● 從框架轉換時減少代碼更改：現(xiàn)在通過保留精確格式減少轉換，模型不再需要布局轉換。
● 加速AI的更簡單途徑：模型優(yōu)化器的API參數(shù)已減少，能夠最大限度地降低復雜性。
● 訓練時充分考慮到推理：OpenVINO訓練擴展和神經(jīng)網(wǎng)絡壓縮框架（NNCF）提供可選擇的模型訓練模板，這些模板可以進一步提升性能，同時保持動作識別、圖像分類、語音識別、問答和翻譯的準確性。
更廣泛的模型支持
● 支持更廣泛的自然語言可編程模型以及文本轉語音和語音識別等用例：動態(tài)形狀支持可更好地賦能BERT系列和Hugging Face轉換器。
● 優(yōu)化和支持高級計算機視覺：Mask R-CNN系列現(xiàn)在已被進一步優(yōu)化，并引入了對雙精度（FP64）模型的支持。
● 直接支持PaddlePaddle模型：模型優(yōu)化器現(xiàn)在可以直接導入PaddlePaddle模型，而無需先轉換到另一個框架。
可移植性和性能
● 更智能的設備使用，無需修改代碼：AUTO設備模式可根據(jù)模型要求自行發(fā)現(xiàn)可用的系統(tǒng)推理能力，因此應用程序無需再提前了解其計算環(huán)境。
● 工具套件內(nèi)置專家級優(yōu)化：通過自動批處理功能而提高設備性能，自動調(diào)整和自定義適合開發(fā)者的系統(tǒng)配置，和深度學習模型的吞吐量設置。因此使開發(fā)者實現(xiàn)了可擴展并行處理以及優(yōu)化內(nèi)存的使用體驗。
● 專為第12代英特爾®酷睿?打造：支持混合架構，為使用CPU和集成GPU進行高性能推理提供了增強功能。
關于邊緣采用
通過“一次編寫即可隨處部署”的方法，開發(fā)者只需一次性編寫應用程序或算法，之后即可部署到包括CPU、iGPU、Movidius VPU和GNA在內(nèi)的廣泛的英特爾架構中。隨著數(shù)據(jù)的爆炸式增長，英特爾開發(fā)了軟件，使開發(fā)者能夠更加智能地處理數(shù)據(jù)，以解決挑戰(zhàn)并轉變商業(yè)模式。因此，人們越來越多地在邊緣采用全新、獨特的AI推理技術，并擴展到企業(yè)和客戶端。
作為Zeblok的AI平臺即服務，AI-MicroCloud是一款從云到邊緣的MLDevOps平臺，允許客戶大規(guī)?；齑預I獨立軟件開發(fā)商和供應商，以交付邊緣AI應用程序，且同時支持完整的生命周期部署。將英特爾OpenVINO軟件集成到AI-MicroCloud后，使用英特爾處理器將大幅增強AI推理性能，并把每次洞察的成本降至最低。Zeblok的AI-MicroCloud平臺目前正在進行評估，以支持全球各地城市的具體網(wǎng)絡拓撲。
我們的使命就是要考慮每次洞察的成本。通過采用英特爾處理器，我們實現(xiàn)了經(jīng)濟、高能效的AI推理，并產(chǎn)生了極高的投資回報。這個新版OpenVINO將為我們的生態(tài)系統(tǒng)創(chuàng)造更高的價值。
——Mouli Narayanan
Zeblok創(chuàng)始人兼首席執(zhí)行官
American Tower已經(jīng)建設了六座邊緣數(shù)據(jù)中心，而且未來將會建設更多。該公司最近收購了CoreSite以加速5G邊緣部署。他們正在與英特爾和Zeblok合作，為客戶提供完整的交鑰匙解決方案。
憑借American Tower的邊緣基礎設施、英特爾的OpenVINO深度學習功能和Zeblok的AI平臺即服務，我們可以為市場提供完整的智能解決方案。
——Eric Watko
American Tower創(chuàng)新副總裁