如何簡化嵌入式邊緣 AI 應用開發

選擇模型後，下一個步驟是訓練或優化模型，藉以在 TI 處理器上實現最佳性能和準確度。我們的軟體架構和開發環境可以讓您在隨處訓練您的模型。

從 TI 模型庫中選擇模型時，訓練腳本可以讓您根據特定任務的自訂資料集快速傳輸和訓練模型，完全不需要從頭開始進行長時間的訓練或手工製作模型。對於您自己的 DNN 模型，訓練腳本、框架擴展和量化感知訓練工具有助於您優化模型。

在開發邊緣 AI 應用之前，需要在實際軟體上評估模型性能。

使用 TensorFlow Lite、ONNX RunTime 或 TVM 以及 SageMaker Neo with Neo AI DLR 執行階段引擎的最常用業界標準 Python 或 C++ 應用程式設計介面 (API)，只需要幾行程式碼，TI 的彈性軟體架構和開發環境即可讓您隨處訓練您的模型，並且編譯模型再部署到 TI 硬體。在這些業界標準執行階段引擎的後端，我們的 TI 深度學習 (TIDL) 模型編譯和執行階段工具可以讓您為 TI 軟體編譯模型、將編譯後的圖形或子圖形部署到深度學習軟體加速器上，並獲得最佳推論處理器的性能，完全不需要任何手動操作。

在編譯步驟中，訓練後量化工具可以將浮點模型自動轉換為定點模型。這組工具透過配置檔進行層級混合精度量化 (8 位元和 16 位元)，達到調整模型編譯的絕佳彈性，藉以展現最佳性能和準確度。

圖 2 顯示邊緣 AI 的 Processor SDK with Linux 有關的軟體堆疊和元件。