EMLL(Edge ML Library)為加速終端側(cè)設備上機器學習的推理而設計，提供基于端側(cè)處理器的高性能機器學習計算函數(shù)庫。EMLL支持fp32、fp16、int8等數(shù)據(jù)類型，已在有道詞典筆、翻譯王和超級詞典等硬件產(chǎn)品的機器翻譯和語音識別引擎中應用，大幅降低了推理延遲。

特點

高性能

EMLL實現(xiàn)的矩陣乘法函數(shù)，為端側(cè)人工智能中常見的扁平矩陣作了專門的優(yōu)化，為各常見ARM處理器作了特定的優(yōu)化。對于cortex-A35/A53/A55處理器，本庫針對它們的流水線特點，使用了匯編級別的優(yōu)化。

下面是單精度矩陣乘法的測試結(jié)果：

矩陣乘法的通式為 C[MxN] = A[MxK] B[KxN]；所列數(shù)據(jù)為全行主序和全列主序的最好性能。

易用性

EMLL使用的函數(shù)接口在參數(shù)設計上力求簡潔直接，矩陣乘法去掉了不常用的LD*參數(shù)，矩陣和向量的傳遞通過指針和整數(shù)維度分別傳遞。本庫的構(gòu)建和運行不依賴第三方計算庫。

擴展性

對于矩陣乘法和量化函數(shù)，EMLL 庫提取了它們和架構(gòu)無關的代碼作為通用的宏，這些宏可以在支持新的CPU架構(gòu)時大大節(jié)省所需的代碼量。

EMLL 應用接口

EMLL提供基于 C 的接口，詳情請見?Usage_ZH.md。

各函數(shù)支持的數(shù)據(jù)類型

EMLL 支持在 Linux 和安卓系統(tǒng)上運行。

EMLL 支持用 GCC 和 Clang 編譯。