OpenMLDB是一個面向機器學(xué)習(xí)應(yīng)用提供正確、高效數(shù)據(jù)供給的開源數(shù)據(jù)庫。除了超過10倍的機器學(xué)習(xí)數(shù)據(jù)開發(fā)效率的提升，OpenMLDB也提供了統(tǒng)一的計算與存儲引擎減少開發(fā)運維的復(fù)雜性與總體成本。

系統(tǒng)特性

• 一致性

  OpenMLDB首先保證在線和離線特征計算一致性，科學(xué)家使用OpenMLDB建模生成的特征，可規(guī)避特征穿越等問題，上線后使用相同LLVM IR進行編譯優(yōu)化，保證與在線特征計算邏輯一致。其次保證數(shù)據(jù)存儲一致性，數(shù)據(jù)從離線到在線進行實時同步，用戶不需要為離線和在線管理不同數(shù)據(jù)源，也避免數(shù)據(jù)不一致對特征和模型帶來的影響。

• 高性能

  OpenMLDB基于C++和LLVM實現(xiàn)了原生SQL編譯器，內(nèi)置了數(shù)十種物理計劃和表達式優(yōu)化過程，可針對不同硬件環(huán)境動態(tài)生成二進制碼，內(nèi)存結(jié)構(gòu)針對特征存儲優(yōu)化。最終特征存儲空間和成本比同類產(chǎn)品可降低9倍，在線實時特征計算性能提升9倍，離線批處理計算性能比同類產(chǎn)品也提升6倍以上。

• 高可用

  OpenMLDB的大規(guī)模并行計算服務(wù)和數(shù)據(jù)庫存儲服務(wù)，都支持多節(jié)點分布式高可用特性，可以自動Failover避免單點故障。

• SQL支持

  OpenMLDB支持用戶友好的SQL接口，兼容大部分ANSI SQL語法以及針對AI場景拓展了新的SQL特性。以時序特征抽取為例，支持標準SQL的Over Window語法，還針對AI場景需求進行拓展，支持基于樣本表滑窗的Window Union語法，實時計算引擎支持基于當前行的Request Mode窗口聚合計算。

• AI優(yōu)化

  OpenMLDB以面向ML應(yīng)用開發(fā)優(yōu)化為目標，架構(gòu)設(shè)計以及實現(xiàn)上都針對AI進行大量優(yōu)化。在存儲方面以高效的數(shù)據(jù)結(jié)構(gòu)存儲特征數(shù)據(jù)，無論是內(nèi)存利用率還是實時查詢效率都比同類型產(chǎn)品高數(shù)倍，而計算方面提供了機器學(xué)習(xí)場景常用的特殊拼表操作以及特征抽取相關(guān)UDF/UDAF支持，基本滿足生產(chǎn)環(huán)境下機器學(xué)習(xí)特征抽取和上線的應(yīng)用需求。

• 低門檻

  OpenMLDB使用門檻與普通數(shù)據(jù)庫接近，無論是建模科學(xué)家還是應(yīng)用開發(fā)者都可以使用熟悉的SQL進行開發(fā)，并且同時支持ML應(yīng)用落地所必須的離線大數(shù)據(jù)批處理服務(wù)以及在線特征計算服務(wù)，使用一個數(shù)據(jù)庫產(chǎn)品就可以低成本實現(xiàn)AI落地閉環(huán)。

快速開始

使用OpenMLDB快速開發(fā)和上線ML應(yīng)用，以Kaggle比賽Predict Taxi Tour Duration項目為例。

# 啟動docker鏡像
docker run -it 4pdosc/openmldb:0.1.0 bash

# 初始化環(huán)境
sh init.sh

# 導(dǎo)入行程歷史數(shù)據(jù)到OpenMLDB
python3 import.py

# 使用行程數(shù)據(jù)進行模型訓(xùn)練
python3 train.py ./fe.sql /tmp/model.txt

# 使用訓(xùn)練的模型搭建鏈接OpenMLDB的實時推理HTTP服務(wù)
sh start_predict_server.sh ./fe.sql 8887 /tmp/model.txt

# 通過http請求發(fā)送一個推理請求
python3 predict.py

系統(tǒng)架構(gòu)