OPML: 可擴展的去中心化機器學習

近期提出的OPML(樂觀機器學習)技術爲區塊鏈系統提供了一種新型的AI模型推理和訓練方法。與ZKML相比,OPML具有低成本、高效率的優勢,能夠在普通PC上運行大型語言模型,如26GB大小的7B-LLaMA。

OPML採用驗證遊戲機制來保證ML服務的去中心化和可驗證性。其工作流程包括:

1. 請求者發起ML任務
2. 服務器完成任務並提交結果上鏈
3. 驗證者檢查結果,如有異議則啓動驗證遊戲
4. 通過二分協議精確定位錯誤步驟
5. 最後在智能合約上進行單步仲裁

爲了提高效率,OPML採用了專門設計的輕量級DNN庫和交叉編譯技術。虛擬機鏡像通過默克爾樹管理,只將根哈希上傳到鏈上。

單階段OPML存在一些局限性,如無法充分利用GPU加速。爲解決這一問題,提出了多階段OPML方案:

• 僅最後階段在VM中計算
• 其他階段可在本地環境執行,利用硬件加速
• 通過默克爾樹保證階段間過渡的完整性

以LLaMA模型爲例,採用兩階段OPML:

1. 第二階段在計算圖上進行驗證博弈
2. 第一階段將單節點計算轉爲VM指令執行

多階段OPML相比單階段可實現α倍加速,且默克爾樹大小更小。

爲保證結果一致性,OPML採用定點算法和跨平台浮點庫。與ZKML相比,OPML在計算效率、通用性和開發難度等方面都具有優勢。

OPML技術仍在持續開發中,歡迎有興趣的開發者參與貢獻。