谷歌推出 AI Edge Gallery 應用程序，AI 完全離線運行在手機上

谷歌於5月31日悄然發行了AI Edge Gallery，這是一個直接在智能手機上運行的AI應用，無需互聯網或與大型科技公司的服務器共享數據。

• 開源應用程序 (Apache 2.0) 目前已在 GitHub 上發布，首先支持 Android，iOS 即將推出。
• 完全離線運行AI模型，如Gemma 3n，從圖像分析到編寫代碼僅使用手機硬件。
• 主要功能包括：AI 聊天 (聊天)，Ask Image (分析圖像)，Prompt Lab (單項任務，如重寫文本)。
• 用戶可以從 Hugging Face 下載模型，但格式限制爲 .task，尚未支持像競爭對手那樣多。
• 性能：小模型運行快速流暢 (~20 token/秒 CPU，超過 100 token/秒 GPU)，表現良好，類似於早期的 GPT-3.5。
• 主要優點：無需網路，安全性高，適合需要保持數據隱私的用戶，如醫生、記者。
• 限制：大內存 (大約 4.4 GB)，上下文窗口限制 4096 個 token，模型多樣性不足，GPU 有時準確性低於 CPU。
• 不需要像中心化服務那樣擔心嚴格的審查，可以使用簡單的越獄。
• 節省成本，因爲沒有雲費用，只使用手機資源。

總之，這款應用適合需要AI安全保護、不聯網或離線測試AI模型的人，盡管速度和體驗尚無法與現代雲AI服務相提並論。