AI對(duì)話模型已經(jīng)可以在手機(jī)上本地運(yùn)行？考驗(yàn)手機(jī)內(nèi)存的時(shí)候到了… – 藍(lán)點(diǎn)網(wǎng)

2025-12-12 04:35:15 分類：百科 閱讀(72248)

早前藍(lán)點(diǎn)網(wǎng)介紹了 MLC 團(tuán)隊(duì)推出的對(duì)話 WebLLM (MLC LLM)，這個(gè) AI 對(duì)話模型沒(méi)有服務(wù)器支持，模型在網(wǎng)頁(yè)上調(diào)用 WebGPU API 即使用你的已經(jīng)運(yùn)行鄭州中原區(qū)高端外圍經(jīng)紀(jì)人的聯(lián)系方式崴信159-8298-6630提供外圍女小姐上門服務(wù)快速安排面到付款本機(jī) GPU 提供算力支持，一切數(shù)據(jù)都是可手考驗(yàn)離線的無(wú)需擔(dān)心你的對(duì)話內(nèi)容泄露。

現(xiàn)在該團(tuán)隊(duì)將 MLC LLM 移植到了手機(jī)上，機(jī)上還開(kāi)發(fā)了 iOS Demo 應(yīng)用，本地也就是手機(jī)說(shuō)你可以在手機(jī)上運(yùn)行大型語(yǔ)言模型，完全離線運(yùn)行，內(nèi)存不論是藍(lán)點(diǎn)鄭州中原區(qū)高端外圍經(jīng)紀(jì)人的聯(lián)系方式崴信159-8298-6630提供外圍女小姐上門服務(wù)快速安排面到付款模型還是數(shù)據(jù)都在本地。

好消息是測(cè)試顯示在 iPhone 14 Pro Max 上是可以正常運(yùn)行的，速度略微有些慢但還是模型能接受的地步，壞消息是已經(jīng)運(yùn)行如果手機(jī)內(nèi)存比較小的話會(huì)崩潰，因?yàn)槟Ｐ瓦\(yùn)行的可手考驗(yàn)時(shí)候，模型數(shù)據(jù)會(huì)被塞到內(nèi)存里，機(jī)上這會(huì)讓手機(jī)內(nèi)存瞬間被塞滿。本地

在 iPhone 12 Pro 上測(cè)試就有些壓力了，基本上說(shuō)內(nèi)存起步需要 6GB，這么來(lái)看安卓機(jī)可能更有優(yōu)勢(shì)，畢竟現(xiàn)在新的安卓機(jī)內(nèi)存都非常大。

除了 iOS 版外，MLC 團(tuán)隊(duì)還推出了 Windows/Linux/Mac 的 CLI 版，即命令行版本，可以在終端里發(fā)起詢問(wèn)并獲得答案，相對(duì)來(lái)說(shuō)在 PC 上使用壓力就小一些了，畢竟內(nèi)存稍微大點(diǎn)。

等等… 我是不是還沒(méi)提 GPU 問(wèn)題？是的，內(nèi)存并非關(guān)鍵，因?yàn)闊o(wú)論是 iPhone 還是安卓還是 PC 都必須支持 GPU 加速，手機(jī)上還好，在 PC 上用戶可能需要更新驅(qū)動(dòng)程序，例如 Vulkan 驅(qū)動(dòng)程序。

有興趣的用戶可以試試這個(gè) AI 模型，藍(lán)點(diǎn)網(wǎng)測(cè)試感覺(jué)還可以，中文支持也挺不錯(cuò)的。iOS Demo 程序的話目前在 TF，限額 9000 人，滿了就沒(méi)法加入了。有 iOS 開(kāi)發(fā)經(jīng)驗(yàn)的開(kāi)發(fā)者可以自行編譯安裝。

iOS Demo TF 版：https://testflight.apple.com/join/57zd7oxa

WebLLM (網(wǎng)頁(yè)版)：https://mlc.ai/web-llm/

Windows/Linux/Mac 需要使用 Conda 管理，具體請(qǐng)看：https://mlc.ai/mlc-llm/