发布日期：2026-03-25 14:09 点击次数：67
IT之家 3 月 23 日音书，领有 4000 亿参数的谎言语模子只可在配备大容量内存、性能刚劲的硬件上开动，因为即使是量化或压缩版块，也至少需要 200GB 内存。从这些尖刻的设立条件来看，iPhone 17 Pro 悉数不会是开动 4000 亿参数大模子的首选，但有东谈主仍是解释，这一代旗舰机型完成了这件看似不行能的事。不外IT之家需要讲明的是，这离不开一些微妙的时间妙技。
一个名为 Flash‑MoE 的开源样貌已在 iPhone 17 Pro 上告捷开动，据网友 @anemll 展示，这款旗舰机天然能开动这个算力需求极高的模子，但也存在彰着短板，其 Token 生成速率慢得惊东谈主，仅 0.6 个 Token / 秒，约莫每 1.5 到 2 秒才调生成一个单词。
不外话又说回归，不管速率若何，一部智妙手机能跑起来 4000 亿参数的谎言语模子，金宝博这一事实自己就讲明：只好再作念一些优化，将来在手机端腹地开动谎言语模子完全是有可能已毕的。
至于已毕旨趣：iPhone 17 Pro 仅配备 12GB LPDDR5X 内存，根底不行能把通盘这个词大模子一谈载入内存，而 Flash‑MoE 则诈欺了建筑的固态硬盘（SSD），径直向 GPU 流式传输数据。此外，“MoE”代表搀和巨匠模子（Mixture of Experts），这意味着其每生成一个单词，只需要调用 4000 亿参数中的一小部分。
在腹地开动谎言语模子还有一个刚正：完全保护狡饰，且无需联网就能得回恢复，只不外 iPhone 17 Pro 的电板会被严重破钞。征战者们也会使用谎言语模子的压缩版，也就是“量化版”，但即等于量化后的 4000 亿参数模子，最低仍需 200GB 内存，这在 iPhone 17 Pro 上正本是无法已毕的。
简而言之，此次最新演示解释：只好你能哑忍每秒仅 0.6 个 Token 的渐渐生成进程，就不错在智妙手机上开动 4000 亿参数的谎言语模子。但也要明晰，“能跑起来”和“能畅达、可用地使用”完全是两码事。
天博体育(TianboSports)官网
备案号: