你的手机能跑35B大模型了!只要3GB内存,还无损

智东西
作者 | 程茜
编辑 | 李水青
智东西10月13日报道,刚刚,面壁智能发布新一代端侧多模态大模型系列MiniCPM-V4.7 ,包含 35B-A3B与1B 两个版本。官方称,这款35B‑A3B模型,是 首个能够在手机端流畅运行、且能力无损的开源大模型 。
具体来看,35B-A3B是MiniCPM-V系列 首款MoE模型 ,总参数350亿、每次推理仅激活30亿,仅约3GB内存即可运行。其在iPad Pro实测数据显示,该模型解码速度超 15 token/s ,以及在iPhone 17 Pro Max上仅使用3GB内存即可实现 超13 tokens/s 的解码速度。
从智东西的实际体验来看,35B‑A3B版本 推理速度很快 ,单任务耗时基本维持在秒级;在图像识别、图文分析这类常规任务上,识别结果准确、回答完整。但可能受在线演示平台限制,模型的Token输出长度存在上限,部分复杂问题无法输出完整答案。
今天起,该模型便支持瑞芯微、英伟达、英特尔和苹果等国内外主流芯片平台,同时支持iOS、安卓和鸿蒙系统,并提供开源端侧适配代码及主流推理框架。
另一个1B版本模型主打提升端侧效率,实际参数1.3B。根据面壁智能的测试结果,在指令模式下,1B版本在基础功能方面较MiniCPM-V4.6有所提升,并且 在总体得分和推理效率方面 优于Qwen3.5 0.8B 。
截至目前,由面壁智能联合OpenBMB开源社区发布的MiniCPM系列开源模型,全球累计下载量已突破 6000万次 ,覆盖文本、视觉、语音全模态。
开源地址: https://huggingface.co/openbmb/MiniCPM-V-4.7-35B-A3B
一、实测35B-A3B模型,推理速度飞快、简单问题回答准确
智东西通过面壁智能提供的在线演示平台体验了MiniCPM-V4.7 35B-A3B模型。
我们上传了一个餐厅墙上的英文菜单图片,让模型进行翻译并给出具体的用餐建议。从下方的动图可以看出,35B-A3B模型的生成速度很快,按照图片上的分类对菜单进行了翻译,并按照不同的需求给出了建议,如用户只想喝点东西、吃点轻食、有酒精需求等,可以选择哪些食物。
接着我们上传了MiniCPM-V4.7系列模型的发布海报,让其分析这张海报,拆解构图、配色、文案卖点、受众,说说它的优点和可以优化的地方。
在十余秒时间内,模型逐条拆解分析了上述要点,并在最后生成了一个可视化的表格。
我们上传了一张高原风景图,让MiniCPM-V4.7 35B‑A3B分析这是什么地貌。从结果来看,模型的输出内容简单直接,并给出了具体的判断依据和准确答案。
二、性能优于同规模Qwen,支持4x/16x视觉Token压缩
从性能来看,官方博客提到,MiniCPM‑V4.7 推高了性能与效率的帕累托最优边界 。在指令(Instruct)模式下,35B‑A3B相比Qwen3.6 35B‑A3B,能用更短的推理时间取得更高综合得分,1B版本的综合得分与推理效率优于Qwen3.5 0.8B。
MiniCPM-V4.7 1B和前代V4.6、Qwen3.5、LFM2.5-VL、Gemma-4-E2B等多模态大模型进行了横向对比。V4.7支持4x、16x两种视觉压缩率,16x Token压缩率意味着图像token更少、推理更快、显存占用更低,但通常会牺牲一点精度。
从具体的基准测试结果来看,MiniCPM-V4.7 1B在General通用图文理解、Document/OCR/文档图表分析、多图理解方面更占优势。
此外,长视频时序理解方面,MiniCPM-V4.7 1B的表现超过了V4.6、Qwen、LFM、Gemma。
MiniCPM-V4.7 35B-A3B的基准测试结果显示,其在通用图文、STEM数学、OCR文档、视频理解方面均超过了Qwen3.6 35B-A3B,仅在RefCOCO上得分略低。
在纯文本基准测试中,MiniCPM-V4.7 35B-A3B的优势是中文综合知识和复杂多轮工具规划,但在纯文本奥数、代码、严格约束指令、英文硬核专业知识方面相对偏弱。
三、三种互补技术,支撑MiniCPM-V4.7端侧流畅推理
MiniCPM-V4.7系列模型的核心突破,得益于面壁智能自研的LES(前瞻专家调度)技术,以及细粒度的逐层量化和DSpark推测性采样集成。
MoE模型总参数大于单次推理激活的参数,但端侧不能只存激活参数。不同token会调用不同层的不同专家,设备内存通常装不下全部专家权重。
一种思路是把权重放在SSD上按需加载、用完释放,但频繁加载会拖慢解码,达不到实时交互要求;另一种办法是缩小可用专家池,给整条提示词固定一批专家,减少加载次数,但缺点是后续token只能从这批专家里选,会漏掉本该选中的专家,降低模型效果。
针对上述挑战,面壁智能提出了三种互补技术:
前瞻专家调度(LES) :利用跨层路由预测来预加载下一层可能需要的专家。在实际路由器选择的专家中,LES会优先处理那些成功预取的专家,并将它们计算与加载剩余所需专家的计算重叠进行。预测仅指导预取和调度;计算仍然遵循模型原有的token级路由,预测遗漏的所需专家也会照常加载和评估。
▲前瞻专家调度架构(图源:面壁智能)
细粒度的逐层量化 :减少专家权重的存储空间和内存流量,同时保持模型能力,使专家加载更适合设备内存和带宽限制。
DSpark推测性采样集成 :将推测性采样融入到设备端推理过程中,与专家调度和量化技术协同工作,以提高解码效率。
结语:让更聪明的MoE模型跑在端侧
MoE架构的优势在于,用更小的单次激活算力承载更大容量的模型知识库、多模态能力,但全部专家权重无法常驻内存、动态路由带来随机加载延迟等问题会阻碍其在手机、AI PC、边缘盒子规模化落地。
面壁智能此次的新模型通过三大技术协同,实现了效果无损的端侧MoE推理。这套技术路线,证明高密度MoE多模态模型从云端下沉到本地终端,支撑离线图文分析、本地智能体等场景的潜力。
News is gathered automatically from public robotics & AI feeds on a schedule.
Related

Claude写代码太快,Anthropic先扛不住了:连Git都要重做
智东西 编译 | 程茜 编辑 | 李水青 智东西10月14日消息,今日,Anthropic发布一套对标Git的源码控制系统 Scion ,并已在单体仓库中 用Scion取代了Git 。 一个 7人团队在5个月内 构建了Scion和代码审查工具Antique以及六个相关的系统,并完成所有迁移。 长期以来,Git已成为现代软件工程的重要协作基石与事实标准,是绝大多数软件团队管理代码、留存变更历史、多人协同的必备基础工具。它就像一个软件世界的“时光相册”和多人协作工作台,让开发者看清代码的修改脉络。 Anthropic做这件事的背景是,在其内部,2026年5月平均每天合并约2500处代码变更,到9月

Gemini 4 Argon全球上线,API限时五折,谷歌要杀回第一梯队!
智东西 编译 | 杨京丽 编辑 | 李水青 智东西10月14日消息,今日,谷歌宣布其 旗舰模型Gemini 4 Argon即日起在全球开放 。开发者和企业可通过Google AI Studio及Gemini platform中的API使用该模型,Google AI Ultra订阅用户可在Google Antigravity中使用,Google AI Ultra和Pro订阅用户可通过Gemini应用及谷歌搜索AI模式获得访问权限。 Gemini 4 Argon于10月1日发布 ,擅长执行 编程、金融、法律、网络安全和科学 等领域的复杂现实任务,能够在多步骤工作中保持深度推理与较高执行精度。谷歌称

苹果一口气甩12款“果家”新品!HomeView登场:Siri AI接管全屋
智东西 编译 | 王涵 编辑 | 冰倩 智东西10月14日报道,昨晚,苹果一口气甩出 4记重磅家居新品 :带屏智能家居中枢HomeView、最新款电视盒子Apple TV 4K、全新智能音箱HomePod mini以及智能家居配件Home Collection。 其中Apple HomeView搭载Siri AI,可以选择壁挂或放置在桌面上。此外还有只能壁挂的版本,配置相同。 电视盒子Apple TV 4K 搭载A19芯片 与Siri AI,有128GB的存储空间。 Apple Home Collection就是此前爆料出的、 苹果与LG和施耐德电器合作设计的智能家居配件 ,该系列产品 共9款

NYSOFA expands partnership with Intuition Robotics to bring ElliQ to more seniors
With the expansion, NYSOFA and Intuition Robotics established a new three-year, $2.1 million agreement to keep rolling out ElliQ. The post NYSOFA expands partnership with Intuition Robotics to bring ElliQ to more seniors appeared first on The Robot Report .

Hello Robot, A&K Robotics to discuss how robots navigate crowded indoor spaces at RoboBusiness
As robots move beyond warehouses and other controlled environments and into everyday life, navigation challenges will be critical. The post Hello Robot, A&K Robotics to discuss how robots navigate crowded indoor spaces at RoboBusiness appeared first on The Robot Report .

突发,明星AI独角兽宣布破产
智东西 编译 | 程茜 编辑 | 李水青 智东西10月13日消息,今日,硅谷明星AI独角兽 Character.AI宣布已启动破产程序 。迪士尼是其关键资产的第一顺位收购方,已出价 2000万美元(约合人民币1.34亿元) 竞拍部分知识产权和特定债权的非独占永久许可。 这是ChatGPT带动的生成式AI热潮下, 首家走到破产出售阶段的生成式AI独角兽 。去年5月破产的无代码AI生成平台Builder.ai因被曝出大量依靠人工交付,所以不被视作严格意义上的生成式AI企业。 Character.AI在公告中称,其已在美国特拉华州自愿启动《美国破产法》第11章下的破产程序,以便在法院监督下出售公司。