AikanAI
Retour au fil
Fil d’actualitésChineindustry

0.8B!小米开源新模型,让超级小爱识屏主动办事

Source智东西(zhidx.com)14 hours ago · 31/10/2026
0.8B!小米开源新模型,让超级小爱识屏主动办事

智东西

作者 | 李水青

编辑 | 心缘

智东西10月31日报道,昨日晚间, 小米 发布并开源轻量级全能 文档理解模型Xiaomi-OCR-0 ,仅 0.8B (8亿)参数,将 文档解析、关键信息抽取 与 视觉问答 三类能力融于一体,并在多项权威基准中取得领先成绩。

很多人遇到过这样的小麻烦:取餐码被消息淹没、海报时间地点还要手动敲进日历、账单金额和商户信息仍需逐项摘录……这指向了一类新需求: 手机能否不只“看见”屏幕内容,还能“看懂”信息,并在需要时顺手完成下一步?

Xiaomi-OCR-0正是为此而生。它体量小巧,兼顾文字、版面、位置与语义理解,能解决复杂表格、论文、票据的结构化解析难题。小米手机上 “超级小爱”的一键识屏幕 背后,对应的正是OCR能力从“文字识别”向“文档理解”演进。

在检验综合文档解析能力的权威基准OmniDocBench v1.6中,该模型得分96.83,成为 1B以下模型第一 ;其在五项文档VQA平均分83.2,优于HunyuanOCR、TokenVL、TextHawk、Qwen3.5-2B、MiniCPM-V-4.5等模型,逼近参数规模更大的 Qwen3.5-4B 。

小米将完整公开0.8B模型权重与推理代码,同时提供浏览器交互式Demo、MCP服务以及Agent Skill工具包。

Hugging Face模型权重:

https://huggingface.co/xiaomi-research/Xiaomi-OCR-0

GitHub项目代码:

https://github.com/xiaomi-research/Xiaomi-OCR-0

Agent一键体验口令:Read and execute

https://raw.githubusercontent.com/xiaomi-research/Xiaomi-OCR-0/main/SKILL.md

一、0.8B“三合一”:看懂版面、抽出关键信息、会答题

真实文档形态复杂:学术论文有密集跨行公式,财务研报有嵌套表格,卡证票据隐含字段键值关系;打印、拍摄、屏幕翻拍还会带来弯曲形变、透视倾斜、光照阴影和摩尔纹干扰。实用文档智能系统不仅要“认得出字”,还要“拆得开结构、提得出字段、答得上问题”。

Xiaomi-OCR-0在0.8B轻量级架构中统一建模三类能力:

1、文档解析:识别并还原正文、复杂表格和数学公式,按自然阅读顺序生成结构化结果,原生支持Markdown、LaTeX等格式输出,便于编辑、知识库构建与检索增强。

2、关键信息抽取(KIE):面向发票、收据、卡证和业务表单等半结构化文档,按指定字段定位并抽取目标信息,输出JSON等标准结构化数据,对接自动化处理工作流。

3、OCR视觉问答(VQA):支持围绕文档与图表进行跨区域检索、数值计算和语义推理问答,实现针对视觉文本的交互式理解。

通过融合结构解析与语义理解,Xiaomi-OCR-0以轻量参数覆盖从底层感知到高层认知的链路。

二、真实解析基准登顶,0.8B模型匹敌Qwen3.5-4B

仅8亿参数的轻量级模型,究竟能否扛住复杂文档解析与高层语义理解的双重考验?

在真实物理采集条件下,文档常有噪点、弯曲、透视、摩尔纹和反光。Real5-OmniDocBench基于OmniDocBench v1.5的1355页多样化文档,通过扫描、纸张弯曲、屏幕翻拍、光照变化和倾斜拍摄五种方式构建6775张测试图像。Xiaomi-OCR-0在该基准取得95.24分,在对比模型中排名第一。在聚焦打印形变、阴影、反光和复杂透视的Wild-OmniDocBench上,模型取得87.94分。

综合文档解析权威基准OmniDocBench v1.6覆盖学术论文、财务报告、报纸、教材等版式,并强化复杂嵌套表格与密集数学公式考察。Xiaomi-OCR-0取得96.83分,以约三分之二参数量(0.8B vs. 1.2B)位列总榜第二,距榜首差0.04分,在1B以下模型中排名第一。

数学公式识别基准UniMER-Test得分97.84,表格结构识别基准PubTabNet得分92.27。在涵盖隶书、草书、行书与楷书的古籍与书法评测集Chronicles-OCR(Mature Scripts)中,模型得分73,与闭源大模型Seed 2.0 Pro的72分处于同一水准。

文档理解方面,Xiaomi-OCR-0在DocVQA、InfoVQA、ChartQA、OCRBench和TextVQA五项主流OCR视觉问答基准上取得83.2平均分。该成绩超过HunyuanOCR-1.5(1B,76.5分)、TokenVL-2B(2B,78.1分)、TextHawk2(7B,78.5分)等专用OCR模型,也超过通用多模态模型Qwen3.5-2B(80.9分)与MiniCPM-V-4.5(8B,82.6分),并以仅20%参数规模逼近Qwen3.5-4B(84.9分)。

三、1.7亿样本打底、三阶段渐进:0.8B模型“先解析后理解”

Xiaomi-OCR-0基于Qwen3.5-0.8B-Base基座构建,训练累计使用约1.7亿条高质量OCR与文档理解样本。团队构建闭环演进的数据引擎,从三方面保障训练数据信息密度。

一是异构专家共识机制:针对正文、表格、公式等不同区域,联合多个异构OCR专家模型交叉校验,并进行三元组共识投票(基于1-NED、TEDS、CDM等专项指标),滤除单模型偏见,筛选高置信度标注。

二是渲染引导校验:针对复杂表格和高难度数学公式,引入“预测—重渲染—视觉比对”闭环,将候选解析代码重新渲染为图像,与原始文档区域进行像素和结构级比对,定位行列错位、符号缺失等结构缺陷并修正。

三是多因素困难样本挖掘与定向合成:结合版面复杂度、字体形态和物理退化因素,持续挖掘能力短板,定向合成覆盖多语种、古籍手写、屏幕摩尔纹及扭曲光照的样本,补齐长尾分布。

训练采用三阶段渐进式策略:Q-Mask文本锚定在特征对齐初期强化视觉局部区域与文字Token的细粒度空间锚定;OCR持续预训练通过百亿级Token规模多任务混合训练,赋予全页文档解析、细粒度区域识别与视觉问答综合基座能力;混合任务强化学习在困难样本上引入基于结构编辑距离、表格匹配度和问答准确率的可验证奖励信号,突破复杂版式还原与多步推理性能上限。

团队还观察到课程学习规律:模型早期未建立稳固解析基础时,过早混入高层理解任务会轻微分散底层识别注意力;具备扎实解析根基后,引入OCR视觉理解监督信号不仅提升问答与抽取能力,还会反哺纯文档解析基准,在OmniDocBench v1.6上带来最高+0.64分额外增益。

四、场景落地:取餐码上岛、账单自动记、航班直接问

凭借0.8B轻量体量与解析理解能力,Xiaomi-OCR-0相关技术正融入小米手机与“超级小爱”的高频场景,推动终端体验从“被动截屏查找”走向“主动理解服务”。

即时生活服务场景中,面对被消息淹没的外卖取餐码、驿站快递取件码、退货码、景区寄存柜号或餐厅排队号,用户无需在App间反复切换;短按AI键、三指上滑或对超级小爱说“记一下”,系统可识别屏幕核心字段与状态,将时效性信息提炼“上岛”,需要时一触即达。

财务管理与卡证办理场景中,浏览微信、支付宝消费账单详情时,按AI键可自动抽取交易金额、商户名称、支付时间与消费类别,一键智能记账;面对纸质发票、身份证、银行卡等材料,可通过拍照或识屏完成结构化字段提取。

日程规划与出行场景中,看到群聊会议通知或活动海报时间地点,系统可理解上下文并生成日程卡片,一键添加日历;收到航班号(如“我的航班号是国航 CA824”)后直接提问“这个航班还有多久到”,系统可结合屏幕上下文提取航班信息并联动查询实时起降动态。

结语:0.8B开源抢生态:文档智能进入“效率战”

小米以0.8B参数把文档解析、信息抽取与视觉问答压进同一模型,并在真实拍摄、复杂表格等基准上越级对标更大模型,推动文档智能的竞争焦点从“堆参数”转向“参数效率+真实场景鲁棒性”。

更关键的是权重、推理代码与Agent工具链同步开源。对产业而言,这有望降低端侧和智能体集成文档理解能力的门槛,也让OCR从单点工具走向可被调用的基础能力,生态卡位意义大于单次评测排名。

Les actualités sont collectées automatiquement depuis des flux publics robotique & IA.

Articles liés

Chineindustry

智能体年均增长超一倍,百度智能云给智能体配了套新底座

智东西 作者 | 杨京丽 编辑 | 李水青 智能体的规模正在快速扩张。IDC预测,到2030年,全球活跃Agent数量将达到 22.16亿个 ,年复合增长率达到 139% ,年均增长超1倍。 各类智能体也在密集涌现,热度一路走高。从编程、办公到个人助手,从消费端到企业端,智能体正快速进入各个场景,成为今年AI落地的重点方向。 与热度同步攀升的,是Token(词元)的消耗量。国家数据局披露,到今年3月,我国日均Token调用量已超过 140万亿 ,较2024年初增长 1000多倍 ;中国信通院的监测则显示,到今年6月,这一数字已达 500万亿 。如此庞大的调用量说明, 智能体已经走出概念演示,开

Source智东西5 hours ago
Internationalindustry

Unusual robotic animals can prove their utility

Robotic animals are designed to be helpful rather than scary, showing promise in disaster recovery, utility inspection, and companionship. The post Unusual robotic animals can prove their utility appeared first on The Robot Report .

SourceRobotics Business Review7 hours ago
Chineindustry

AI如何赋能企业研发?快手团队提出“臭鼬工厂”模式

智东西 作者 | 毕伟豪 编辑|李水青 智东西10月31日报道,今天,快手在技术沙龙上结合企业级AI生产力平台iWork的实践,分享了 AI如何从辅助编程逐步走向团队协作与组织级提效 ,并沉淀为企业生产力基础设施。 快手企业智能体建设负责人、企业AI生产力专家沈浪复盘了快手过去两年AI生产力建设的四个阶段: 从AI赋能工程师、全体员工,到AI赋能团队和组织 。他特别提出,个人提效并不等于团队提效,企业需要将个人经验沉淀为可复用的数字员工、工作流和Skill,进一步推动团队能力共享与组织级Agent协作。 《软件工程3.0》作者、同济大学特聘教授朱少民则从工程方法论出发, 分享了企业级智能体落地

Source智东西7 hours ago
Chineindustry

198亿到账!AI视频最大单笔融资诞生

智东西 作者 | 李水青 编辑 | 心缘 智东西10月31日消息,10月30日,快手在港交所发布公告,宣布旗下视频生成业务 北京可灵 增资协议项下的所有条件均已达成,所有投资者均已按照增资协议足额缴纳增资款,股份购买已交割完成。 交割完成后,全体投资者已缴纳的出资总额约为人民币 198.0184亿元(约合29.0533亿美元) 。 ▲快手在港交所发布公告 此前7月2日,快手曾在港交所发布公告,可灵AI将完成一笔不超过204.47亿元的融资,当时已确定的融资共190.48亿元,阿里、腾讯、百度等大厂,以及北京信息产业发展投资基金、北京市人工智能产业投资基金、长三角数智文化产业私募投资基金等多家国

Source智东西16 hours ago
Chineindustry

Claude官宣取消5小时限额!ChatGPT负责人:最好宣布28天重置期

智东西 编译 | 李水青 编辑 | 心缘 智东西10月31日报道,今日,Anthropic宣布订阅套餐政策调整:将Max套餐从Max 5x更名为Max,将 Max 20x更名为Ultra 。Max套餐价格仍为每月100美元,Ultra套餐价格仍为每月200美元。 同时,Anthropic将 取消已验证Ultra账户的5小时使用时长限制 ,此优惠从今天起适用于大多数现有订阅用户。新账户在验证完成前仍保留临时使用时长限制,限制解除后将收到电子邮件通知。 ▲Anthropic在社交平台X发布公告 对不少开发者而言,这相当于解除了一道令人“头疼”的限制。此前即便购买Anthropic最高档套餐,依然设

Source智东西17 hours ago
Chineindustry

国行苹果智能倒计时4天开测!阿里官宣,千问全面接入

智东西 作者 | 李水青 编辑 | 心缘 智东西10月31日消息,刚刚,阿里巴巴宣布与苹果达成合作,将 千问(Qwen)集成至苹果智能(Apple Intelligence) ,中国用户可以在 Siri、写作工具及视觉智能 中,直接调用千问的文本与图像理解、内容生成等能力。 这些功能将于 11月4日 起随最新的iOS开发者Beta版开放测试,并将于 12月 iOS 27.3正式发布时面向中国用户推出。 ▲阿里巴巴官方公众号发布公告 此前7月15日,中国国家互联网信息办公室发布公告,苹果旗下模型苹果智能已通过生成式AI服务备案。而后苹果智能引入阿里千问的消息不断传出。 10月15日 , 库克 在

Source智东西20 hours ago