声明:本文来自于微信公众号 量子位，作者:茕茕，授权站长之家转载发布。

阿里开源，又拿第一了。

这次是在多模态领域:

就在刚刚，阿里国际AI团队开源多模态大模型Ovis1.6。在多模态权威综合评测基准OpenCompass上，Ovis1.6-Gemma2-9B版本综合得分超越Qwen2VL-7B、InternVL2-26B和MiniCPM-V-2.6等主流开源模型，在300亿以下参数开源模型中位居第一。

在数学推理和视觉理解等多项任务中，得分甚至超过了闭源的GPT-4o-mini。

具体来说，Ovis1.6能胜任视觉感知推理、数学和科学、生活场景等多种多模态任务。

拿大家伙儿都很关注的数理能力举个例子，Ovis1.6的表现是酱婶的:

妈妈再也不用担心我学不明白大学数学。

用来辅助读读论文:

分析财报，效果也相当不错。

还能当场看图教你做一道经典的炸鱼薯条（手动狗头）。

值得一提的是，阿里国际的Ovis系列多模态大模型，遵循的是Apache2.0开源协议。也就是说，协议很宽松，商用很友好。

从结构上对齐视觉和文本嵌入

话不多说，我们照例来拆解一下Ovis这个新科第一背后的技术细节。

根据OpenCompass评测基准，Ovis1.6-Gemma2-9B超过了Qwen2-VL-7B、MiniCPM-V-2.6等一众相同参数量级的知名多模态模型。

在数学等推理任务中，甚至有媲美70B参数模型的表现。

Ovis1.6的幻觉现象和错误率也低于同级别模型，展现了更高的文本质量和准确率。

如何做到?阿里国际AI团队的核心思路是:从结构上对齐视觉和文本嵌入。

当前，多数开源多模态大语言模型（MLLM）并非从头训练整个模型，而是通过像多层感知机(MLP)这样的连接器，将预训练的大语言模型(LLM)和视觉Transformer集成起来，给LLM装上“眼睛”。

这样一来，就导致了一个问题:MLLM的文本和视觉模块采用不同的嵌入策略，使得视觉和文本信息没办法无缝融合，限制了模型性能的进一步提升。

针对这个问题，Ovis采用了视觉tokenizer+视觉嵌入表+大语言模型的架构。

Ovis借鉴了大语言模型中的文本嵌入策略，引入了可学习的视觉嵌入表，将连续的视觉特征先转换为概率化的视觉token，再经由视觉嵌入表多次索引加权得到结构化的视觉嵌入。

文本方面，Ovis沿用当前大语言模型的处理方式，文本tokenizer将输入文本转化为one-hot token，并根据文本嵌入表查找到每个文本token对应的嵌入向量。

最后，Ovis将所有视觉嵌入向量与文本嵌入向量拼接起来，经由Transformer处理，完成多模态任务。

此次开源的Ovis1.6，相较于前代Ovis1.5，还在架构、数据、训练策略等方面做出了进一步优化。

架构方面，采用动态子图方案，能灵活应对不同分辨率图像特征，提升了模型处理复杂视觉任务的能力。

数据方面，Ovis1.6在训练中涵盖了多种类型的数据集，包括Caption、OCR、Table、Chart、Math等，确保模型在广泛的应用场景中都有出色表现。

训练策略方面，采用DPO等方案持续优化模型性能，增强了模型在生成文本和理解复杂指令方面的能力，使得模型在复杂任务上的表现进一步提升。

消融实验的结果还显示，在训练数据、模型参数、LLM和视觉底座都保持相同的情况下，与基于MLP连接器的多模态大模型架构相比，Ovis性能整体提升了8.8%。

量子位还了解到，作为一项基础研究，Ovis目前已经被广泛应用到了阿里国际的实际业务中。

AI能力变革出海电商

正如大家所知，阿里国际是一家AI驱动的、拥有多个全球知名电商的公司。

而事实上，出海电商这个场景，早已第一批被AIGC“渗透”。

原因很直接:做出海生意，往往面临海外市场复杂、成本和竞争压力大、跨境人才短缺等等共性问题，而多模态大模型这样的AIGC技术，恰恰能在这些问题上，提供适配的降本增效方案。

举个例子，在跨境电商领域，退货退款一直是影响用户体验的重要因素。

传统方案是人工进行退款退货的审核和判责。这不仅需要大量审核人力和较久的审核时间，还会因为人工主观的评判标准不一，导致判罚的不稳定性较高。多数平台为了保证用户体验，倾向于给消费者更多的倾斜，但这也伤害了部分商家和平台的权益。

现在，基于Ovis，阿里国际融合过去积累的大量电商知识，上线了智能退款系统。

相比于人工，Ovis针对用户提供的退货退款图文和视频详情，可以提供秒级的审核服务，且具有高度稳定的一致性。这就在保证消费者和商家公平权益的同时，实现了快速低成本的退货退款方案。

另外，在商品属性提取、生成卖点等场景中，Ovis也已落地应用。

阿里国际AI团队，正是在如此预判下成立试跑的。而就在成立这一年多时间里，阿里国际已经实现AI能力在跨境电商领域的规模化应用:

AI发布商品达到百万规模，并且通过AI优化，这些产品在海外的搜索量提升了37%。

AI能力覆盖营销、客户服务、商品发布、设计、合规等40+应用场景，服务全球50万商家。

阿里国际AI能力日均超5千万次调用，规模每两月翻番。

……

Ovis之外，阿里国际还构建了多语言增强大模型Marco，电商版多模态大模型MarcoVL，提供的MaaS服务包括:

• 多语言文本生成技术:为商品详情描述适配当地语言，让AI为商品介绍改写优化多语言标题，突破语言和文化壁垒。

• AI图片处理，比如一键生成多张虚拟试衣效果。

以及智能消除、智能抠图等图像设计类能力。

可以说，从创立店铺到市场营销，再到售前售后，在出海电商的各个环节，阿里国际都已提供相应的AI技术予以辅助——

潜移默化中，AI已经完全改变商家的工作方式和生产效率。

△店铺设计来自AI

大模型之所以能在各行各业掀起惊涛骇浪，核心原因就是对生产力的解放和降本增效。

在这一波变革之中，对于阿里国际这样的平台而言，AI技术能力再次成为最受关注的核心竞争力。

而借助平台之力，出海电商商家已经开始第一批享受拥抱AI的红利。

对于广大开发者而言，来自于实干家们的开源贡献，亦是福音。

Ovis1.6开源地址和Demo:

arXiv:https://arxiv.org/abs/2405.20797

Github:https://github.com/AIDC-AI/Ovis

Huggingface:https://huggingface.co/AIDC-AI/Ovis1.6-Gemma2-9B

Demo:https://huggingface.co/spaces/AIDC-AI/Ovis1.6-Gemma2-9B