文 周鑫雨
编辑 邓咏仪
想要更接近通用人工智能，提高AI对图像、语音、视频等多模态内容的理解不可或缺。相较于注重文本交互的单模态语言模型，多模态模型能将AI领域拓展至识别、检测等更广泛的领域。
成立于2021年， AI创企智子引擎是国内较早对多模态大模型展开研究的团队。人大高瓴人工智能学院教授卢志武担任公司的首席技术顾问，并对大模型相关研究成果进行商业转化。
基于今年3月8日发布的图生文模型元乘象 ChatImg1.0，智子引擎推出了支持语音、文本、图像交互的ChatImg2.0。
元乘象 ChatImg 2.0能够对图像和视频内容进行理解。
相较于主打看图的1.0版本，ChatImg2.0新增语音交互功能，并支持视频输入，并在页面新增发现功能导航入口。
元乘象 ChatImg支持视频和语音输入，与此同时增加了发现功能导航界面。
ChatImg的基座为智子引擎自研的150亿参数多模态大模型。2023年3月，团队在关于多模态大模型无人区的探索有了初步的成果：会看图的元乘象 ChatImg1.0发布，后续更迭至2.0版本。
智子引擎CEO高一钊介绍，ChatImg 2.0的中文和英文多模态对话能力已经超过了目前主流的开源模型。在多模态对话数据集（LLaVa）的公开评测过程中，ChatImg 2.0对90个问题的回答结果，拿到了GPT-3.5打出的最高分，并与GPT-4的表现最为接近。
LLaVa对元乘象 ChatImg 2.0以及主要开源模型的评测结果。
在应用落地上，基于对复杂场景的识别能力，智子引擎与软通智慧合作发布了城市多模态大模型和城市治理云GPT-Creator2.0。基于软通智慧提供的城市场景、城市数据以及私有化部署及专训，智子引擎联合训练出应用于城市治理事件管理的多模态大模型。
评测结果显示，ChatImg在复杂场景的识别上准确率达到了90%以上。与此同时，城市治理改变了传统一场景一模型的部署模式，用特定数据对ChatImg进行微调的解决方案将系统部署复杂度降低了50%以上。
与此同时，智子引擎团队正在对ChatImg2.0+实体机器人进行尝试。目前，该团队联合北京理工大学张伟民教授团队共同打造了智能机器人小象。与目前市面上大多厂商将AI能力接入辅助硬件功能不同，小象的设计则从ChatImg的多模态交互功能出发，为AI打造更贴合的实体智能生命形象。小象目前具备语音交互、图像识别等功能。
接入ChatImg 2.0的实体机器人小象目前具备语音交互、图像识别等功能。
高一钊告诉36氪，目前智子引擎共有8名全职员工， 做成大模型的人数不在多，而是考验团队每个人的研究能力和工程能力。此外，首席技术顾问卢志武曾为智源研究院悟道·文澜大模型研究团队的核心成员，也是文澜 BriVL的主要设计者。
近日，智子引擎完成千万元天使轮融资，主要用于多模态大模型的研发和落地。
通用化和商业化，是未来5年最重要的两件事。高一钊对36氪表示，通用化是学术上对模型能力的优化，但此外能重要的是模型能力能够对现有行业进行颠覆。目前，我们还有很多场景等待落地，在技术上也将会持续发力，这都是对自己竞争优势的一种保护。
36kr制图
欢迎关注
