行业主要上市公司：阿里巴巴 ( 09988.HK金沙巴黎人娱乐城app娱乐，BABA.US ) ; 百度 ( 09888.HK，BIDU.US ) ; 腾讯 ( 00700.HK， TCEHY ) ;科大讯飞 ( 002230.SZ ) ;万兴科技 ( 300624.SZ ) ;三六零 ( 601360.SH ) ;昆仑万维 ( 300418.SZ ) ; 云从科技 ( 688327.SH ) ;拓尔想 ( 300229.SZ ) 等
多模态大模子类型及概述对比
视觉 + 谈话的多模态大模子现在主流本领是：借助预实际好的大谈话模子和图像编码器，用一个图文特征对都模块来取悦，从而让谈话模子清楚图像特征并进行更深层的问答推理。这么不错专揽已有的多半单模态实际数据实际获取的单模态模子，减少关于高质地图文对数据的依赖，并通过特征对都、指示微调等状貌买通两个模态的表征。
多模态大模子类型 -CLIP
CLIP 是 OpenAI 提倡的取悦图像和文本特征默示的对比学习本领。CLIP 是专揽文本信息实际一个不错竣事 zero-shot 的视觉模子。专揽预实际好的辘集去作念分类。具体来说，给辘集一堆分类标签，比如 cat，dog，bird，专揽文本编码器获取向量默示。然后区分盘算推算这些标签与图片的余弦通常度 ; 最终通常度最高的标签就是预计的分类驱散。论文提到，比拟于单纯地给定分类标签，给定一个句子的分类遵守更好。比如一种句子模板 A photo of a.，后头填入分类标签。这种句子模板叫作念 prompt ( 教唆 ) 。句子模板的遴荐很有认真，还特殊筹办了 prompt engineering，测试了很多种类的句子模板。教唆信息有多种，下图不错看到它用不同的类别替换一句话中不同的词，酿成不同的标签。
多模态大模子类型 -Flamingo
Flamingo 是一门多模态大型谈话模子 ( LLM ) 于 2022 年推出。视觉息兵话组件的责任旨趣如下：视觉编码器将图像或视频调节为镶嵌 ( 数字列表 ) 。与 CLIP 不同，Flamingo 不错生成文本反应。节约化的角度来看，Flamingo 是 CLIP + 谈话模子，并添加了工夫，使谈话模子八成凭据视觉和文本输入生成文本记号。Flamingo 的 4 个数据集：2 个 ( 图像、文本 ) 对数据集、1 个 ( 视频、文本 ) 对数据集和 1 个交错的图像和文本数据集。
多模态大模子类型 - BLIP
BLIP ( Bootstrapping Language-lmage Pretraining ) 是由 Salesforce 在 2022 年提倡的多模态预实际模子，它旨在长入视觉谈话任务的清楚与生成能力，并通过对噪声数据的处理来提高模子性能口。BLIP 的立异主要有两个方面：与 CLIP 比拟，BLIP 不仅处理图像和文本的对都问题，还旨在科罚包括图像生成、视觉问答和图像刻画等更复杂的任务。BLIP 采选了"斥地学习"的状貌，通过自监督的状貌来增强模子对谈话和视觉信息的清楚。这些特质使其在处理图像和文本数据方面展现了超卓的性能，成为无边界限科罚复杂问题的雄壮器用。
多模态大模子类型 -LLaMA
使用视觉编码器 CLIP ViT-L/14+ 谈话解码器 LLaMA 组成多模态大模子，然后使用生成的数据进行指示微调。输入图片 X 历程与实际好的视觉编码器的到图片特征 Z，图片特征 Z 历程一个映射矩阵 W 振荡为视觉 Token H，这么 Vison Token Hv 与 Language Token Hq 指示就都在合并个特征空间，拼接后一说念输入大模子。这里的映射层 W 也不错替换为更复杂的辘集来教会性能，比如 Flamingo 顶用的 gated cross-attentio，BLIP-2 顶用的 Q-former。
更多本行业筹办分析详见前瞻产业筹办院《环球及中国多模态大模子行业发展出路与投资战术盘算推算分析讲解》
同期前瞻产业筹办院还提供产业新赛说念筹办、投资可行性筹办、产业盘算推算、园区盘算推算、产业招商、产业图谱、产业大数据、智谋招商系统、行业地位讲明、IPO 盘问 / 募投可研、专精特新小巨东说念主陈说、十五五盘算推算等科罚有计算。如需转载援用本篇著述实质，请注明贵府开头（前瞻产业筹办院）。
更多深度行业分析尽在【前瞻经济学东说念主 APP】，还不错与 500+ 经济学家 / 资深行业筹办员调换互动。更多企业数据、企业资讯、企业发展情况尽在【企查猫 APP】金沙巴黎人娱乐城app娱乐，性价比最高功能最全的企业查询平台。