金鼎国际

多模态大语言模子在铁路行业应用探索

2025-06-03

泉源：金鼎国际官微

一、铁路行业多模态大语言模子应用面临的挑战

1、铁路行业数据特点

铁路行业涉及的数据模态富厚多样，，，，，，， ，每种模态都有其奇异特点。。。。。 。。。

文本数据方面，，，，，，， ，包括大宗专业的规章制度、手艺手册、维修纪录等，，，，，，， ，具有术语专业性强、逻辑结构严谨的特点。。。。。 。。。例如铁路信号装备维护手册，，，，，，， ，其中包括大宗特定的信号术语和详细的操作流程形貌，，，，，，， ，对模子明确和处置惩罚专业文本能力要求极高。。。。。 。。。

图像数据涵盖装备外观图像、轨道线路图像、作业现场图像和大宗监控视频截图等。。。。。 。。。装备外观图像需模子准确识别装备部件状态、是否保存故障痕迹等；；；； ；；；；轨道线路图像要求模子能识别轨道几何形状、道岔状态等，，，，，，， ，图像数据具有区分率高、细节特征重大的特征。。。。。 。。。

语音数据主要为调理指挥语音、装备故障报警语音等，，，，，，， ，具有实时性强、语音质量受情形影响大的特点，，，，，，， ，如在嘈杂的车站情形中，，，，，，， ，调理语音可能保存噪声滋扰，，，，，，， ，增添了语音识别和明确的难度。。。。。 。。。

2、铁路行业应用挑战

领域知识融合与专业性的要求。。。。。 。。。铁路行业涉及高度专业化的要求、规程（如信号系统逻辑、轨道工程标准），，，，，，， ，需将领域知识和专业知识有用嵌入模子训练和模子推理历程，，，，，，， ，阻止天生过失或不切合规范的输出。。。。。 。。。

系统兼容性与既有设施刷新。。。。。 。。。既有铁路系统（如古板信号装备、老旧传感器、古板架构信息化系统）可能无法直接支持AI模子的输入输出接口，，，，，，， ，需解决新旧系统兼容性问题，，，，，，， ，导致安排本钱增添。。。。。 。。。

铁路运输生产历程职员协作与置信度。。。。。 。。。运输生产、运营维护历程中铁路对应专业职员（如调理员、维修工）对AI决议的接受度有限，，，，，，， ，需通过可诠释性手艺（如可视化推理路径）提升模子透明度，，，，，，， ，建设人机协同机制。。。。。 。。。

模子研发安排本钱与应用的平衡。。。。。 。。。多模态大模子训练需要大规模算力支持，，，，，，， ，且铁路场景定制化开发本钱高，，，，，，， ，面临模子研发安排本钱与应用平衡的问题。。。。。 。。。

二、多模态大语言模子要害手艺研究

针对铁路行业的特点、专业分工，，，，，，， ，多专业数据源特征及多模态大语言模子应用历程中面临的挑战，，，，，，， ，开展相关要害手艺的研究事情。。。。。 。。。

1、多模态大语言模子界说

多模态大语言模子（MultiModal Large Language Models，，，，，，， ，简称MLLMs）是一类团结了大语言模子（Large Language Models，，，，，，， ，简称LLMs）的自然语言处置惩罚能力与对其他模态（如视觉、音频等）数据的明确与天生能力的模子。。。。。 。。。这些模子通过整合文本、图像、声音等多种类型的输入和输出，，，，，，， ，提供越发富厚和自然的交互体验。。。。。 。。。

2、多模态大语言模子架构

多模态模子架构包括5个部分，，，，，，， ，划分是：模态编码器（Modality Encoder）、输入映射器（Input Projector）、大模子主干（LLM Backbone）、输出映射器（Output Projector）以及模态天生器（Modality Generator）[1]。。。。。 。。。模子架构如下图所示：

1933408784665702401.png

模态编码器：多模态大模子中的一个要害组件，，，，，，， ，它的主要使命是将差别模态的输入数据转换成模子能够进一步处置惩罚的特征体现。。。。。 。。。这些输入数据可以包括图像、文本、音频、视频等多种形式，，，，，，， ，而模态编码器的作用就像是翻译官，，，，，，， ，将这些差别语言（模态）的信息转换成一种配合的“语言”，，，，，，， ，以便模子能够明确和处置惩罚。。。。。 。。。

输入映射器：多模态大模子中的一种要害组件，，，，，，， ，它的主要作用是将差别模态的编码特征映射到一个配合的特征语义空间，，，，，，， ，以便这些特征可以被大型语言模子（LLM Backbone）统一处置惩罚和明确。。。。。 。。。

输出映射器：多模态大模子中的一种要害组件，，，，，，， ，它的主要使命是将大型语言模子（LLM）的输出信号映射回原始模态的空间，，，，，，， ，同时转换成适合差别模态天生器使用的特征体现。。。。。 。。。这些天生器可能是用于天生图像、视频、音频或其他模态的模子。。。。。 。。。

模态天生器：多模态大模子中的一种要害组件，，，，，，， ，它的主要作用是天生差别模态的输出，，，，，，， ，例如图像、视频或音频。。。。。 。。。使得模子能够无邪地处置惩罚和天生多种类型的数据，，，，，，， ，为用户提供越发富厚和自然的交互体验。。。。。 。。。

3、多模态大语言模子训练

多模态大模子的训练主要分为两个阶段：多模态预训练（MM PT, MultiModal Pre-Training）和多模态指令微调（MM IT, MultiModal Instruction Tuning）。。。。。 。。。

（1）多模态预训练，，，，，，， ，接纳X?text数据集，，，，，，， ，输入和输出映射器用于实现差别模态之间的对齐。。。。。 。。。关于多模态明确模子，，，，，，， ，只优化文本天生损失；；；； ；；；；关于多模态天生模子，，，，，，， ，需要优化文本天生损失、模态天生损失和输出对齐损失。。。。。 。。。

（2）多模态指令微调，，，，，，， ，通过指令名堂化的数据集对预训练的MLLMs举行微调，，，，，，， ，以提高模子遵照新指令的能力，，，，，，， ，增强其在未见使命上的性能。。。。。 。。。指令微调包括监视微调（SFT）和人类反响强化学习（RLHF），，，，，，， ，增强多模态大模子的交互能力，，，，，，， ，显著改善零样天性能，，，，，，， ，极大增强泛化能力。。。。。 。。。

4、基于Visual-RFT的多模态大模子推理能力提升要领

开源 Visual-RFT，，，，，，， ，将RFT扩展到视觉使命，，，，，，， ，通过设计针对差别视觉使命的可验证奖励函数，，，，，，， ，提升多模态大模子在视觉感知和推理使命中的性能。。。。。 。。。Visual-RFT 的焦点在于使用多模态大模子，，，，，，， ，天生多个包括推理历程和最终谜底的响应，，，，，，， ，并通过可验证奖励函数对模子举行战略优化[2]。。。。。 。。。Visual-RFT 原理图，，，，，，， ，如下图所示：

1933409212967055361.png

奖励模子训练。。。。。 。。。给定问题和视觉图像输入后，，，，，，， ，战略模子会天生多个包括推理办法的响应。。。。。 。。。然后，，，，，，， ，使用可验证奖励（如IoU奖励和分类奖励）与战略梯度优化算法来更新战略模子。。。。。 。。。浚�？？？裳橹そ崩ǎ�

IoU奖励（目的检测）：通过盘算展望界线框与真实界线框的交并比（IoU）来评估检测使命的奖励。。。。。 。。。

分类准确率奖励（分类使命）：通过较量模子输出种别与真实种别来评估奖励。。。。。 。。。

基于视觉强化微调（Visual-RFT）的能力特征，，，，，，， ，团结铁路行业的重大情形要求，，，，，，， ，在细粒度图像分类、少样本目的检测、推理定位以及开放词汇目的检测基准测试中的实验效果批注，，，，，，， ，与监视微调（SFT）相比，，，，，，， ，Visual-RFT具有竞争力的性能和先进的泛化能力：

在约莫100个样本的单样本细粒度图像分类中，，，，，，， ，Visual-RFT的准确率比基线提高了24.3%。。。。。 。。。

在少样本目的检测中，，，，，，， ，Visual-RFT在COCO的两样本设置中凌驾了基线21.9，，，，，，， ，在LVIS上凌驾了15.4。。。。。 。。。

Visual-RFT 镌汰了对人工标注的依赖，，，，，，， ，简化了奖励盘算历程，，，，，，， ，并在多种视觉感知使命上取得了显著的性能提升。。。。。 。。。在细粒度分类、开放词汇检测、推理定位和少样本学习等使命中均优于监视微调要领，，，，，，， ，且在数据有限的情形下体现出强盛的泛化能力。。。。。 。。。

三、Qwen2.5-VL-32B-Instruct大模子及铁路AI视频剖析场景下模子能力测试验证

2025年3月24日，，，，，，， ，通义千问推出了Qwen2.5-VL系列大模子，，，，，，， ，获得了社区的普遍关注和起劲反响。。。。。 。。。在Qwen2.5-VL系列的基础上，，，，，，， ，使用强化学习一连优化模子，，，，，，， ，并使用 Apache 2.0协议开源32B参数规模的新VL模子-Qwen2.5-VL-32B-Instruct。。。。。 。。。本次推出的32B模子的焦点特点如下：

多模态能力：支持视觉语言明确、图像细粒度剖析（如交通指示牌剖析）、视觉逻辑推理等使命，，，，，，， ，在重大场景中体现优异。。。。。 。。。

数学推理突破：通过强化学习优化，，，，，，， ，显著提升重大数学问题的求解准确性和分步推导能力，，，，，，， ，例如几何证实和多元函数优化。。。。。 。。。

外地安排优势：32B参数规模兼顾性能与效率，，，，，，， ，支持通过MLX框架在Apple Silicon装备外地运行，，，，，，， ，适合注重隐私的企业用户。。。。。 。。。

交互体验优化：输出气概更贴近人类偏好，，，，，，， ，回覆更详细、名堂规范，，，，，，， ，支持多轮深度对话。。。。。 。。。

Qwen2.5-VL中，，，，，，， ，模子的整体架构由三个主要组件组成：大型语言模子（LLM）、视觉编码器（Vision Encoder）和基于MLP的视觉-语言融合器[3]，，，，，，， ，模子架构如下图所示：

1933410454598479873.png

Qwen2.5-VL-32B 在强化学习框架下优化了主观体验和数学推理能力，，，，，，， ，下一步研究将聚焦于长且有用的推理历程[4]，，，，，，， ，以突破视觉模子在处置惩罚高度重大、多办法视觉推理使命中的界线。。。。。 。。。

通义千问官方未明确外地化安排Qwen2.5-VL-32B-Instruct模子的硬件最低设置，，，，，，， ，但基于32B参数规模推测，，，，，，， ，需较高内存（建议至少32GB以上）及支持大规模盘算的GPU芯片。。。。。 。。。综合数据量、样本数目、并发量和吞吐量的焦点要害要素，，，，，，， ，本次外地化安排选取硅基流动一体机，，，，，，， ，完成铁路AI视频剖析场景Qwen2.5-VL-32模子能力测试验证。。。。。 。。。实验室模子能力测试验证信息统计如下表所示[5]：

1933410648224329729.png

模子能力测试验证结论：

（1）本次实验室模子能力测试验证，，，，，，， ，基于外地化安排的Qwen2.5-VL-32B大模子，，，，，，， ，共计测试验证铁路AI视频剖析场景16个。。。。。 。。。

（2）在接触网异物、烟火识别、室内打电话/玩手机、室外打电话/玩手机、睡觉判断、塌陷检测、防护网启齿、铁路入侵异物检测这8个场景中，，，，，，， ，Qwen2.5-VL-32B多模态大模子的正检率均凌驾70%。。。。。 。。。可是在另外8个场景中，，，，，，， ，Qwen2.5-VL-32B多模态大模子保存较多漏检、误检以及思索历程与输出效果不相符的情形。。。。。 。。。

（3）原始的Qwen2.5-VL-32B多模态大模子不适合直接用于有数据量基础的检测场景。。。。。 。。。在铁路行业有数据基础的场景中，，，，，，， ，基于有监视训练小模子的检出能力比多模态大模子强。。。。。 。。。在没有数据基础的场景中，，，，，，， ，可以基于多模态大模子举行起源剖析，，，，，，， ，后基于过滤战略及复核战略举行输出效果的筛选。。。。。 。。。

（4）在铁路行业AI视频剖析场景下，，，，，，， ，可以实验基于多模态大模子举行微协调重新训练，，，，，，， ，使其更好地顺应铁路场景的需求。。。。。 。。。


参考文献：

[1] https://qianfan.cloud.m.a49543.com/qianfandev/topic/374006

[2] https://arxiv.org/pdf/2308.01825

[3] https://qwenlm.github.io/zh/blog/qwen2.5-vl-32b/

[4] https://arxiv.org/abs/2502.13923

[5] 人工智能视觉大模子在铁蹊径路异物入侵场景中的应用

【网站地图】【sitemap】