双目立体匹配网络训练方法及装置

1.一种双目立体匹配网络训练方法，其特征在于，包括：
获取双目图像训练样本以及参考图像样本；其中，所述双目图像训练样本包括左目图
像训练样本和右目图像训练样本；
基于所述参考图像样本，对所述双目图像训练样本进行色彩转换，得到转换后的目标
双目图像训练样本，其中，所述目标双目图像训练样本的色彩与所述参考图像样本的色彩
相匹配；
利用所述目标双目图像训练样本对双目立体匹配网络进行训练，得到训练后的双目立
体匹配网络。
2.根据权利要求1所述的方法，其特征在于，所述基于所述参考图像样本，对所述双目
图像训练样本进行色彩转换，得到转换后的目标双目图像训练样本，包括：
将所述参考图像样本和所述双目图像训练样本从RGB图像转换为LAB图像，得到中间参
考图像样本以及中间双目图像训练样本；
基于所述中间参考图像样本以及所述中间双目图像训练样本，生成转换后的目标双目
图像训练样本。
3.根据权利要求2所述的方法，其特征在于，基于所述中间参考图像样本以及所述中间
双目图像训练样本，生成转换后的目标双目图像训练样本，包括：
确定所述中间参考图像样本对应的第一像素值均值和第一像素值方差，所述中间双目
图像训练样本中的中间左目图像训练样本对应的第二像素值均值和第二像素值方差，以及
中间右目图像训练样本对应的第二像素值均值和第二像素值方差；
基于所述第一像素值均值及所述第一像素值方差、所述中间左目图像训练样本对应的
第二像素值均值及第二像素值方差、以及所述中间参考图像样本，生成目标左目图像训练
样本；
基于所述第一像素值均值及所述第一像素值方差、所述中间右目图像训练样本对应的
第二像素值均值及第二像素值方差、以及所述中间参考图像样本，生成目标右目图像训练
样本；
其中，所述目标左目图像训练样本和所述目标右目图像训练样本构成了所述目标双目
图像训练样本。
4.根据权利要求3所述的方法，其特征在于，采用以下步骤生成目标单目图像训练样
本，所述目标单目图像训练样本为所述目标左目图像训练样本或者所述目标右目图像训练
样本：
基于所述第一像素值均值，对所述中间参考图像样本中各个像素点的像素值进行调
整，生成第一转换图像；
基于所述第一像素值方差以及中间单目图像训练样本对应的第二像素值方差，确定转
换系数，并基于所述转换系数，对所述第一转换图像中各个像素点的像素值进行调整，生成
第二转换图像；
基于所述第二转换图像中各个像素点的像素值，对所述中间单目图像训练样本对应的
第二像素值均值进行调整，生成第三转换图像；
将所述第三转换图像转换为RGB图像，得到所述目标单目图像训练样本；其中，当所述
目标单目图像训练样本为所述目标左目图像训练样本时，所述中间单目图像训练样本为所
述中间左目图像训练样本；当所述目标单目图像训练样本为所述目标右目图像训练样本
时，所述中间单目图像训练样本为所述中间右目图像训练样本。
5.根据权利要求1所述的方法，其特征在于，利用所述目标双目图像训练样本对所述双
目立体匹配网络进行训练，包括：
分别对目标左目图像训练样本以及目标右目图像训练样本进行特征提取，生成左目特
征图以及右目特征图；
分别对所述左目特征图以及所述右目特征图进行归一化处理，生成归一化处理后的目
标左目特征图以及目标右目特征图；
基于所述目标左目特征图以及所述目标右目特征图，计算所述目标双目图像训练样本
中所述目标左目图像训练样本与所述目标右目图像训练样本之间的匹配代价；
基于所述目标左目图像训练样本与所述目标右目图像训练样本之间的匹配代价，生成
所述目标双目图像训练样本对应的预测视差图；
基于所述预测视差图以及所述双目图像训练样本对应的标注视差图，调整所述双目立
体匹配网络的参数。
6.根据权利要求5所述的方法，其特征在于，分别对所述左目特征图以及所述右目特征
图进行归一化处理，生成归一化处理后的目标左目特征图以及目标右目特征图，包括：
基于通道特征信息对所述左目特征图以及所述右目特征图进行第一归一化处理，生成
中间左目特征图以及中间右目特征图；
基于位置特征信息对所述中间左目特征图以及所述中间右目特征图进行第二归一化
处理，生成所述目标左目特征图以及所述目标右目特征图。
7.根据权利要求6所述的方法，其特征在于，基于通道特征信息对所述左目特征图以及
所述右目特征图进行第一归一化处理，生成中间左目特征图以及中间右目特征图，包括：
针对所述左目特征图中的每个通道的特征图，基于该通道的特征图中每个特征点的特
征值，确定该通道对应的特征调整值；并根据每个通道对应的特征调整值对该通道的特征
图上的每个特征点的特征值进行调整，得到处理后的中间左目特征图；以及，
针对所述右目特征图中的每个通道的特征图，基于该通道的特征图中每个特征点的特
征值，确定该通道对应的特征调整值；并根据每个通道对应的特征调整值对该通道的特征
图上的每个特征点的特征值进行调整，得到处理后的中间右目特征图。
8.根据权利要求6所述的方法，其特征在于，基于位置特征信息对所述中间左目特征图
以及所述中间右目特征图进行第二归一化处理，生成所述目标左目特征图以及所述目标右
目特征图，包括：
基于所述中间左目特征图对应的各个通道的特征图中，对应同一位置的各个特征点的
特征值，得到该位置对应的特征调整值；并根据每个位置对应的特征调整值对所述中间左
目特征图对应的各个通道的特征图中，与该位置对应的特征点的特征值进行调整，得到处
理后的目标左目特征图；
基于所述中间右目特征图对应的各个通道的特征图中，对应同一位置的各个特征点的
特征值，得到该位置对应的特征调整值；并根据每个位置对应的特征调整值对所述中间右
目特征图对应的各个通道的特征图中，与该位置对应的特征点的特征值进行调整，得到处
理后的目标右目特征图。
9.一种图像处理方法，其特征在于，包括：
获取待检测双目图像；
基于双目立体匹配网络对所述待检测双目图像进行目标检测，得到所述待检测双目图
像对应的第一目标视差图，其中，所述双目立体匹配网络为基于权利要求1至8任一项所述
的双目立体匹配网络训练方法训练得到；
基于所述第一目标视差图对所述待检测双目图像进行处理，得到处理结果。
10.一种行驶控制方法，其特征在于，包括：
获取行驶装置在行驶过程中采集的双目道路图像；
利用双目立体匹配网络对所述双目道路图像进行目标检测，确定所述双目道路图像对
应的第二目标视差图；所述双目立体匹配网络采用权利要求1至8任一项所述的双目立体匹
配网络训练方法训练得到；
基于所述第二目标视差图，确定所述双目道路图像中包括的目标对象的三维位姿信
息；
基于确定的所述目标对象的三维位姿信息，控制所述行驶装置。
11.一种双目立体匹配网络训练装置，其特征在于，包括：
样本获取模块，用于获取双目图像训练样本以及参考图像样本；其中，所述双目图像训
练样本包括左目图像训练样本和右目图像训练样本；
色彩转换模块，用于基于所述参考图像样本，对所述双目图像训练样本进行色彩转换，
得到转换后的目标双目图像训练样本，其中，所述目标双目图像训练样本的色彩与所述参
考图像样本的色彩相匹配；
训练模块，用于利用所述目标双目图像训练样本对双目立体匹配网络进行训练，得到
训练后的双目立体匹配网络。
12.一种图像处理装置，其特征在于，包括：
图像获取模块，用于获取待检测双目图像；
第一目标检测模块，用于基于双目立体匹配网络对所述待检测双目图像进行目标检
测，得到所述待检测双目图像对应的第一目标视差图，其中，所述双目立体匹配网络为基于
权利要求1至8任一项所述的双目立体匹配网络训练方法训练得到；
处理模块，用于基于所述第一目标视差图对所述待检测双目图像进行处理，得到处理
结果。
13.一种行驶控制装置，其特征在于，包括：
道路图像获取模块，用于获取行驶装置在行驶过程中采集的双目道路图像；
第二目标检测模块，用于利用双目立体匹配网络对所述双目道路图像进行目标检测，
确定所述双目道路图像对应的第二目标视差图；所述双目立体匹配网络采用权利要求1至8
任一项所述的双目立体匹配网络训练方法训练得到；
三维位姿信息确定模块，用于基于所述第二目标视差图，确定所述双目道路图像中包
括的目标对象的三维位姿信息；
控制模块，用于基于确定的所述目标对象的三维位姿信息，控制所述行驶装置。
14.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述
处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总
线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至8任一所述的双目立体
匹配网络训练方法的步骤；或执行如权利要求9所述的图像处理方法的步骤；或执行如权利
要求10所述的行驶控制方法的步骤。
15.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程
序，该计算机程序被处理器运行时执行如权利要求1至8任一所述的双目立体匹配网络训练
方法的步骤；或执行如权利要求9所述的图像处理方法的步骤；或执行如权利要求10所述的
行驶控制方法的步骤。

双目立体匹配网络训练方法及装置\n技术领域\n[0001] 本公开涉及深度学习技术领域，具体而言，涉及一种双目立体匹配网络训练方法、\n图像处理方法、行驶控制方法、装置、电子设备、及存储介质。\n背景技术\n[0002] 双目立体匹配是计算机视觉领域中最基础的问题之一，其中，双目立体匹配的任\n务是从相同场景的两个视角图像中找到匹配的像素点，构建该场景对应的视差图像。\n[0003] 一般可以通过训练后的双目立体匹配网络确定双目图像的视差图，由于真实场景\n数据集中包含的视差图真值数据较少，合成数据集中包含的视差图真值数据较多，因此可\n以通过包含大量视差真值数据的合成数据集对双目立体匹配网络进行训练。但是，通过合\n成数据集训练的双目立体匹配网络无法在真实场景数据集上预测出精确的视差图，即通过\n合成数据集训练的双目立体匹配网络确定真实场景图像对应的视差图的准确度较低。\n发明内容\n[0004] 有鉴于此，本公开至少提供一种双目立体匹配网络训练方法、图像处理方法、行驶\n控制方法、装置、电子设备、及存储介质。\n[0005] 第一方面，本公开提供了一种双目立体匹配网络训练方法，包括：\n[0006] 获取双目图像训练样本以及参考图像样本；其中，所述双目图像训练样本包括左\n目图像训练样本和右目图像训练样本；\n[0007] 基于所述参考图像样本，对所述双目图像训练样本进行色彩转换，得到转换后的\n目标双目图像训练样本，其中，所述目标双目图像训练样本的色彩与所述参考图像样本的\n色彩相匹配；\n[0008] 利用所述目标双目图像训练样本对双目立体匹配网络进行训练，得到训练后的双\n目立体匹配网络。\n[0009] 采用上述方法，可以基于参考图像样本对双目图像训练样本进行色彩转换，降低\n双目图像训练样本与参考图像样本之间的色彩差异，由于参考图像训练样本可以为目标域\n的图像，双目图像训练样本可以为源域的图像，使得基于色彩转换后的目标双目图像训练\n样本对双目立体匹配网络进行训练后，得到的训练后的双目立体匹配网络可以较准确的生\n成目标域的图像的视差图，提升了双目立体匹配网络的域自适应能力，即提高双目立体匹\n配网络的泛化能力。\n[0010] 一种可能的实施方式中，所述基于所述参考图像样本，对所述双目图像训练样本\n进行色彩转换，得到转换后的目标双目图像训练样本，包括：\n[0011] 将所述参考图像样本和所述双目图像训练样本从RGB图像转换为LAB图像，得到中\n间参考图像样本以及中间双目图像训练样本；\n[0012] 基于所述中间参考图像样本以及所述中间双目图像训练样本，生成转换后的目标\n双目图像训练样本。\n[0013] 上述实施方式下，由于在LAB色彩空间包括的色彩模式较为全面，因此，在将参考\n图像样本和双目图像训练样本从RGB图像转换为LAB图像后，基于LAB图像实现图像的色彩\n转换，可以较准确的得到目标双目图像训练样本。\n[0014] 一种可能的实施方式中，基于所述中间参考图像样本以及所述中间双目图像训练\n样本，生成转换后的目标双目图像训练样本，包括：\n[0015] 确定所述中间参考图像样本对应的第一像素值均值和第一像素值方差，所述中间\n双目图像训练样本中的中间左目图像训练样本对应的第二像素值均值和第二像素值方差，\n以及中间右目图像训练样本对应的第二像素值均值和第二像素值方差；\n[0016] 基于所述第一像素值均值及所述第一像素值方差、所述中间左目图像训练样本对\n应的第二像素值均值及第二像素值方差、以及所述中间参考图像样本，生成目标左目图像\n训练样本；\n[0017] 基于所述第一像素值均值及所述第一像素值方差、所述中间右目图像训练样本对\n应的第二像素值均值及第二像素值方差、以及所述中间参考图像样本，生成目标右目图像\n训练样本；\n[0018] 其中，所述目标左目图像训练样本和所述目标右目图像训练样本构成了所述目标\n双目图像训练样本。\n[0019] 一种可能的实施方式中，采用以下步骤生成目标单目图像训练样本，所述目标单\n目图像训练样本为所述目标左目图像训练样本或者所述目标右目图像训练样本：\n[0020] 基于所述第一像素值均值，对所述中间参考图像样本中各个像素点的像素值进行\n调整，生成第一转换图像；\n[0021] 基于所述第一像素值方差以及所述中间单目图像训练样本对应的第二像素值方\n差，确定转换系数，并基于所述转换系数，对所述第一转换图像中各个像素点的像素值进行\n调整，生成第二转换图像；\n[0022] 基于所述中间单目图像训练样本对应的第二像素值均值，对所述第二转换图像中\n各个像素点的像素值进行调整，生成第三转换图像；\n[0023] 将所述第三转换图像转换为RGB图像，得到所述目标单目图像训练样本；其中，当\n所述目标单目图像训练样本为所述目标左目图像训练样本时，所述中间单目图像训练样本\n为所述中间左目图像训练样本；当所述目标单目图像训练样本为所述目标右目图像训练样\n本时，所述中间单目图像训练样本为所述中间右目图像训练样本。\n[0024] 上述实施方式下，通过中间单目图像训练样本对应的第二像素值均值与第二像素\n值方差、中间参考图像样本对应的第一像素值均值与第一像素值方差，实现中间单目图像\n训练样本的色彩转换，得到目标单目图像训练样本，使得得到的目标单目图像训练样本的\n色彩与参考图像样本的色彩匹配，降低了目标单目图像训练样本与参考图像样本之间的色\n彩差异性，由于参考图像样本为目标域的图像，故可以使得基于目标双目图像训练样本训\n练得到的双目立体匹配网络，可以较准确的得到目标域的图像的视差图，提升了双目立体\n匹配网络的域自适应能力，即提高了双目立体匹配网络的泛化能力。\n[0025] 一种可能的实施方式中，利用所述目标双目图像训练样本对所述双目立体匹配网\n络进行训练，包括：\n[0026] 分别对目标左目图像训练样本以及目标右目图像训练样本进行特征提取，生成左\n目特征图以及右目特征图；\n[0027] 分别对所述左目特征图以及所述右目特征图进行归一化处理，生成归一化处理后\n的目标左目特征图以及目标右目特征图；\n[0028] 基于所述目标左目特征图以及目标右目特征图，计算所述目标双目图像训练样本\n中所述目标左目图像训练样本与所述目标右目图像训练样本之间的匹配代价；\n[0029] 基于所述目标左目图像训练样本与所述目标右目图像训练样本之间的匹配代价，\n生成所述目标双目图像训练样本对应的预测视差图；\n[0030] 基于所述预测视差图以及所述双目图像训练样本对应的标注视差图，调整所述双\n目立体匹配网络的参数。\n[0031] 这里，通过分别对左目特征图以及右目特征图进行归一化处理，得到目标左目特\n征图以及目标右目特征图，并可以基于目标左目特征图以及目标右目特征图，计算得到目\n标左目图像训练样本与目标右目图像训练样本之间的匹配代价，通过归一化处理后的目标\n左目特征图和目标右目特征图计算匹配代价时，可以使得不同数据域的不同图像之间的匹\n配代价分布结果相似，降低了不同数据域的不同图像之间匹配代价分布的差异性，即可以\n降低目标图像训练样本与真实场景图像之间匹配代价分布的差异性，提升了双目立体匹配\n网络的域自适应能力，即提高了双目立体匹配网络的泛化能力。\n[0032] 一种可能的实施方式中，分别对所述左目特征图以及所述右目特征图进行归一化\n处理，生成归一化处理后的目标左目特征图以及目标右目特征图，包括：\n[0033] 基于通道特征信息对所述左目特征图以及所述右目特征图进行第一归一化处理，\n生成中间左目特征图以及中间右目特征图；\n[0034] 基于位置特征信息对所述中间左目特征图以及所述中间右目特征图进行第二归\n一化处理，生成所述目标左目特征图以及所述目标右目特征图。\n[0035] 这里，基于通道特征信息对左目特征图和右目特征图进行第一归一化处理，即对\n同一通道的特征图上的特征点的特征值进行第一归一化处理，以及基于位置特征信息对中\n间左目特征图以及中间右目特征图进行第二归一化处理，即对不同通道的特征图上同一位\n置的特征点对应的特征值进行第二归一化处理，使得左目特征图以及右目特征图中每一特\n征点对应的特征值位于一定的范围之内，进而可以使得不同数据集中不同的图像对应的归\n一化处理后的目标特征图的匹配代价的分布较为一致，提高了双目立体匹配网络的泛化能\n力。\n[0036] 一种可能的实施方式中，基于通道特征信息对所述左目特征图以及所述右目特征\n图进行第一归一化处理，生成中间左目特征图以及中间右目特征图，包括：\n[0037] 针对所述左目特征图中的每个通道的特征图，基于该通道的特征图中每个特征点\n的特征值，确定该通道对应的特征调整值；并根据每个通道对应的特征调整值对该通道的\n特征图上的每个特征点的特征值进行调整，得到处理后的中间左目特征图；以及，\n[0038] 针对所述右目特征图中的每个通道的特征图，基于该通道的特征图中每个特征点\n的特征值，确定该通道对应的特征调整值；并根据每个通道对应的特征调整值对该通道的\n特征图上的每个特征点的特征值进行调整，得到处理后的中间右目特征图。\n[0039] 这里，通过确定每个通道的特征调整值，基于每个通道对应的特征调整值调整该\n通道中每个特征点的特征值，过程简单，运算量低，提高了归一化处理的效率，进而可以提\n高双目立体匹配网络的处理效率。\n[0040] 一种可能的实施方式中，基于位置特征信息对所述中间左目特征图以及所述中间\n右目特征图进行第二归一化处理，生成所述目标左目特征图以及所述目标右目特征图，包\n括：\n[0041] 基于所述中间左目特征图对应的各个通道的特征图中，对应同一位置的各个特征\n点的特征值，得到该位置对应的特征调整值；并根据每个位置对应的特征调整值对所述中\n间左目特征图对应的各个通道的特征图中，与该位置对应的特征点的特征值进行调整，得\n到处理后的目标左目特征图；\n[0042] 基于所述中间右目特征图对应的各个通道的特征图中，对应同一位置的各个特征\n点的特征值，得到该位置对应的特征调整值；并根据每个位置对应的特征调整值对所述中\n间右目特征图对应的各个通道的特征图中，与该位置对应的特征点的特征值进行调整，得\n到处理后的目标右目特征图。\n[0043] 这里，通过确定每个位置的特征调整值，基于每个位置对应的特征调整值调整该\n位置对应的特征点的特征值，归一化处理过程简单，运算量低，提高了归一化处理的效率，\n进而可以提高双目立体匹配网络的处理效率。\n[0044] 第二方面，本公开提供了一种图像处理方法，包括：\n[0045] 获取待检测双目图像；\n[0046] 基于双目立体匹配网络对所述待检测双目图像进行目标检测，得到所述待检测双\n目图像对应的第一目标视差图，其中，所述双目立体匹配网络为基于第一方面或第一方面\n任一实施方式所述的双目立体匹配网络训练方法训练得到；\n[0047] 基于所述第一目标视差图对所述待检测双目图像进行处理，得到处理结果。\n[0048] 第三方面，本公开提供了一种行驶控制方法，包括：\n[0049] 获取行驶装置在行驶过程中采集的双目道路图像；\n[0050] 利用双目立体匹配网络对所述双目道路图像进行目标检测，确定所述双目道路图\n像对应的第二目标视差图；所述双目立体匹配网络采用第一方面或第一方面任一实施方式\n所述的双目立体匹配网络训练方法训练得到；\n[0051] 基于所述第二目标视差图，确定所述双目道路图像中包括的目标对象的三维位姿\n信息；\n[0052] 基于确定的所述目标对象的三维位姿信息，控制所述行驶装置。\n[0053] 以下装置、电子设备等的效果描述参见上述方法的说明，这里不再赘述。\n[0054] 第四方面，本公开提供了一种双目立体匹配网络训练装置，包括：\n[0055] 样本获取模块，用于获取双目图像训练样本以及参考图像样本；其中，所述双目图\n像训练样本包括左目图像训练样本和右目图像训练样本；\n[0056] 色彩转换模块，用于基于所述参考图像样本，对所述双目图像训练样本进行色彩\n转换，得到转换后的目标双目图像训练样本，其中，所述目标双目图像训练样本的色彩与所\n述参考图像样本的色彩相匹配；\n[0057] 训练模块，用于利用所述目标双目图像训练样本对双目立体匹配网络进行训练，\n得到训练后的双目立体匹配网络。\n[0058] 一种可能的实施方式中，所述色彩转换模块，在基于所述参考图像样本，对所述双\n目图像训练样本进行色彩转换，得到转换后的目标双目图像训练样本的情况下，用于：\n[0059] 将所述参考图像样本和所述双目图像训练样本从RGB图像转换为LAB图像，得到中\n间参考图像样本以及中间双目图像训练样本；\n[0060] 基于所述中间参考图像样本以及所述中间双目图像训练样本，生成转换后的目标\n双目图像训练样本。\n[0061] 一种可能的实施方式中，所述色彩转换模块，在基于所述中间参考图像样本以及\n所述中间双目图像训练样本，生成转换后的目标双目图像训练样本的情况下，用于：\n[0062] 确定所述中间参考图像样本对应的第一像素值均值和第一像素值方差，所述中间\n双目图像训练样本中的中间左目图像训练样本对应的第二像素值均值和第二像素值方差，\n以及中间右目图像训练样本对应的第二像素值均值和第二像素值方差；\n[0063] 基于所述第一像素值均值及所述第一像素值方差、所述中间左目图像训练样本对\n应的第二像素值均值及第二像素值方差、以及所述中间参考图像样本，生成目标左目图像\n训练样本；\n[0064] 基于所述第一像素值均值及所述第一像素值方差、所述中间右目图像训练样本对\n应的第二像素值均值及第二像素值方差、以及所述中间参考图像样本，生成目标右目图像\n训练样本；\n[0065] 其中，所述目标左目图像训练样本和所述目标右目图像训练样本构成了所述目标\n双目图像训练样本。\n[0066] 一种可能的实施方式中，所述色彩转换模块，用于采用以下步骤生成目标单目图\n像训练样本，所述目标单目图像训练样本为所述目标左目图像训练样本或者所述目标右目\n图像训练样本：\n[0067] 基于所述第一像素值均值，对所述中间参考图像样本中各个像素点的像素值进行\n调整，生成第一转换图像；\n[0068] 基于所述第一像素值方差以及所述中间单目图像训练样本对应的第二像素值方\n差，确定转换系数，并基于所述转换系数，对所述第一转换图像中各个像素点的像素值进行\n调整，生成第二转换图像；\n[0069] 基于所述中间单目图像训练样本对应的第二像素值均值，对所述第二转换图像中\n各个像素点的像素值进行调整，生成第三转换图像；\n[0070] 将所述第三转换图像转换为RGB图像，得到所述目标单目图像训练样本；其中，当\n所述目标单目图像训练样本为所述目标左目图像训练样本时，所述中间单目图像训练样本\n为所述中间左目图像训练样本；当所述目标单目图像训练样本为所述目标右目图像训练样\n本时，所述中间单目图像训练样本为所述中间右目图像训练样本。\n[0071] 一种可能的实施方式中，所述训练模块，在利用所述目标双目图像训练样本对所\n述双目立体匹配网络进行训练的情况下，用于：\n[0072] 分别对目标左目图像训练样本以及目标右目图像训练样本进行特征提取，生成左\n目特征图以及右目特征图；\n[0073] 分别对所述左目特征图以及所述右目特征图进行归一化处理，生成归一化处理后\n的目标左目特征图以及目标右目特征图；\n[0074] 基于所述目标左目特征图以及目标右目特征图，计算所述目标双目图像训练样本\n中所述目标左目图像训练样本与所述目标右目图像训练样本之间的匹配代价；\n[0075] 基于所述目标左目图像训练样本与所述目标右目图像训练样本之间的匹配代价，\n生成所述目标双目图像训练样本对应的预测视差图；\n[0076] 基于所述预测视差图以及所述双目图像训练样本对应的标注视差图，调整所述双\n目立体匹配网络的参数。\n[0077] 一种可能的实施方式中，所述训练模块，在分别对所述左目特征图以及所述右目\n特征图进行归一化处理，生成归一化处理后的目标左目特征图以及目标右目特征图的情况\n下，用于：\n[0078] 基于通道特征信息对所述左目特征图以及所述右目特征图进行第一归一化处理，\n生成中间左目特征图以及中间右目特征图；\n[0079] 基于位置特征信息对所述中间左目特征图以及所述中间右目特征图进行第二归\n一化处理，生成所述目标左目特征图以及所述目标右目特征图。\n[0080] 一种可能的实施方式中，所述训练模块，在基于通道特征信息对所述左目特征图\n以及所述右目特征图进行第一归一化处理，生成中间左目特征图以及中间右目特征图的情\n况下，用于：\n[0081] 针对所述左目特征图中的每个通道的特征图，基于该通道的特征图中每个特征点\n的特征值，确定该通道对应的特征调整值；并根据每个通道对应的特征调整值对该通道的\n特征图上的每个特征点的特征值进行调整，得到处理后的中间左目特征图；以及，\n[0082] 针对所述右目特征图中的每个通道的特征图，基于该通道的特征图中每个特征点\n的特征值，确定该通道对应的特征调整值；并根据每个通道对应的特征调整值对该通道的\n特征图上的每个特征点的特征值进行调整，得到处理后的中间右目特征图。\n[0083] 一种可能的实施方式中，所述训练模块，在基于位置特征信息对所述中间左目特\n征图以及所述中间右目特征图进行第二归一化处理，生成所述目标左目特征图以及所述目\n标右目特征图的情况下，用于：\n[0084] 基于所述中间左目特征图对应的各个通道的特征图中，对应同一位置的各个特征\n点的特征值，得到该位置对应的特征调整值；并根据每个位置对应的特征调整值对所述中\n间左目特征图对应的各个通道的特征图中，与该位置对应的特征点的特征值进行调整，得\n到处理后的目标左目特征图；\n[0085] 基于所述中间右目特征图对应的各个通道的特征图中，对应同一位置的各个特征\n点的特征值，得到该位置对应的特征调整值；并根据每个位置对应的特征调整值对所述中\n间右目特征图对应的各个通道的特征图中，与该位置对应的特征点的特征值进行调整，得\n到处理后的目标右目特征图。\n[0086] 第五方面，本公开提供了一种图像处理装置，包括：\n[0087] 图像获取模块，用于获取待检测双目图像；\n[0088] 第一目标检测模块，用于基于双目立体匹配网络对所述待检测双目图像进行目标\n检测，得到所述待检测双目图像对应的第一目标视差图，其中，所述双目立体匹配网络为基\n于第一方面或第一方面任一实施方式所述的双目立体匹配网络训练方法训练得到；\n[0089] 处理模块，用于基于所述第一目标视差图对所述待检测双目图像进行处理，得到\n处理结果。\n[0090] 第六方面，本公开提供了一种行驶控制装置，包括：\n[0091] 道路图像获取模块，用于获取行驶装置在行驶过程中采集的双目道路图像；\n[0092] 第二目标检测模块，用于利用双目立体匹配网络对所述双目道路图像进行目标检\n测，确定所述双目道路图像对应的第二目标视差图；所述双目立体匹配网络采用第一方面\n或第一方面任一实施方式所述的双目立体匹配网络训练方法训练得到；\n[0093] 三维位姿信息确定模块，用于基于所述第二目标视差图，确定所述双目道路图像\n中包括的目标对象的三维位姿信息；\n[0094] 控制模块，用于基于确定的所述目标对象的三维位姿信息，控制所述行驶装置。\n[0095] 第七方面，本公开提供一种电子设备，包括：处理器、存储器和总线，所述存储器存\n储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之\n间通过总线通信，所述机器可读指令被所述处理器执行时执行如上述第一方面或任一实施\n方式所述的双目立体匹配网络训练方法的步骤；或执行如上述第二方面或任一实施方式所\n述的图像处理方法的步骤；或执行如上述第三方面或任一实施方式所述的行驶控制方法的\n步骤。\n[0096] 第八方面，本公开提供一种计算机可读存储介质，该计算机可读存储介质上存储\n有计算机程序，该计算机程序被处理器运行时执行如上述第一方面或任一实施方式所述的\n双目立体匹配网络训练方法的步骤；或执行如上述第二方面或任一实施方式所述的图像处\n理方法的步骤；或执行如上述第三方面或任一实施方式所述的行驶控制方法的步骤。\n[0097] 为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合\n所附附图，作详细说明如下。\n附图说明\n[0098] 为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附\n图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出\n了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图\n仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人\n员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。\n[0099] 图1示出了本公开实施例所提供的一种双目立体匹配网络训练方法的流程示意\n图；\n[0100] 图2示出了本公开实施例所提供的一种图像处理方法的流程示意图；\n[0101] 图3示出了本公开实施例所提供的一种行驶控制方法的流程示意图；\n[0102] 图4示出了本公开实施例所提供的一种双目立体匹配网络训练装置的架构示意\n图；\n[0103] 图5示出了本公开实施例所提供的一种图像处理装置的架构示意图；\n[0104] 图6示出了本公开实施例所提供的一种行驶控制装置的架构示意图；\n[0105] 图7示出了本公开实施例所提供的一种电子设备的结构示意图；\n[0106] 图8示出了本公开实施例所提供的另一种电子设备的结构示意图；\n[0107] 图9示出了本公开实施例所提供的另一种电子设备的结构示意图。\n具体实施方式\n[0108] 为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例\n中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅\n仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开\n实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开\n的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定\n实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的\n所有其他实施例，都属于本公开保护的范围。\n[0109] 目前，真实场景数据集中包含的视差图真值数据较少，比如，真实场景数据集可以\n为KITTI数据集、Middlebury数据集等；而合成数据集呈包含的视差真值数据较多，比如，合\n成数据集可以为Scene Flow Datasets数据集等。\n[0110] 神经网络的训练需要大量包含标签的数据，即需要使用大量包含视差真值的训练\n数据对双目立体匹配网络进行训练，因此，可以选择合成数据集对双目立体匹配网络进行\n训练。但是，由于合成数据集中包含的数据是合成的数据，不是在真实场景中采集得到的数\n据，使得通过合成数据集训练的双目立体匹配网络在确定真实场景图像对应的视差图时，\n得到的视差图的准确度较低。为了解决上述问题，本公开实施例提供了双目立体匹配网络\n训练方法。\n[0111] 为便于对本公开实施例进行理解，首先对本公开实施例所公开的一种双目立体匹\n配网络训练方法进行详细介绍。\n[0112] 参见图1所示，为本公开实施例所提供的一种双目立体匹配网络训练方法的流程\n示意图，包括S101‑S103，其中：\n[0113] S101，获取双目图像训练样本以及参考图像样本；其中，双目图像训练样本包括左\n目图像训练样本和右目图像训练样本；\n[0114] S102，基于参考图像样本，对双目图像训练样本进行色彩转换，得到转换后的目标\n双目图像训练样本，其中，目标双目图像训练样本的色彩与参考图像样本的色彩相匹配；\n[0115] S103，利用目标双目图像训练样本对双目立体匹配网络进行训练，得到训练后的\n双目立体匹配网络。\n[0116] 上述方法中，通过基于参考图像样本对双目图像训练样本进行色彩转换，降低双\n目图像训练样本与参考图像样本之间的色彩差异，由于参考图像训练样本可以为目标域的\n图像，双目图像训练样本可以为源域的图像，使得基于色彩转换后的目标双目图像训练样\n本对双目立体匹配网络进行训练后，得到的训练后的双目立体匹配网络可以较准确的生成\n目标域对应的图像的视差图，提升了双目立体匹配网络的域自适应能力，即提高双目立体\n匹配网络的泛化能力。\n[0117] 下述对S101‑S103进行详细说明。\n[0118] 针对S101：\n[0119] 这里，双目图像训练样本可以为合成数据集中的至少一对合成双目图像，每对合\n成双目图像中包括左目合成图像以及右目合成图像，即双目图像训练样本包括左目图像训\n练样本和右目图像训练样本，合成数据集对应的域可以为源域。其中，合成双目图像可以为\n通过智能设备(比如，电脑、手机等设备)合成的双目图像；参考图像样本可以为真实场景数\n据集中的图像，即该图像为在真实场景中采集到的图像，真实场景数据集对应的域可以为\n目标域，双目图像训练样本与参照图像样本为不同数据域中的图像。\n[0120] 针对S102：\n[0121] 本公开实施例中，可以基于参考图像样本对双目图像训练样本进行色彩转换，生\n成与参考图像样本的色彩相匹配的目标双目图像训练样本。\n[0122] 示例性的，基于参考图像样本，对双目图像训练样本进行色彩转换，得到转换后的\n目标双目图像训练样本，可以包括：\n[0123] 将参考图像样本和双目图像训练样本从红绿蓝RGB图像转换为LAB图像，得到中间\n参考图像样本以及中间双目图像训练样本；\n[0124] 基于中间参考图像样本以及中间双目图像训练样本，生成转换后的目标双目图像\n训练样本。\n[0125] 这里，参考图像样本和双目图像训练样本可以为RGB图像。示例性的，可以在LAB色\n彩空间下，基于参考图像样本，对双目图像训练样本进行色彩转换。其中，L代表图像的亮\n度、A代表图像的颜色是从深绿色(低亮度值)到灰色(中亮度值)再到亮粉红色(高亮度值)；\nB代表图像从亮蓝色(低亮度值)到灰色(中亮度值)再到黄色(高亮度值)。因此，可以先将参\n考图像样本和双目图像训练样本从RGB图像转换为LAB图像，得到中间参考图像样本以及中\n间双目图像训练样本。其中，可以通过色彩转换软件将RGB图像转换为LAB图像。进而，可以\n基于得到的中间参考图像样本以及中间双目图像训练样本，生成转换后的目标双目图像训\n练样本。\n[0126] 上述实施方式中，由于在LAB色彩空间包括的色彩模式较为全面，因此，在将参考\n图像样本和双目图像训练样本从RGB图像转换为LAB图像后，基于LAB图像实现图像的色彩\n转换，可以较准确的得到目标双目图像训练样本。\n[0127] 一种可选实施方式中，基于中间参考图像样本以及中间双目图像训练样本，生成\n转换后的目标双目图像训练样本，包括：\n[0128] 确定中间参考图像样本对应的第一像素值均值和第一像素值方差，中间双目图像\n训练样本中的中间左目图像训练样本对应的第二像素值均值和第二像素值方差，以及中间\n右目图像训练样本对应的第二像素值均值和第二像素值方差；\n[0129] 基于第一像素值均值及第一像素值方差、中间左目图像训练样本对应的第二像素\n值均值及第二像素值方差、以及中间参考图像样本，生成目标左目图像训练样本；\n[0130] 基于第一像素值均值及第一像素值方差、中间右目图像训练样本对应的第二像素\n值均值及第二像素值方差、以及中间参考图像样本，生成目标右目图像训练样本；其中，目\n标左目图像训练样本和目标右目图像训练样本构成了目标双目图像训练样本。\n[0131] 本公开实施例中，可以根据中间参考图像样本中每个像素点的像素值，确定中间\n参考图像样本中对应的第一像素值均值和第一像素值方差；以及根据中间左目图像训练样\n本中每个像素点的像素值，确定中间左目图像训练样本对应的第二像素值均值和第二像素\n值方差，和根据中间右目图像训练样本中每个像素点的像素值，确定中间右目图像训练样\n本对应的第二像素值均值和第二像素值方差。进而，基于确定的第一像素值均值和第一像\n素值方差、中间左目图像训练样本对应的第二像素值均值和第二像素值方差、以及中间参\n考图像样本，生成目标左目训练样本，同理，还可以生成目标右目训练样本。其中，目标左目\n图像训练样本和目标右目图像训练样本构成了目标双目图像训练样本。\n[0132] 一种可选实施方式中，采用以下步骤生成目标单目图像训练样本，所述目标单目\n图像训练样本为所述目标左目图像训练样本或者所述目标右目图像训练样本：\n[0133] 一、基于第一像素值均值，对中间参考图像样本中各个像素点的像素值进行调整，\n生成第一转换图像；\n[0134] 二、基于第一像素值方差以及中间单目图像训练样本对应的第二像素值方差，确\n定转换系数，并基于转换系数，对第一转换图像中各个像素点的像素值进行调整，生成第二\n转换图像；\n[0135] 三、基于中间单目图像训练样本对应的第二像素值均值，对第二转换图像中各个\n像素点的像素值进行调整，生成第三转换图像；\n[0136] 四、将第三转换图像转换为RGB图像，得到目标单目图像训练样本；其中，当所述目\n标单目图像训练样本为所述目标左目图像训练样本时，所述中间单目图像训练样本为所述\n中间左目图像训练样本；当所述目标单目图像训练样本为所述目标右目图像训练样本时，\n所述中间单目图像训练样本为所述中间右目图像训练样本。\n[0137] 这里，在中间单目图像训练样本为中间左目图像训练样本时，则生成的目标单目\n图像训练样本为目标左目图像训练样本；在中间单目图像训练样本为中间右目图像训练样\n本时，则生成的目标单目图像训练样本为目标右目图像训练样本。\n[0138] 对步骤一进行说明，示例性的，可以将中间参考图像样本中各个像素点的像素值\n减去第一像素值均值，得到各个像素点对应的调整后的像素值，调整像素值后的各个像素\n点构成了第一转换图像，其中，第一转换图像中各个像素点的像素值的分布情况为以0值为\n中心，分布在0值的一定范围内。\n[0139] 针对步骤二，在具体实施时，可以将中间单目图像训练样本对应的第二像素值方\n差与第一像素值方差相除，得到转换系数。并将第一转换图像中各个像素点的像素值与转\n换系数相乘，得到调整像素值后的各个像素点，调整像素值后的各个像素点构成了第二转\n换图像。其中，第二转换图像中的各个像素点的像素值的方差与中间参考图像样本对应的\n第一像素值方差近似。\n[0140] 针对步骤三，将第二转换图像中各个像素点的像素值与中间单目图像训练样本对\n应的第二像素值均值求和，得到各个像素点调整后的像素值，进而整像素值后的各个像素\n点构成了第三转换图像。其中，得到的第三转换图像的色彩与中间参考图像样本的色彩相\n匹配。\n[0141] 针对步骤四，这里得到的第三转换图像为LAB图像，故可以将得到的第三转换图像\n通过色彩转换软件，转换为RGB图像，得到目标单目图像训练样本。\n[0142] 上述实施方式中，通过中间单目图像训练样本对应的第二像素值均值与第二像素\n值方差、中间参考图像样本对应的第一像素值均值与第一像素值方差，实现中间单目图像\n训练样本的色彩转换，得到目标单目图像训练样本，使得得到的目标单目图像训练样本的\n色彩与参考图像样本的色彩匹配，降低了目标单目图像训练样本与参考图像样本之间的色\n彩差异性，由于参考图像样本为目标域的图像，故可以使得基于目标双目图像训练样本训\n练得到的双目立体匹配网络，可以较准确的得到目标域的图像的视差图，提升了双目立体\n匹配网络的域自适应能力，即提高了双目立体匹配网络的泛化能力。\n[0143] 针对S103：\n[0144] 这里，可以对双目立体匹配网络进行多次训练，直至训练的双目立体匹配网络满\n足设置的条件位置，则得到训练后的双目立体匹配网络。针对每次训练过程：可以基于本次\n训练时获取的双目图像训练样本以及参考图像样本，得到本次训练时的目标双目图像训练\n样本，将本次训练时的目标双目图像训练样本输入至双目立体匹配网络中，对双目立体匹\n配网络进行训练，得到本次训练后的双目立体匹配网络。\n[0145] 其中，每次对双目立体匹配网络进行训练时，获取的双目图像训练样本中可以包\n括一对或者多对双目图像，每对双目图像中包括左目图像以及右目图像；通过本次获取的\n参考图像样本对本次获取的双目图像训练样本进行色彩转换，得到本次训练时使用的目标\n双目图像训练样本。在具体实施时，每次训练时获取的参考图像样本可以为不同的参考图\n像样本，即每次训练时可以从真实场景数据集中随机获取一个图像作为本次训练时对应的\n参考图像样本。\n[0146] 一种可选实施方式中，利用所述目标双目图像训练样本对所述双目立体匹配网络\n进行训练，包括：\n[0147] 分别对目标左目图像训练样本以及目标右目图像训练样本进行特征提取，生成左\n目特征图以及右目特征图；\n[0148] 分别对左目特征图以及右目特征图进行归一化处理，生成归一化处理后的目标左\n目特征图以及目标右目特征图；\n[0149] 基于目标左目特征图以及目标右目特征图，计算目标双目图像训练样本中目标左\n目图像训练样本与目标右目图像训练样本之间的匹配代价；\n[0150] 基于目标左目图像训练样本与目标右目图像训练样本之间的匹配代价，生成目标\n双目图像训练样本对应的预测视差图；\n[0151] 基于预测视差图以及双目图像训练样本对应的标注视差图，调整双目立体匹配网\n络的参数。\n[0152] 示例性的，双目立体匹配网络结构可以包括：特征提取模块、归一化处理模块、匹\n配代价计算模块、编码器以及解码器。其中，特征提取模块包括左目特征提取模块以及右目\n特征提取模块，归一化处理模块包括左目归一化处理模块以及右目归一化处理模块。\n[0153] 示例性的，将色彩转换后的目标双目图像训练样本输入至双目立体匹配网络中，\n左目特征提取模块对目标左目图像训练样本进行特征提取，得到左目特征图，右目特征提\n取模块对目标右目图像训练样本进行特征提取，得到右目特征图。\n[0154] 左目归一化处理模块对左目特征图进行归一化处理，生成归一化处理后的目标左\n目特征图，以及右目归一化处理模块对右目特征图进行归一化处理，生成归一化处理后的\n目标右目特征图。其中，左目归一化处理模块以及右目归一化处理模块的归一化处理过程\n相同。\n[0155] 可以将归一化处理后得到的目标左目特征图以及目标右目特征图输入至匹配代\n价计算模块中，使得匹配代价计算模块计算目标双目图像训练样本中目标左目图像训练样\n本与目标右目图像训练样本之间的匹配代价。其中，双目立体匹配网络中的匹配代价计算\n模块计算匹配代价体时可以有两种计算模式：相关(correlation)及串接\n(concatenation)，本公开实施例中得到的归一化处理后的目标左目特征图和目标右目特\n征图，既适用于相关的匹配代价计算模式，也适用于串接的匹配代价计算模式。\n[0156] 进一步，匹配代价计算模块在将目标左目特征图以及目标右目特征图以相关或者\n串接的匹配代价计算模式进行计算，得到目标双目图像训练样本中目标左目图像训练样本\n与目标右目图像训练样本之间的匹配代价；将计算得到的目标双目图像训练样本对应的匹\n配代价分布结果输入至编码器中进行处理，并将处理后的编码结果输入至解码器中，生成\n目标双目图像训练样本对应的预测视差图；进而可以基于预测视差图以及双目图像训练样\n本对应的标注视差图，调整双目立体匹配网络的参数，完成对双目立体匹配网络的一次训\n练。\n[0157] 上述实施方式中，通过分别对左目特征图以及右目特征图进行归一化处理，得到\n目标左目特征图以及目标右目特征图，并可以基于目标左目特征图以及目标右目特征图，\n计算得到目标左目图像训练样本与目标右目图像训练样本之间的匹配代价，通过归一化处\n理后的目标左目特征图和目标右目特征图计算匹配代价时，可以使得不同域的不同图像之\n间的匹配代价分布结果相似，降低了不同数据域的不同图像之间匹配代价分布的差异性，\n即可以降低目标图像训练样本与真实场景图像之间匹配代价分布的差异性，提升了双目立\n体匹配网络的域自适应能力，即提高了双目立体匹配网络的泛化能力。\n[0158] 一种可选实施方式中，分别对左目特征图以及右目特征图进行归一化处理，生成\n归一化处理后的目标左目特征图以及目标右目特征图，包括：\n[0159] 基于通道特征信息对左目特征图以及右目特征图进行第一归一化处理，生成中间\n左目特征图以及中间右目特征图。\n[0160] 基于位置特征信息对中间左目特征图以及中间右目特征图进行第二归一化处理，\n生成目标左目特征图以及目标右目特征图。\n[0161] 这里，基于通道特征信息对左目特征图和右目特征图进行第一归一化处理，即对\n同一通道的特征图上的特征点的特征值进行第一归一化处理，以及基于位置特征信息对中\n间左目特征图以及中间右目特征图进行第二归一化处理，即对不同通道的特征图上同一位\n置的特征点对应的特征值进行第二归一化处理，使得左目特征图以及右目特征图中每一特\n征点对应的特征值位于一定的范围之内，进而可以使得不同数据集中不同的图像对应的归\n一化处理后的目标特征图的特征值的分布较为一致，提高了双目立体匹配网络的泛化能\n力。\n[0162] 一种可选实施方式中，基于通道特征信息对左目特征图以及右目特征图进行第一\n归一化处理，生成中间左目特征图以及中间右目特征图，可以包括：\n[0163] 针对左目特征图中的每个通道的特征图，基于该通道的特征图中每个特征点的特\n征值，确定该通道对应的特征调整值；并根据每个通道对应的特征调整值对该通道的特征\n图上的每个特征点的特征值进行调整，得到处理后的中间左目特征图；以及，针对右目特征\n图中的每个通道的特征图，基于该通道的特征图中每个特征点的特征值，确定该通道对应\n的特征调整值；并根据每个通道对应的特征调整值对该通道的特征图上的每个特征点的特\n征值进行调整，得到处理后的中间右目特征图。\n[0164] 本公开实施例中，特征提取模块输出的特征图的尺寸信息可以为N×C×H×W，其\n中，H可以为特征图的高度，W可以为特征图的宽度，C可以为特征图对应的通道数量，N可以\n为本次训练双目立体匹配网络时获取的双目图像训练样本中包含的双目图像的对数，N、C、\nH、W均为正整数，比如，若本次训练双目立体匹配网络时获取的双目图像训练样本中包括5\n对双目图像，则N为5，若本次训练双目立体匹配网络时获取的双目图像训练样本中包括1对\n双目图像，则N为1。\n[0165] 示例性的，基于通道特征信息对左目特征图以及右目特征图进行第一归一化处理\n的公式可以为：\n[0166]\n[0167] 其中，上述公式(1)在用于对左目特征图进行第一归一化处理时，Fn,c,h,w为左目特\n征图中每个特征点的特征值，ε为预设的归一化系数，F′n,c,h,w为生成的中间左目特征图上\n对应特征点的特征值。\n[0168] 在具体实施，若左目特征图中N＝2，C＝3，则可以确定左目特征图中包括6个通道\n的特征图，则针对每个通道的特征图，将该通道上每个特征点的特征值求平方和，将得到的\n平方和结果与归一化系数相加，再将得到的和值开根号，得到该通道对应的特征调整值，即\n可以根据公式(1)中的分母对应的计算公式，得到每个通道对应的特征调整值。\n[0169] 接着，将该通道上每个特征点的特征值与该特征调整值求商，得到该通道对应的\n第一归一化处理后的特征图，进而基于各个通道对应的第一归一化处理后的特征图构成了\n中间左目特征图。其中，右目特征图的第一归一化处理过程可参考左目特征图的过程，此处\n不再赘述。\n[0170] 这里，通过确定每个通道的特征调整值，基于每个通道对应的特征调整值调整该\n通道中每个特征点的特征值，过程简单，运算量低，提高了归一化处理的效率，进而可以提\n高双目立体匹配网络的处理效率。\n[0171] 一种可选实施方式中，基于位置特征信息对中间左目特征图以及中间右目特征图\n进行第二归一化处理，生成目标左目特征图以及目标右目特征图，可以包括：\n[0172] 基于中间左目特征图对应的各个通道的特征图中，对应同一位置的各个特征点的\n特征值，得到该位置对应的特征调整值；并根据每个位置对应的特征调整值对中间左目特\n征图对应的各个通道的特征图中，与该位置对应的特征点的特征值进行调整，得到处理后\n的目标左目特征图；\n[0173] 基于中间右目特征图对应的各个通道的特征图中，对应同一位置的各个特征点的\n特征值，得到该位置对应的特征调整值；并根据每个位置对应的特征调整值对中间右目特\n征图对应的各个通道的特征图中，与该位置对应的特征点的特征值进行调整，得到处理后\n的目标右目特征图。\n[0174] 示例性的，基于位置特征信息对左目特征图以及右目特征图进行第一归一化处理\n的公式可以为：\n[0175]\n[0176] 其中，上述公式(2)在用于对左目特征图进行第一归一化处理时，F′n,c,h,w为中间\n左目特征图中特征点的特征值，ε为预设的归一化系数，F″n,c,h,w为生成的目标左目特征图\n上对应特征点的特征值。\n[0177] 这里，若左目特征图中N＝2，C＝3，则表征该左目特征图中包括2个三通道的特征\n图，可以得到2个三通道的中间左目特征图；则针对每一个三通道的中间左目特征图，基于\n中间左目特征图对应的三个通道的特征图中，对应同一位置的各个特征点的特征值，得到\n该位置对应的特征调整值，即可以根据公式(2)中的分母对应的计算公式，得到每个位置对\n应的特征调整值。并根据每个位置对应的特征调整值对中间左目特征图对应的三个通道的\n特征图中，与该位置对应的特征点的特征值进行调整，得到处理后的目标左目特征图。\n[0178] 比如，针对每个三通道的中间左目特征图，该位置可以为h＝1、w＝1的位置(其中，\nh、w可以为该位置对应的横、纵坐标，该横坐标与纵坐标可以为中间左目特征图在图像坐标\n系中的坐标)，则可以将三个通道上h＝1、w＝1的位置处的特征值求平方和，并将得到的平\n方和结果与归一化系数相加，再将得到的和值开根号，得到该h＝1、w＝1的位置对应的特征\n调整值，并将三通道上每个通道上的h＝1、w＝1的位置处的特征值与该位置上的特征调整\n值求商，得到目标左目特征图上与该位置对应的特征点的特征值；进而可以得到处理后的\n目标左目特征图。其中，中间右目特征图的第二归一化处理过程可参考中间左目特征图的\n过程，此处不再赘述。\n[0179] 上述实施方式中，通过确定每个位置的特征调整值，基于每个位置对应的特征调\n整值调整该位置对应的特征点的特征值，归一化处理过程简单，运算量低，提高了归一化处\n理的效率，进而可以提高双目立体匹配网络的处理效率。\n[0180] 参见图2所示，为本公开实施例所提供的一种图像处理方法的流程示意图，包括\nS201‑S203，其中：\n[0181] S201，获取待检测双目图像；\n[0182] S202，基于双目立体匹配网络对待检测双目图像进行目标检测，得到待检测双目\n图像对应的第一目标视差图，其中，双目立体匹配网络为基于上述实施方式所述的双目立\n体匹配网络训练方法训练得到；\n[0183] S203，基于所述第一目标视差图对所述待检测双目图像进行处理，得到处理结果。\n[0184] 这里，基于第一目标视差图可进行的处理操作包括但不限于目标检测、深度确定、\n三维场景建模、同步定位与建图等。比如，可以对第一目标视差图进行建模处理，得到处理\n结果；比如将第一目标视差图输入至建模软件中进行场景建模，确定待检测双目图像对应\n的场景模型。\n[0185] 参见图3所示，为本公开实施例所提供的一种行驶控制方法的流程示意图，包括\nS301‑S304，其中：\n[0186] S301，获取行驶装置在行驶过程中采集的双目道路图像；\n[0187] S302，利用双目立体匹配网络对双目道路图像进行目标检测，确定双目道路图像\n对应的第二目标视差图；双目立体匹配网络采用上述实施方式所述的双目立体匹配网络训\n练方法训练得到；\n[0188] S303，基于第二目标视差图，确定双目道路图像中包括的目标对象的三维位姿信\n息；\n[0189] S304，基于确定的目标对象的三维位姿信息，控制行驶装置。\n[0190] 示例性的，行驶装置可以为自动驾驶车辆、装有高级驾驶辅助系统(Advanced \nDriving Assistance System，ADAS)的车辆、或者机器人等。双目道路图像可以为行驶装置\n在行驶过程中实时采集到的双目图像。目标对象可以为道路中可以能出现的任一标识、和/\n或任一物体和/或、任一对象。比如，目标对象可以为斑马线、右拐等路面标识，也可以为禁\n止停车等的标识牌，还可以为出现在道路上的动物、行人等，也可以为道路上的其他车辆\n等。\n[0191] 其中，在控制行驶装置时，可以控制行驶装置加速、减速、转向、制动等，或者可以\n播放语音提示信息，以提示驾驶员控制行驶装置加速、减速、转向、制动等。这里，三维位姿\n信息中包括但不限于目标对象的中心点在三维坐标系中的三维坐标信息、朝向信息、目标\n对象的长度、宽度、高度等。\n[0192] 本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并\n不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功\n能和可能的内在逻辑确定。\n[0193] 基于相同的构思，本公开实施例还提供了一种双目立体匹配网络训练装置，参见\n图4所示，为本公开实施例提供的一种双目立体匹配网络训练装置的架构示意图，包括样本\n获取模块401、色彩转换模块402、以及训练模块403，具体的：\n[0194] 样本获取模块401，用于获取双目图像训练样本以及参考图像样本；其中，所述双\n目图像训练样本包括左目图像训练样本和右目图像训练样本；\n[0195] 色彩转换模块402，用于基于所述参考图像样本，对所述双目图像训练样本进行色\n彩转换，得到转换后的目标双目图像训练样本，其中，所述目标双目图像训练样本的色彩与\n所述参考图像样本的色彩相匹配；\n[0196] 训练模块403，用于利用所述目标双目图像训练样本对双目立体匹配网络进行训\n练，得到训练后的双目立体匹配网络。\n[0197] 一种可能的实施方式中，所述色彩转换模块402，在基于所述参考图像样本，对所\n述双目图像训练样本进行色彩转换，得到转换后的目标双目图像训练样本的情况下，用于：\n[0198] 将所述参考图像样本和所述双目图像训练样本从RGB图像转换为LAB图像，得到中\n间参考图像样本以及中间双目图像训练样本；\n[0199] 基于所述中间参考图像样本以及所述中间双目图像训练样本，生成转换后的目标\n双目图像训练样本。\n[0200] 一种可能的实施方式中，所述色彩转换模块402，在基于所述中间参考图像样本以\n及所述中间双目图像训练样本，生成转换后的目标双目图像训练样本的情况下，用于：\n[0201] 确定所述中间参考图像样本对应的第一像素值均值和第一像素值方差，所述中间\n双目图像训练样本中的中间左目图像训练样本对应的第二像素值均值和第二像素值方差，\n以及中间右目图像训练样本对应的第二像素值均值和第二像素值方差；\n[0202] 基于所述第一像素值均值及所述第一像素值方差、所述中间左目图像训练样本对\n应的第二像素值均值及第二像素值方差、以及所述中间参考图像样本，生成目标左目图像\n训练样本；\n[0203] 基于所述第一像素值均值及所述第一像素值方差、所述中间右目图像训练样本对\n应的第二像素值均值及第二像素值方差、以及所述中间参考图像样本，生成目标右目图像\n训练样本；\n[0204] 其中，所述目标左目图像训练样本和所述目标右目图像训练样本构成了所述目标\n双目图像训练样本。\n[0205] 一种可能的实施方式中，所述色彩转换模块402，用于采用以下步骤生成目标单目\n图像训练样本，所述目标单目图像训练样本为所述目标左目图像训练样本或者所述目标右\n目图像训练样本：\n[0206] 基于所述第一像素值均值，对所述中间参考图像样本中各个像素点的像素值进行\n调整，生成第一转换图像；\n[0207] 基于所述第一像素值方差以及所述中间单目图像训练样本对应的第二像素值方\n差，确定转换系数，并基于所述转换系数，对所述第一转换图像中各个像素点的像素值进行\n调整，生成第二转换图像；\n[0208] 基于所述中间单目图像训练样本对应的第二像素值均值，对所述第二转换图像中\n各个像素点的像素值进行调整，生成第三转换图像；\n[0209] 将所述第三转换图像转换为RGB图像，得到所述目标单目图像训练样本；其中，当\n所述目标单目图像训练样本为所述目标左目图像训练样本时，所述中间单目图像训练样本\n为所述中间左目图像训练样本；当所述目标单目图像训练样本为所述目标右目图像训练样\n本时，所述中间单目图像训练样本为所述中间右目图像训练样本。\n[0210] 一种可能的实施方式中，所述训练模块403，在利用所述目标双目图像训练样本对\n所述双目立体匹配网络进行训练的情况下，用于：\n[0211] 分别对目标左目图像训练样本以及目标右目图像训练样本进行特征提取，生成左\n目特征图以及右目特征图；\n[0212] 分别对所述左目特征图以及所述右目特征图进行归一化处理，生成归一化处理后\n的目标左目特征图以及目标右目特征图；\n[0213] 基于所述目标左目特征图以及目标右目特征图，计算所述目标双目图像训练样本\n中所述目标左目图像训练样本与所述目标右目图像训练样本之间的匹配代价；\n[0214] 基于所述目标左目图像训练样本与所述目标右目图像训练样本之间的匹配代价，\n生成所述目标双目图像训练样本对应的预测视差图；\n[0215] 基于所述预测视差图以及所述双目图像训练样本对应的标注视差图，调整所述双\n目立体匹配网络的参数。\n[0216] 一种可能的实施方式中，所述训练模块403，在分别对所述左目特征图以及所述右\n目特征图进行归一化处理，生成归一化处理后的目标左目特征图以及目标右目特征图的情\n况下，用于：\n[0217] 基于通道特征信息对所述左目特征图以及所述右目特征图进行第一归一化处理，\n生成中间左目特征图以及中间右目特征图；\n[0218] 基于位置特征信息对所述中间左目特征图以及所述中间右目特征图进行第二归\n一化处理，生成所述目标左目特征图以及所述目标右目特征图。\n[0219] 一种可能的实施方式中，所述训练模块403，在基于通道特征信息对所述左目特征\n图以及右目特征图进行第一归一化处理，生成中间左目特征图以及中间右目特征图的情况\n下，用于：\n[0220] 针对所述左目特征图中的每个通道的特征图，基于该通道的特征图中每个特征点\n的特征值，确定该通道对应的特征调整值；并根据每个通道对应的特征调整值对该通道的\n特征图上的每个特征点的特征值进行调整，得到处理后的中间左目特征图；以及，\n[0221] 针对所述右目特征图中的每个通道的特征图，基于该通道的特征图中每个特征点\n的特征值，确定该通道对应的特征调整值；并根据每个通道对应的特征调整值对该通道的\n特征图上的每个特征点的特征值进行调整，得到处理后的中间右目特征图。\n[0222] 一种可能的实施方式中，所述训练模块403，在基于位置特征信息对所述中间左目\n特征图以及所述中间右目特征图进行第二归一化处理，生成所述目标左目特征图以及所述\n目标右目特征图的情况下，用于：\n[0223] 基于所述中间左目特征图对应的各个通道的特征图中，对应同一位置的各个特征\n点的特征值，得到该位置对应的特征调整值；并根据每个位置对应的特征调整值对所述中\n间左目特征图对应的各个通道的特征图中，与该位置对应的特征点的特征值进行调整，得\n到处理后的目标左目特征图；\n[0224] 基于所述中间右目特征图对应的各个通道的特征图中，对应同一位置的各个特征\n点的特征值，得到该位置对应的特征调整值；并根据每个位置对应的特征调整值对所述中\n间右目特征图对应的各个通道的特征图中，与该位置对应的特征点的特征值进行调整，得\n到处理后的目标右目特征图。\n[0225] 基于相同的构思，本公开实施例还提供了一种图像处理装置，参见图5所示，为本\n公开实施例提供的一种图像处理装置的架构示意图，包括图像获取模块501、第一目标检测\n模块502、以及处理模块503，具体的：\n[0226] 图像获取模块501，用于获取待检测双目图像；\n[0227] 第一目标检测模块502，用于基于双目立体匹配网络对所述待检测双目图像进行\n目标检测，得到所述待检测双目图像对应的第一目标视差图，其中，所述双目立体匹配网络\n为基于第一方面或第一方面任一实施方式所述的双目立体匹配网络训练方法训练得到；\n[0228] 处理模块503，用于基于所述第一目标视差图对所述待检测双目图像进行处理，得\n到处理结果。\n[0229] 基于相同的构思，本公开实施例还提供了一种行驶控制装置，参见图6所示，为本\n公开实施例提供的一种行驶控制装置的架构示意图，包括道路图像获取模块601、第二目标\n检测模块602、三维位姿信息确定模块603、以及控制模块604，具体的：\n[0230] 道路图像获取模块601，用于获取行驶装置在行驶过程中采集的双目道路图像；\n[0231] 第二目标检测模块602，用于利用双目立体匹配网络对所述双目道路图像进行目\n标检测，确定所述双目道路图像对应的第二目标视差图；所述双目立体匹配网络采用第一\n方面或第一方面任一实施方式所述的双目立体匹配网络训练方法训练得到；\n[0232] 三维位姿信息确定模块603，用于基于所述第二目标视差图，确定所述双目道路图\n像中包括的目标对象的三维位姿信息；\n[0233] 控制模块604，用于基于确定的所述目标对象的三维位姿信息，控制所述行驶装\n置。\n[0234] 在一些实施例中，本公开实施例提供的装置具有的功能或包含的模板可以用于执\n行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这\n里不再赘述。\n[0235] 基于同一技术构思，本公开实施例还提供了一种电子设备。参照图7所示，为本公\n开实施例提供的电子设备的结构示意图，包括处理器701、存储器702、和总线703。其中，存\n储器702用于存储执行指令，包括内存7021和外部存储器7022；这里的内存7021也称内存储\n器，用于暂时存放处理器701中的运算数据，以及与硬盘等外部存储器7022交换的数据，处\n理器701通过内存7021与外部存储器7022进行数据交换，当电子设备700运行时，处理器701\n与存储器702之间通过总线703通信，使得处理器701在执行以下指令：\n[0236] 获取双目图像训练样本以及参考图像样本；其中，所述双目图像训练样本包括左\n目图像训练样本和右目图像训练样本；\n[0237] 基于所述参考图像样本，对所述双目图像训练样本进行色彩转换，得到转换后的\n目标双目图像训练样本，其中，所述目标双目图像训练样本的色彩与所述参考图像样本的\n色彩相匹配；\n[0238] 利用所述目标双目图像训练样本对双目立体匹配网络进行训练，得到训练后的双\n目立体匹配网络。\n[0239] 基于同一技术构思，本公开实施例还提供了另一种电子设备。参照图8所示，为本\n公开实施例提供的电子设备的结构示意图，包括处理器801、存储器802、和总线803。其中，\n存储器802用于存储执行指令，包括内存8021和外部存储器8022；这里的内存8021也称内存\n储器，用于暂时存放处理器801中的运算数据，以及与硬盘等外部存储器8022交换的数据，\n处理器801通过内存8021与外部存储器8022进行数据交换，当电子设备800运行时，处理器\n801与存储器802之间通过总线803通信，使得处理器801在执行以下指令：\n[0240] 获取待检测双目图像；\n[0241] 基于双目立体匹配网络对所述待检测双目图像进行目标检测，得到所述待检测双\n目图像对应的第一目标视差图，其中，所述双目立体匹配网络为基于上述实施例所述的双\n目立体匹配网络训练方法训练得到；\n[0242] 基于所述第一目标视差图对所述待检测双目图像进行处理，得到处理结果。\n[0243] 基于同一技术构思，本公开实施例还提供了另一种电子设备。参照图9所示，为本\n公开实施例提供的电子设备的结构示意图，包括处理器901、存储器902、和总线903。其中，\n存储器902用于存储执行指令，包括内存9021和外部存储器9022；这里的内存9021也称内存\n储器，用于暂时存放处理器901中的运算数据，以及与硬盘等外部存储器9022交换的数据，\n处理器901通过内存9021与外部存储器9022进行数据交换，当电子设备900运行时，处理器\n901与存储器902之间通过总线903通信，使得处理器901在执行以下指令：\n[0244] 获取行驶装置在行驶过程中采集的双目道路图像；\n[0245] 利用双目立体匹配网络对所述双目道路图像进行目标检测，确定所述双目道路图\n像对应的第二目标视差图；所述双目立体匹配网络采用上述实施例所述的双目立体匹配网\n络训练方法训练得到；\n[0246] 基于所述第二目标视差图，确定所述双目道路图像中包括的目标对象的三维位姿\n信息；\n[0247] 基于确定的所述目标对象的三维位姿信息，控制所述行驶装置。\n[0248] 此外，本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上\n存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的双目立体\n匹配网络训练方法的步骤。\n[0249] 本公开实施例所提供的双目立体匹配网络训练方法的计算机程序产品，包括存储\n了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行上述方法实施例\n中所述的双目立体匹配网络训练方法的步骤，具体可参见上述方法实施例，在此不再赘述。\n[0250] 此外，本公开实施例还提供另一种计算机可读存储介质，该计算机可读存储介质\n上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的行驶控\n制方法的步骤。\n[0251] 本公开实施例所提供的行驶控制方法的计算机程序产品，包括存储了程序代码的\n计算机可读存储介质，所述程序代码包括的指令可用于执行上述方法实施例中所述的行驶\n控制方法的步骤，具体可参见上述方法实施例，在此不再赘述。\n[0252] 此外，本公开实施例还提供另一种计算机可读存储介质，该计算机可读存储介质\n上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的图像处\n理方法的步骤。\n[0253] 本公开实施例所提供的图像处理方法的计算机程序产品，包括存储了程序代码的\n计算机可读存储介质，所述程序代码包括的指令可用于执行上述方法实施例中所述的图像\n处理方法的步骤，具体可参见上述方法实施例，在此不再赘述。\n[0254] 所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统\n和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开\n所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实\n现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功\n能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集\n成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦\n合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，\n可以是电性，机械或其它的形式。\n[0255] 所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显\n示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个\n网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目\n的。\n[0256] 另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以\n是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。\n[0257] 所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以\n存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开\n的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件\n产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得\n一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所\n述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read‑Only \nMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存\n储程序代码的介质。\n[0258] 以上仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉\n本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到变化或替换，都应涵盖在\n本公开的保护范围之内。因此，本公开的保护范围应以权利要求的保护范围为准。