一种基于深度强化学习的机器人自适应抓取方法

1.一种基于深度强化学习的机器人自适应抓取方法，其特征在于，包括如下步骤：
步骤1，在距离待抓取目标一定距离时，机器人通过前部的摄像头获取目标的照片，再根据照片利用双目测距方法计算出目标的位置信息，并将计算出的位置信息用于机器人导航；
步骤2，机器人根据导航进行移动，当目标进入机械手臂抓范围内时，再通过前部的摄像头拍摄目标的照片，并利用预先训练过的基于DDPG的深度强化学习网络对照片进行数据降维特征提取；
步骤3，根据特征提取结果得出机器人的控制策略，机器人利用控制策略来控制运动路径和机械手臂的位姿，从而实现目标的自适应抓取。
2.根据权利要求1所述的基于深度强化学习的机器人自适应抓取方法，其特征在于，步骤1中根据照片利用双目测距方法计算出目标的位置信息的具体步骤为：
步骤1.1，获取摄像头的焦距f、左右两个摄像头的中心距Tx以及目标点在左右两个摄像头的像平面的投影点到各自像平面最左侧的物理距离xl和xr，左右两个摄像头对应的左侧的像平面和右侧的像平面均为矩形平面，且位于同一成像平面上，左右两个摄像头的光心投影分别位于相应像平面的中心处，则视差d为：
d＝xl-xr   (1)
步骤1.2，利用三角形相似原理建立Q矩阵为：


式(2)和(3)中，(X,Y,Z)为目标点在以左摄像头光心为原点的立体坐标系中的坐标，W为旋转平移变换比例系数，(x,y)为目标点在左侧的像平面中的坐标，cx和cy分别为左侧的像平面和右侧的像平面的坐标系与立体坐标系中原点的偏移量，cx'为cx的修正值；
步骤1.3，计算得到目标点到成像平面的空间距离为：

将左摄像头的光心所在位置作为机器人所在位置，将目标点的坐标位置信息(X,Y,Z)作为导航目的地进行机器人导航。
3.根据权利要求1或2所述的基于深度强化学习的机器人自适应抓取方法，其特征在于，步骤2中利用预先训练过的基于DDPG的深度强化学习网络对照片进行数据降维特征提取的具体步骤为：
步骤2.1，利用目标抓取过程符合强化学习且满足马尔科夫性质的条件，计算t时刻之前的观察量和动作的集合为：
st＝(x1,a1,...,at-1,xt)＝xt   (5)
式(5)中，xt和at分别为t时刻的观察量以及所采取的动作；
步骤2.2，利用策略值函数来描述抓取过程的预期收益为：
Qπ(st,at)＝E[Rt|st,at]    (6)
式(6)中， 为时刻t获得的打过折扣以后的未来收益总和，γ∈
[0,1]为折扣因子，r(st,at)为时刻t的收益函数，T为抓取结束的时刻，π为抓取策略；
由于抓取的目标策略π是预设确定的，记为函数μ:S←A，S为状态空间，A为N维度的动作空间，同时利用贝尔曼方程处理式(6)有：

式(7)中，st+1～E表示t+1时刻的观察量是从环境E中获得的，μ(st+1)表示t+1时刻从观察量通过函数μ所映射到的动作；
步骤2.3，利用最大似然估计的原则，通过最小化损失函数来更新网络权重参数为θQ的策略评估网络Q(s,a|θQ)，所采用的损失函数为：
L(θQ)＝Eμ'[(Q(st,at|θQ)-yt)2]    (8)
式(8)中，yt＝r(st,at)+γQ(st+1,μ(st+1)|θQ)为目标策略评估网络，μ'为目标策略；
步骤2.4，对于实际的参数为θμ的策略函数μ(s|θμ)，利用链式法得到的梯度为：

由式(9)计算得到的梯度即为策略梯度，再利用策略梯度来更新策略函数μ(s|θμ)；
步骤2.5，利用离策略算法来训练网络，网络训练中用到的样本数据从同一个样本缓冲区中得到，以最小化样本之间的关联性，同时用一个目标Q值网络来训练神经网络，即采用经验回放机制和目标Q值网络方法对于目标网络的更新，所采用的缓慢更新策略为：
Q' Q Q'
θ ←τθ+(1-τ)θ     (10)
θμ'←τθμ+(1-τ)θμ'     (11)
式(10)和(11)中，τ为更新率，τ＜＜1，由此便构建了一个基于DDPG的深度强化学习网络，且为收敛的神经网络；
步骤2.6，利用构建好的深度强化学习网络对照片进行数据降维特征提取，获得机器人的控制策略。
4.根据权利要求3所述的基于深度强化学习的机器人自适应抓取方法，其特征在于，步骤2.6中的深度强化学习网络由一个图像输入层、两个卷积层、两个全连接层以及一个输出层构成，图像输入层用于输入包含待抓取物体的图像；卷积层用于提取特征，即一个图像的深层表现形式；全连接层和输出层用于构成一个深层网络，通过训练以后，输入特征信息到该深层网络即可输出控制指令，即控制机器人的机械手臂舵机角度和控制搭载小车的直流电机转速。

暂无