基于双光源离轴照明的高倍率三维成像显微镜及成像方法

暂无

基于双光源离轴照明的高倍率三维成像显微镜及成像方法\n【技术领域】：\n[0001] 本发明属于光学仪器技术领域，涉及实时采集高倍三维显微图像的成像原理、图像处理和三维坐标计算方法。\n【背景技术】：\n[0002] 在光学仪器领域中，实时采集和显示高倍立体显微图像一直是人类探索微观世界的难题之一。为了实现对微小物体的高精度、高效率、高可靠性操作，人们发明了微操作机器人。在微操作机器人系统中，反馈三维位置信息的唯一途径是通过显微视觉获得带有三维位置信息的显微图像，经过图像处理、模式识别、计算，得到目标的三维坐标，由此，对光学系统即显微镜提出了实时反馈微小目标三维坐标的要求。因此，研制高倍立体显微镜的难点表现在以下5个方面：①高倍显微物镜的工作距离太短，没有用两个显微物镜采集图像的空间；②传统光学显微镜中必须用大数值孔径的显微物镜才能获得高分辨率，而数值孔径越大，景深越小，因此，景深范围受分辨率的制约，搜索目标困难；③很多生物医学实验面向微小细胞操作，体视显微镜的放大倍率和分辨率都不能满足要求；④现有从平面显微图像提取纵向位置信息的方法计算量大，用于位置反馈时存在滞后，影响控制系统的性能；\n⑤共聚焦显微镜采集和重构三维图像无法满足实时性要求。\n[0003] 现有获取立体显微图像的仪器或方法有体视显微镜、半孔径立体显微镜、共聚焦显微镜；从平面显微图像中获取三维位置信息的方法主要有快速傅立叶变换法、图像辨识法。用以上仪器或方法可以获取立体图像或微小物体的三维位置信息，但是都无法获取高倍率高分辨率三维视频显微图像，例如：\n[0004] “新型体视显微镜”【申请号：CN90202741.7】，该显微镜从显微物镜开始分成两路光，为了满足安装空间要求，显微物镜必须有很长的工作距离，所以，体视显微镜中只能使用低倍显微物镜。\n[0005] “半孔径立体显微镜”【程永男，丁秀兰，曹雅琴，半孔径立体显微镜，细胞生物学杂志，13，2：95】，将显微物镜的孔径光阑分成两个半孔径，通过左半孔径的光束只进入观察者的右眼，通过右半孔径的光束只进入观察者的左眼。当倍率很高时，由于所用的数值孔径很大，景深很短，不容易得到很好的立体效果。对于观察者的每只眼睛来讲，显微物镜在左右方向上的数值孔径减小到原来的一半，分辨本领也降低到原来的一半。\n[0006] “一种微型三维自扫描共焦显微镜”【申请号：CN200510018429.4】，通过针孔光阑照明，再通过共轭的另一个针孔光阑成像，逐点采集图像，可以重构超高分辨率的立体显微图像。受扫描周期的限制，目前还无法得到视频图像。\n[0007] “通过显微图像特征抽取获得微操作目标纵向信息”【张建勋，薛大庆，卢桂章，李彬，通过显微图像特征抽取获得微操作目标纵向信息，机器人，2001，23(1)：73-77】，用快速傅立叶变换处理图像，计算量很大。\n[0008] “基于显微图像处理的微操作工具深度信息提取方法及装置”【申请号：\nCN200510011629.7】，通过建立点扩散函数与离焦量的关系获取深度信息，计算一个深度值的时间大约0.2秒。\n【发明内容】：\n[0009] 本发明的主要目的是在采集高倍立体显微图像时，解决高倍显微物镜工作距离短，没有足够空间安装两个显微物镜的问题，提供一种能采集并实时显示高倍视频立体图像的高倍率立体显微镜，并给出计算物体三维位置信息的方法，为人类观测动态的三维微观世界提供实用的窗口，也为微操作机器人系统实现高精度的三维机器视觉提供实用的装置和方法。\n[0010] 本发明采用双光源照明、单路成像的光学系统，取代体视显微镜中单光源照明、双光路成像的光学系统。\n[0011] 本发明提供的基于双光源离轴照明的高倍率三维成像显微镜包括：\n[0012] 左右两组光源：两组光源的光轴分居显微物镜光轴两侧，左右两组光源的光轴与显微物镜光轴之间的夹角均小于显微物镜的物方孔径角，且三个光轴共面；光源对物体透射照明；\n[0013] 显微物镜：左右两组光源产生的照明光束照亮显微物镜的整个视场，并成像在显微物镜的入瞳面上的两点；\n[0014] 双孔可变光阑：设置于显微物镜后面，并使成像在显微物镜入瞳面上的两点与双孔可变光阑中心重合；\n[0015] CCD：安装在显微镜的标准CCD接口上，用于接收显微物镜所成的像并输送到计算机的图像采集卡。\n[0016] 所述的左右两组光源结构相同，每组光源依次包括一个灯泡或LED光源、两组聚光镜以及两组聚光镜之间的一个针孔光阑；针孔光阑设置在显微物镜的出瞳平面上，孔径光阑中心在照明光束光轴与显微物镜出瞳平面的交点上，如图1所示。\n[0017] 所述的左右两组光源还可以采用相同结构的单色LED照明，即每组光源依次包括一个LED光源、一个针孔光阑和一组聚光镜。\n[0018] 用本发明提供的三维成像显微镜获得物体三维位置信息的成像方法的步骤如下：\n[0019] 第1、标定显微镜离焦量与双像间距的关系\n[0020] 第1.1、用十字分划板作为目标，沿纵向即显微物镜光轴方向移动分划板，采集图像，得到包括聚焦、上下离焦的一组图像对，记录每对图像中十字线在CCD上的中心间隔d和分划板的纵向坐标z，以左右十字线中心重合d＝0即聚焦时的分划板位置为纵向坐标的零点，确定纵向坐标随十字线在CCD上的中心间隔变化的关系：\n[0021] z＝f(d)\n[0022] 其中d包括十字线中心间隔的大小和方向；\n[0023] 依据从左到右的先后顺序规定，若左光源的图像中的十字线先出现，则d＞0，即所观察到的十字线为经过显微物镜成像在CCD上方的前离焦情况，则左光源照明得到的左投影图像向左平移，右光源照明得到的右投影图像向右平移，即左投影图像在左，右投影图像在右，此时定义纵向坐标z为正；\n[0024] 若右光源的图像中的十字线先出现，则d＜0，即所观察到的十字线为经过显微物镜成像在CCD下方的后离焦情况，则左光源照明得到的左投影图像向右平移，右光源照明得到的右投影图像向左平移，即左投影图像在右，右投影图像在左，此时对应纵向坐标z为负；\n[0025] 第1.2、或者依据上步记录的每对图像中十字线在CCD上的中心间隔d和分划板的纵向坐标z，拟合离焦量即纵向坐标z随十字线在CCD上的中心间隔d变化的曲线；\n[0026] 第1.3、按常规方法标定成像的横向放大倍率β和畸变Q；\n[0027] 第2、采集图像\n[0028] 左右两组光源分别采用两种不同颜色的光同时照明，由CCD采集图像，该图像可以按颜色分离成带视差的左右图像对；\n[0029] 第3、图像处理\n[0030] 将第2步得到的重叠在一起的两种颜色的图像分离成左右图像对；两幅单色图像分别校正畸变后构成左右图像对；\n[0031] 将两种颜色的图像分别转化为灰度图像，经过去除噪声处理后，根据图像特点计算灰度阈值，再将图像转化为二值图像；\n[0032] 第4、目标识别\n[0033] 对图像中特征不同的目标，按照每个目标各自的特征自动识别目标，并确定各目标图像的边缘；\n[0034] 第5、计算二维坐标\n[0035] 根据第4步各目标图像的边缘计算各目标上特征点在左右图像中的二维坐标，[0036] 记左图中目标像在CCD上的二维坐标为\n[0037] PL(xL，yL)\n[0038] 右图中目标像在CCD上的二维坐标为\n[0039] PR(xR，yR)\n[0040] 同一目标按第1.1步中正负号的规定，记入变量S，即按从左到右的先后顺序排列，则\n[0041] \n[0042] 第6、换算成三维坐标\n[0043] 用左右图像中目标像二维坐标的平均值除以β计算目标在物空间的xy坐标，即[0044] \n[0045] \n[0046] 用左右图像中目标像的平面距离计算目标在物空间的z坐标，即\n[0047] \n[0048] 用本发明所述的结构可以改变显微镜搜索目标的性能，该光学系统设置双孔可变光阑如下：\n[0049] 第一、通过缩小光阑口径，加大的景深，便于发现目标；\n[0050] 第二、缩小光阑口径后，会降低显微物镜的分辨本领，找到目标并调焦后开大光阑，恢复显微物镜原有的分辨本领，所以该光阑的口径必须是可调节的，即可变光阑；\n[0051] 第三、为了确保调节光阑口径时，像面照度均匀而且基本不变，将可变光阑设置在显微物镜的出瞳面上，零级衍射光斑应全部通过可变光阑；\n[0052] 第四、两束离轴照明光在显微物镜出瞳上的像是左右分离的两个光斑，所以可变光阑有两个孔，并可以同步调节双孔的口径。\n[0053] 本发明可以用三种方法采集图像并将左右图像分离，具体方法及结构如下：\n[0054] 其一、双色法：左右光源中分别采用不同颜色的LED照明，在CCD上得到两种颜色重叠在一起的左右图像，按颜色分量将左右图像分离，用普通CCD得到无闪烁的视频立体图像，观察时转化为灰度图像；\n[0055] 其二、偏振法：在左右光源上分别加偏振片，并且左右光源的偏振方向相互垂直，在双孔可变光阑和CCD之间用偏振分光镜将左右图像分离，另加一路普通CCD，两路CCD同时采集图像，得到无闪烁的彩色立体视频图像，如图4所示；\n[0056] 其三、LED切换照明法：采用白光LED分时照明，例如奇数帧图像用左光源照明，偶数帧图像用右光源照明，得到的奇数帧图像组成左路动态画面，偶数帧图像组成右路动态画面。\n[0057] 本发明的优点和积极效果：\n[0058] 本发明通过改造普通光学显微镜的光源，就可以得到高倍立体显微图像，为人类实时观察动态的微观世界提供实用的装置；对于微操作机器人等需要利用显微图像反馈微小物体三维位置信息的系统，给出了三维坐标计算方法，与现有的方法相比，计算过程更简单，结果更可靠；用双孔可变光阑可以在更大的纵向范围内搜索目标，调焦后恢复显微物镜原有的分辨本领；光源将照明光束会聚到双孔可变光阑上，调节光阑孔径时，CCD上的照度基本不变，使用显微镜时不需要反复调节光源亮度，有利于延长光源寿命。\n[0059] 用本发明测量物体三维坐标的最高精度优于0.5μm。\n【附图说明】：\n[0060] 图1是本发明高倍率立体显微镜的光学结构原理示意图。\n[0061] 图中，1、5是白炽灯泡或白光LED光源，2、4、6、8是聚光镜，3、7是针孔光阑或单狭缝光阑，9是物，10是显微物镜，11是双孔可变光阑，12是CCD。其中1、2、3、4组成左光源，\n5、6、7、8组成右光源。\n[0062] 图2是简化的光学结构原理示意图。\n[0063] 图中，13、16分别是红蓝LED，14、17是针孔光阑或单狭缝光阑，15、18是聚光镜，19是物，20是显微物镜，21是双孔可变光阑，22是CCD。其中13、14、15组成左光源，16、17、18组成右光源。\n[0064] 图3是本发明装置中物体在不同离焦状态时的成像原理图，图3(a)为成像不离焦，图3(b)向上离焦，图3(c)向下离焦。\n[0065] 图中，23是左光源，24是右光源，25是CCD共轭的物面，26是显微物镜，27是双孔可变光阑，28是CCD，29是位于物面25上的物，30是位于CCD(28)上物(29)的像，31是上离焦的物，32是物(31)的像，33是左光源(23)将像(32)投影在CCD(28)上的光斑，34是右光源(24)将像(32)投影在CCD(28)上的光斑，35是下离焦的物，36是物(35)的像，37是左光源(23)将像(36)投影在CCD(28)上的光斑，38是右光源(24)将像(36)投影在CCD(28)上的光斑。\n[0066] 图4是本发明的另一种光学结构示意图。\n[0067] 图中，39、44是白炽灯或白光LED，40、42、45、47是聚光镜，41、46是针孔光阑，43、\n48是偏振片，49是物，50是显微物镜，51是双孔可变光阑，52是偏振分光镜，53、54是CCD。\n其中两片偏振片的偏振方向相互垂直，偏振分光镜将左右图像分离。\n【具体实施方式】：\n[0068] 实施例1：高倍率三维成像显微镜(双透镜光源)\n[0069] 如图1所示，本发明提供的基于双光源离轴照明的高倍率三维成像显微镜包括：\n[0070] 左右两组结构相同的光源，左光源依次包括一个灯泡或LED光源1，两组聚光镜2和4，以及两组聚光镜之间的一个针孔光阑3；右光源依次包括一个灯泡或LED光源5，两组聚光镜6和8，以及两组聚光镜之间的一个针孔光阑7；针孔光阑设置在显微物镜的出瞳平面上，孔径光阑中心在照明光束光轴与显微物镜出瞳平面的交点上。\n[0071] 左右两组光源的光轴分居显微物镜光轴两侧，左右两组光源的光轴与显微物镜光轴之间的夹角均略小于显微物镜的物方孔径角，且三个光轴共面；光源对物体透射照明；\n[0072] 显微物镜10：左右两组光源产生的照明光束照亮显微物镜的整个视场，并成像在显微物镜的入瞳面上的两点；\n[0073] 双孔可变光阑11：设置于显微物镜后面，并使成像在显微物镜入瞳面上的两点与双孔可变光阑中心重合；\n[0074] CCD12：安装在显微镜的标准CCD接口上，用于接收显微物镜所成的像并输送到计算机的图像采集卡。\n[0075] 实施例2：高倍率三维成像显微镜(单透镜光源)\n[0076] 如图2所示，本发明所述的左右两组光源还可以采用相同结构的单色LED照明，即左光源依次包括一个单色LED光源13，一个针孔光阑14，一组聚光镜15；右光源依次包括一个单色LED光源16，一个针孔光阑17和一组聚光镜18，其余结构同实施例1。\n[0077] 实施例3：用三维成像显微镜获得物体三维位置信息的成像方法\n[0078] 用本发明图1或图2所示装置测量物体的三维坐标(具体步骤如发明内容部分所述)，左光源用红色LED照明，右光源用蓝色LED照明，显微物镜的横向放大倍率为40倍，物像共轭距为195mm，NA＝0.65，CCD有效成像面积3.3mm×4.4mm，1024×768像素。\n[0079] 1、用十字分划板标定显微镜\n[0080] 纵向调节分划板，使红蓝十字像重合，确定z轴零点，x、y轴零点取在CCD中心对应的轴上，纵向平移分划板，平移范围±10μm，步长2μm，红蓝十字像间距列于表1。\n[0081] 表1标定结果\n[0082] \n 序号 离焦量(μm) 红蓝十字像之间的距离(mm)\n 1 10 0.5037\n 2 8 0.4031\n 3 6 0.3025\n 4 4 0.2018\n 5 2 0.1010\n 6 0 0.0000\n 7 -2 -0.1008\n 8 -4 -0.2019\n 9 -6 -0.3030\n 10 -8 -0.4042\n 11 -10 -0.5056\n[0083] 在表1中，红蓝十字线之间的距离大于0，表示红十字线在左，蓝十字线在右，向上离焦；红蓝十字线之间的距离小于0，表示蓝十字线在左，红十字线在右，向下离焦；红蓝十字线之间的距离等于0，表示红蓝十字线重叠，没有离焦。\n[0084] 2、测量目标的三维坐标\n[0085] 测到CCD上3个目标像的红蓝二维坐标列于表2中。\n[0086] 表2测量结果 单位：mm\n[0087] \n[0088] 利用公式(1)～(3)计算三个目标的三维坐标，计算结果列于表3中。\n[0089] 表3三维坐标的计算结果 单位：μm\n[0090] \n 目标序号 1 2 3\n 坐标 (-45.4，-1.7，1.6) (0.5，-1.8，0.0) (28.5，-1.7，8.9)