基于体感技术的电子演示系统

1.一种基于体感技术的电子演示系统，包括用于实时向被演示者展示内容的屏幕、将演示者的演示内容投放到屏幕上的投影装置，其特征在于所述系统还包括用于捕获演示者动作的体感装置、与投影装置连接的信息处理装置，所述体感装置将捕获演示者动作的图像传输给信息处理装置，所述信息处理装置根据演示者动作的图像判断演示者演示指令和演示内容，并通过投影装置将演示内容实时投放到屏幕上进行实时演示；
所述体感装置为Kinect设备；所述Kinect设备通过Kinect摄像头拍摄演示者的视频图像，并将演示者的视频图像通过usb 数据线传送至信息处理装置；
所述信息处理装置为计算机，所述计算机通过视频输出线与投影装置连接，接收从Kinect 设备传来的视频图像，并对视频图像进行处理获取演示者的演示指令和演示内容；
计算机利用OpenNI 自然用户界面开发包，解析所获得的视频图像和其中包含的深度信息，追踪用户的手部位置；并利用手势分割识别算法，分割手部图像并获得手势；计算机响应控制手势，产生控制命令控制画笔绘图，并控制投影装置把影像投射在屏幕上；
所述投影装置选用投影仪。
2.根据权利要求1 所述的基于体感技术的电子演示系统，其特征在于所述屏幕设置在投影装置的对侧，并与投影装置的投影范围相适应。
3.一种采用权利要求1 所述的电子演示系统进行电子演示方法，其特征在于所述方法包括以下步骤：
（1）通过体感装置捕获演示者动作；
（2）信息处理装置根据演示者动作的图像判断演示者演示指令和演示内容，并通过投影装置将演示内容实时投放到屏幕上进行实时演示；
所述信息处理装置判断演示者演示指令和演示内容的步骤包括对视频图像处理，手势识别和绘图；
采用的视频图像处理过程按照以下步骤：
1）采用基于模糊连通性的区域分割算法分割手掌图像：基于模糊逻辑的区域连通性，相邻像素之间的连通量根据其深度值之间的差异取介于0-1之间的值；前后相邻的像素列构成一条路径，任意一条路径的连通量由路径上相邻像素的连通量最小值；任意两点之间连通量定义为，两点间所有路径的连通量之最大值；通过动态规划算法可以递归地求出任何两点之间的连通量；
2）对包含深度信息的视频图像进行处理，利用OpenNI 库中的人体识别功能支持，得到人体的掌心节点三维位置；
3）计算图像上所有像素点与掌心的连通量：将掌心位置定义为种子点，构造图像上全部点与种子点的连通值；
4）对连通值取适当阈值后可以分割出手掌图像；
采用的手势识别过程包括以下流程：
1）计算手掌图形的Hu 不变矩，并利用Hu 不变矩之特征识别手势：Hu 不变矩中包含了手掌形状的一般特征，并且具有平移和旋转不变性，对于手势识别来说是比较惯用的一种特征；
2）从视频流中提取模板手势：利用OpenNI 库的支持，可以录制出包含深度信息的视频图像资料保存下来；通过对视频流中的手势进行自动截取，有目的地进行分类整理之后，产生一个模板手势库；本实例中，对演示中比较常用的动作场景进行了录制，包括：播放幻灯片、书写文字、绘制图像、移动光标的动作场景；然后将从这些视频流中截取到的手势进行归类，储存下来作为模板手势库，总共有10 种手势，每种手势150 幅模板图像；
3）利用随机森林算法训练手势分类器：使用图像处理库OpenCV 的机器学习模块，利用随机森林算法对模板手势库中的图像训练，生成了一个手势分类器；
4）利用训练完成后的手势分类器对新输入的手掌图像进行识别，测试分类器的准确率；反复测试并调整部分参数后，直到准确率达到70% 以上；
5）使用训练完成的分类器进行手势的识别；
绘图功能部分包含以下流程：
1）对输入的手势产生手势响应命令：绘图实例中的手势包含以下5 种：“下笔”、“抬笔”、“擦除”、“更新”和“保存”；每种手势由预先训练完成的手势分类器进行识别；对识别的结果，计算机产生相应的响应命令；在识别到“下笔”手势时，计算机会开始记录之后时间内手掌的移动位置，直到识别到“抬笔”手势后，产生一条完成的路径；
2）绘图操作由“下笔”手势开始，以“抬笔”手势结束：在识别到“下笔”手势时，计算机会开始记录之后时间内手掌的移动位置，直到识别到“抬笔”手势后，产生一条完成的轨迹；计算机会对轨迹进行平滑化，以减少人为原因产生的抖动，对绘制时的轨迹进行美化；利用指数平滑算法，可以对轨迹进行实时的平滑；在识别到“抬笔”手势之后，计算机在屏幕上绘制出平滑后的轨迹，完成一次绘图操作；
3）擦除操作以“擦除”手势开始，以“抬笔”手势结束：在识别到“擦除”手势时，计算机会开始记录之后时间内手掌的移动位置，并实时地对图像上这些位置上的像素点进行擦除操作，直到识别到“抬笔”手势；
4）更新操作在“更新”手势后完成：识别到“更新”手势之后，计算机会将屏幕上已经绘制的图形清除掉；
5）保存操作在“保存”手势后完成：识别到“保存”手势之后，计算机会将屏幕上已经绘制的图形保存在文件目录下。
4.根据权利要求3 所述的电子演示方法，其特征在于所述方法中演示指令为根据演示者动作的图像判断的演示者手势指令，根据演示者手势指令判断用户需要实时演示的内容。

基于体感技术的电子演示系统\n技术领域\n[0001] 本发明属于体感设备技术领域，具体涉及一种基于体感技术的电子演示系统及其电子演示方法。\n背景技术\n[0002] 课堂和办公环境离不开演示，以前黑板是最主要的演示道具，而现在多媒体技术的发展使黑板渐渐不能满足多媒体展示的要求，从而促使其替代品电子白板的出现。\n[0003] 目前，就目前电子白板的应用技术而言，主要是应用触摸屏技术的电子白板。通常是将触摸屏放置在显示设备上，演示者通过手或触摸笔操控电子白板，使电子白板感应到手或触摸笔的运动，完成对电子白板的操控。但是，这种技术需要配备大尺寸，高分辨率的触摸屏和显示设备，对设备的要求高且成本较大。并且演示者只能通过触摸屏来实现对电子白板的操控而不能脱离触摸设备。用户只能通过触摸完成操作，在一定程度上限制了演示者的演示风格和肢体动作，从而影响了演示的最佳效果。本发明因此而来。\n发明内容\n[0004] 本发明目的在于提供一种基于体感技术的电子演示系统，解决了现有技术中演示系统只能通过触摸屏进行演示，限制了演示者的演示风格和肢体动作，影响演示的最佳效果。\n[0005] 为了解决现有技术中的这些问题，本发明提供的技术方案是：\n[0006] 一种基于体感技术的电子演示系统，包括用于实时向被演示者展示内容的屏幕、将演示者的演示内容投放到屏幕上的投影装置，其特征在于所述系统还包括用于捕获演示者动作的体感装置、与投影装置连接的信息处理装置，所述体感装置将捕获演示者动作的图像传输给信息处理装置，所述信息处理装置根据演示者动作的图像判断演示者演示指令和演示内容，并通过投影装置将演示内容实时投放到屏幕上进行实时演示。\n[0007] 优选的，所述体感装置为Kinect设备；所述Kinect设备通过Kinect摄像头拍摄演示者的视频图像，并将演示者的视频图像通过usb数据线传送至信息处理装置。\n[0008] 优选的，所述信息处理装置为计算机，所述计算机通过视频输出线与投影装置连接，接收从Kinect设备传来的视频图像，并对视频图像进行处理获取演示者的演示指令和演示内容。\n[0009] 优选的，所述投影装置选用投影仪。\n[0010] 优选的，所述屏幕设置在投影装置的对侧，并与投影装置的投影范围相适应。\n[0011] 本发明的另一目的在于提供了一种采用所述的电子演示系统进行电子演示方法，其特征在于所述方法包括以下步骤：\n[0012] （1）通过体感装置捕获演示者动作；\n[0013] （2）信息处理装置根据演示者动作的图像判断演示者演示指令和演示内容，并通过投影装置将演示内容实时投放到屏幕上进行实时演示。\n[0014] 优选的，所述方法中演示指令为根据演示者动作的图像判断的演示者手势指令，根据演示者手势指令判断用户需要实时演示的内容。\n[0015] 本发明是为了克服传统电子白板的不足，提供体积更加小，成本更加廉价，配合演示效果更好的电子白板产品，利用Kinect体感摄像头的辅助，演示者站在摄像头前通过手势操控电子白板，完成演示功能。\n[0016] 具体的基于体感技术的电子演示系统由Kinect摄像头、计算机、投影仪、屏幕组成，其中Kinect摄像头用于拍摄包含深度的视频图像，并将所述视频图像通过usb数据线传送至计算机。计算机设备用于接受视频图像，并利用OpenNI自然用户界面开发包，解析所获得的视频图像和其中包含的深度信息，追踪用户的手部位置。并利用手势分割识别算法，分割手部图像并获得手势。计算机响应控制手势，产生控制命令控制画笔在电子白板上绘图，并控制投影仪把影响投射在屏幕上。\n[0017] 投影仪用于将计算机生成的即时图像实时地投放出来。屏幕用于实时地向观众展示图像。\n[0018] 本发明有效地提高了多媒体演示的多样性，将多媒体技术、图形图像处理技术、机器视觉技术有机结合起来，替代黑板的作用，大大丰富了现场演示的最佳效果。\n[0019] 相对于现有技术中的方案，本发明的优点是：\n[0020] 相比现有技术中触摸屏电子白板，本发明使用的Kinect设备具有体积小，成本低廉的优点。\n[0021] 相比现有技术中触摸屏电子白板，本发明使用的计算机、投影仪和屏幕设备目前已经广泛配置在演示场合，如教室、礼堂等，不需要另行购买安装。其更加适合目前的演示领域。\n[0022] 本发明使用的Kinect设备使得演示者可以使用手势操控电子白板，从一定程度上丰富了演示者的动作，并且演示者不需要离开观众去操作触摸屏。在演示效果上讲，本发明较之触摸屏电子白板拥有更好的现场效果。\n附图说明\n[0023] 下面结合附图及实施例对本发明作进一步描述：\n[0024] 图1为基于Kinect的电子演示系统的结构示意图；其中有Kinect设备1，计算机2，投影仪3，屏幕4，USB连接线5，视频连接线6和用户（演讲者）7。\n具体实施方式\n[0025] 以下结合具体实施例对上述方案做进一步说明。应理解，这些实施例是用于说明本发明而不限于限制本发明的范围。实施例中采用的实施条件可以根据具体厂家的条件做进一步调整，未注明的实施条件通常为常规实验中的条件。\n[0026] 实施例\n[0027] 如图1所示，本实施例中基于Kinect的电子演示系统（电子白板）的组成包括：\nKinect设备1，计算机2，投影仪3和屏幕4。\n[0028] Kinect设备1用于拍摄包含深度信息的视频图像，通过USB线5连接在计算机2上。\nKinect设备1放置在面对演示者的位置，并限制演示者的活动范围是Kinect设备1水平视角范围小于57。，垂直视角范围小于43。和传感深度范围在1.2米到3.5米之间。\n[0029] 计算机2用于接收从Kinect设备1传来的视频图像，并利用OpenNI开发包对视频图像进行处理，获得手势并产生相应命令，通过USB连接线5与Kinect设备1连接。然后控制投影仪3实时投放画面，通过视频输出线6与投影仪3连接。投影仪3用于实时投放画面，通过视频输出线与计算机2连接。屏幕4用于向观众展示画面，放置在投影仪3的正面。\n[0030] 采用的视频图像处理过程按照以下步骤：\n[0031] 1、采用基于模糊连通性的区域分割算法分割手掌图像：基于模糊逻辑的区域连通性，相邻像素之间的连通量根据其深度值之间的差异取介于0-1之间的值。前后相邻的像素列构成一条路径，任意一条路径的连通量由路径上相邻像素的连通量最小值。任意两点之间连通量定义为，两点间所有路径的连通量之最大值。通过动态规划算法可以递归地求出任何两点之间的连通量。\n[0032] 2、对包含深度信息的视频图像进行处理，利用OpenNI库中的人体识别功能支持，得到人体的掌心节点三维位置。\n[0033] 3、计算图像上所有像素点与掌心的连通量：将掌心位置定义为种子点，构造图像上全部点与种子点的连通值。\n[0034] 4、对连通值取适当阈值后可以分割出手掌图像。\n[0035] 采用的手势识别过程包括以下流程：\n[0036] 1、计算手掌图形的Hu不变矩，并利用Hu不变矩之特征识别手势：Hu不变矩中包含了手掌形状的一般特征，并且具有平移和旋转不变性，对于手势识别来说是比较惯用的一种特征。\n[0037] 2、从视频流中提取模板手势：利用OpenNI库的支持，可以录制出包含深度信息的视频图像资料保存下来。通过对视频流中的手势进行自动截取，有目的地进行分类整理之后，产生一个模板手势库。本实例中，对演示中比较常用的动作场景进行了录制，包括：播放幻灯片、书写文字、绘制图像、移动光标等动作场景。然后将从这些视频流中截取到的手势进行归类，储存下来作为模板手势库，总共有大约10种手势，每种手势大约150幅模板图像。\n[0038] 3、利用随机森林算法训练手势分类器：使用图像处理库OpenCV的机器学习模块，利用随机森林算法对模板手势库中的图像训练，生成了一个手势分类器。\n[0039] 4、利用训练完成后的手势分类器对新输入的手掌图像进行识别，测试分类器的准确率。反复测试并调整部分参数后，直到准确率达到70%以上。\n[0040] 5、使用训练完成的分类器进行手势的识别。\n[0041] 本实施例中，绘图功能部分包含以下流程：\n[0042] 1、对输入的手势产生手势响应命令：绘图实例中的手势包含以下5种：“下笔”、“抬笔”、“擦除”、“更新”和“保存”。每种手势由预先训练完成的手势分类器进行识别。对识别的结果，计算机产生相应的响应命令，例如：在识别到“下笔”手势时，计算机会开始记录之后时间内手掌的移动位置，直到识别到“抬笔”手势后，产生一条完成的路径。\n[0043] 2、绘图操作由“下笔”手势开始，以“抬笔”手势结束：在识别到“下笔”手势时，计算机会开始记录之后时间内手掌的移动位置，直到识别到“抬笔”手势后，产生一条完成的轨迹。计算机会对轨迹进行平滑化，以减少人为原因产生的抖动，对绘制时的轨迹进行美化。\n利用指数平滑算法，可以对轨迹进行实时的平滑。在识别到“抬笔”手势之后，计算机在屏幕上绘制出平滑后的轨迹，完成一次绘图操作。\n[0044] 3、擦除操作以“擦除”手势开始，以“抬笔”手势结束：在识别到“擦除”手势时，计算机会开始记录之后时间内手掌的移动位置，并实时地对图像上这些位置上的像素点进行擦除操作，直到识别到“抬笔”手势。\n[0045] 4、更新操作在“更新”手势后完成：识别到“更新”手势之后，计算机会将屏幕上已经绘制的图形清除掉。\n[0046] 5、保存操作在“保存”手势后完成：识别到“保存”手势之后，计算机会将屏幕上已经绘制的图形保存在文件目录下。\n[0047] 本发明可以在软件、固件、硬件或者其结合中实现。本发明可以包括在具有计算机可用介质的物品中。该介质在其中具有例如计算机可读程序代码装置或者逻辑（例如指令，代码，命令等）来提供和使用本发明的能力。该制造物品可作为计算机系统的一部分或者单独出售。所有上述变化被认为是要求保护的本发明的一部分。\n[0048] 上述实例只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人是能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明精神实质所做的等效变换或修饰，都应涵盖在本发明的保护范围之内。