一种自动滚屏的方法及装置

1.一种自动滚屏的方法，其特征在于，包括以下步骤：
步骤S1，实时采集用户眼球信息并形成数字图像，所述采集的过程包括采集用户直视显示屏幕上的校正点时所对应的眼球信息；
步骤S2，根据用户直视显示屏幕上的校正点时所对应的眼球信息整理得到眼球图像特征和屏幕位置的数据库；
步骤S3，接收所述数字图像，根据所述眼球图像特征和屏幕位置的数据库，分析得到用户眼睛关注在显示屏幕的具体位置；
步骤S4，获取当前窗口的显示画面，分析当前显示画面中的可滚屏范围；所述可滚屏范围的边界为左右滚动条及上下滚动条，获得所述上下滚动条及左右滚动条的方法如下：
步骤S401，当新的窗口进程创建时，捕获初始的显示画面，并发送一次下滚消息给当前应用程序的窗口；
步骤S402，再次捕获当前的显示画面，并发送一次上滚消息给当前应用程序的窗口，使其回到窗口创建时的状态；
步骤S403，对比捕获的两个画面，得到上下滚动条位置；
以及
步骤S411，当新的窗口进程创建时，捕获初始的显示画面，并发送一次右滚消息给当前应用程序的窗口；
步骤S412，再次捕获当前的显示画面，并发送一次左滚消息给当前应用程序的窗口，使其回到窗口创建时的状态；
步骤S413，对比捕获的两个画面，得到左右滚动条位置；
步骤S5，根据用户眼睛关注在显示屏幕的具体位置以及当前显示画面中的可滚屏范围，判断是否需要进行滚屏操作，如果是，则发送相应的滚屏要求给操作系统。
2.根据权利要求1所述的自动滚屏方法，其特征在于，步骤S1中，所述校正点至少4个，分别位于屏幕的四个角上。
3.根据权利要求1所述的自动滚屏方法，其特征在于，所述步骤S5之后还包括步骤S6：若用户眼睛关注在显示屏幕的具体位置的移动速度超过了正常的阅读速度，且超出了所述可滚屏的范围，则不发送所述滚屏要求给操作系统；若用户重新将双眼的焦点回到所述可滚屏的范围，则重返步骤S5。
4.一种自动滚屏的装置，其特征在于，包括：感光器件、眼睛图像分析单元、显示画面分析单元以及数据处理单元；
所述感光器件用于实时采集用户眼球信息，形成数字图像后发送给所述眼睛图像分析单元；所述采集的过程中包括采集用户直视显示屏幕上的校正点时所对应的眼球信息；
所述眼睛图像分析单元用于根据所述用户直视显示屏幕上的校正点时所对应的眼球信息整理得到眼球图像特征和屏幕位置的数据库，接收所述数字图像，并根据所述眼球图像特征和屏幕位置的数据库，分析判断出用户眼睛关注在显示屏幕的具体位置；
所述显示画面分析单元用于获取当前窗口的显示画面，分析当前显示画面中的可滚屏范围；所述可滚屏范围的边界为左右滚动条及上下滚动条，获得所述上下滚动条的方法如下：当新的窗口进程创建时，捕获初始的显示画面，并发送一次下滚消息给当前应用程序的窗口；再次捕获当前的显示画面，并发送一次上滚消息给当前应用程序的窗口，使其回到窗口创建时的状态；对比捕获的两个画面，得到上下滚动条位置；以及获得所述左右滚动条的方法如下：当新的窗口进程创建时，捕获初始的显示画面，并发送一次右滚消息给当前应用程序的窗口；再次捕获当前的显示画面，并发送一次左滚消息给当前应用程序的窗口，使其回到窗口创建时的状态；对比捕获的两个画面，得到左右滚动条位置；
所述数据处理单元用于根据用户眼睛关注在显示屏幕的具体位置以及当前显示画面中的可滚屏范围，判断是否需要进行滚屏操作，如果是，则自动发送相应的滚屏要求给操作系统。
5.根据权利要求4所述的自动滚屏的装置，其特征在于，还包括校正单元，所述校正单元用于确定显示屏幕上的校正点以及该校正点所对应的位置信息，所述校正点至少4个，分别位于屏幕的四个角上。
6.根据权利要求4所述的自动滚屏的装置，其特征在于，所述数据处理单元中包括过滤单元，所述过滤单元用于当检测到用户眼睛关注在显示画面的移动速度超过了正常的阅读速度，且超出了所述可滚屏的范围时，则通知所述数据处理单元不发送所述滚屏要求给操作系统。

一种自动滚屏的方法及装置\n技术领域\n[0001] 本发明涉及人机交互和计算机视觉控制技术，特别涉及一种自动滚屏的方法及装置。\n背景技术\n[0002] 随着信息技术的发展，电脑已经越来越普及，而鼠标作为电脑的一个必备部件，也随着进入了千家万户。但传统鼠标在使用中发现了不少问题，首先，传统鼠标是基于手的活动设计的，这样显然使得那些无法活动手的残疾人士不能有效操作鼠标，从而无法操作电脑；另外，医学界也已经证实，长时间使用传统鼠标，会对人的腕部肌肉造成物理性伤害，轻则产生临时性酸痛，重则造成长期难以治愈的肌肉疾病，如肩周疾病等。\n[0003] 目前市场上已经出现了一些不需要手来操作的鼠标，如眼睛鼠标、鼻子鼠标等，由于这些非传统的鼠标在设计上具有传统鼠标所不可比拟的优势，解决了传统鼠标必须用手来操作的弊端，因此，可以想见在不久的将来，非传统的鼠标必然会取代目前的传统鼠标。\n[0004] 但是这些非传统的鼠标目前在技术上还不够成熟，存在一定缺陷，这此都是需要改进的。如非传统鼠标有一个跟传统鼠标相似的地方，那就是在阅读的时候无法实现自动滚屏。即当进行阅读时，用户每读完一个页面，都需要用传统鼠标或非传统鼠标单击滚动条(当然也可通过键盘操作，在此不予讨论)，然后拖动滚动条进行滚屏或翻页的操作后方可继续阅读下面的内容，在这个时候，非传统鼠标与传统鼠标在本质上就是一样的了，也就难以体现非传统鼠标的优势。而且在阅读过程中，如果还需要时不时的去拖动滚屏条的话，势必会打断用户的阅读思路，给用户带来不好的体验效果。\n发明内容\n[0005] 为解决上述问题，本发明提供一种自动滚屏的方法及装置，对非传统鼠标中的眼睛鼠标进行改进，使用户在用眼睛鼠标进行阅读时能够根据用户的需要实现自动滚屏，给用户带来智能化的人性体验。\n[0006] 本发明的一种自动滚屏的方法，包括以下步骤：\n[0007] 步骤S1，实时采集用户眼球信息并形成数字图像，所述采集的过程包括采集用户直视显示屏幕上的校正点时所对应的眼球信息；\n[0008] 步骤S2，根据用户直视显示屏幕上的校正点时所对应的眼球信息整理得到眼球图像特征和屏幕位置的数据库；\n[0009] 步骤S3，接收所述数字图像，根据所述眼球图像特征和屏幕位置的数据库，分析得到用户眼睛关注在显示屏幕的具体位置；\n[0010] 步骤S4，获取当前窗口的显示画面，分析当前显示画面中的可滚屏范围；所述可滚屏范围的边界为左右滚动条及上下滚动条，获得所述上下滚动条及左右滚动条的方法如下：\n[0011] 步骤S401，当新的窗口进程创建时，捕获初始的显示画面，并发送一次下滚消息给当前应用程序的窗口；\n[0012] 步骤S402，再次捕获当前的显示画面，并发送一次上滚消息给当前应用程序的窗口，使其回到窗口创建时的状态；\n[0013] 步骤S403，对比捕获的两个画面，得到上下滚动条位置；\n[0014] 以及\n[0015] 步骤S411，当新的窗口进程创建时，捕获初始的显示画面，并发送一次右滚消息给当前应用程序的窗口；\n[0016] 步骤S412，再次捕获当前的显示画面，并发送一次左滚消息给当前应用程序的窗口，使其回到窗口创建时的状态；\n[0017] 步骤S413，对比捕获的两个画面，得到左右滚动条位置；\n[0018] 步骤S5，根据用户眼睛关注在显示屏幕的具体位置以及当前显示画面中的可滚屏范围，判断是否需要进行滚屏操作，如果是，则发送相应的滚屏要求给操作系统。\n[0019] 本发明还提供一种自动滚屏的装置，包括：感光器件、眼睛图像分析单元、显示画面分析单元以及数据处理单元；\n[0020] 所述感光器件用于实时采集用户眼球信息，形成数字图像后发送给所述眼睛图像分析单元；所述采集的过程中包括采集用户直视显示屏幕上的校正点时所对应的眼球信息；\n[0021] 所述眼睛图像分析单元用于根据所述用户直视显示屏幕上的校正点时所对应的眼球信息整理得到眼球图像特征和屏幕位置的数据库，接收所述数字图像，并根据所述眼球图像特征和屏幕位置的数据库，分析判断出用户眼睛关注在显示屏幕的具体位置；\n[0022] 所述显示画面分析单元用于获取当前窗口的显示画面，分析当前显示画面中的可滚屏范围；所述可滚屏范围的边界为左右滚动条及上下滚动条，获得所述上下滚动条的方法如下：当新的窗口进程创建时，捕获初始的显示画面，并发送一次下滚消息给当前应用程序的窗口；再次捕获当前的显示画面，并发送一次上滚消息给当前应用程序的窗口，使其回到窗口创建时的状态；对比捕获的两个画面，得到上下滚动条位置；以及获得所述左右滚动条的方法如下：当新的窗口进程创建时，捕获初始的显示画面，并发送一次右滚消息给当前应用程序的窗口；再次捕获当前的显示画面，并发送一次左滚消息给当前应用程序的窗口，使其回到窗口创建时的状态；对比捕获的两个画面，得到左右滚动条位置；\n[0023] 所述数据处理单元用于根据用户眼睛关注在显示屏幕的具体位置以及当前显示画面中的可滚屏范围，判断是否需要进行滚屏操作，如果是，则自动发送相应的滚屏要求给操作系统。\n[0024] 从以上方案可以看出，本发明的自动滚屏的方法及装置，当用户使用眼睛鼠标进行阅读时，通过对眼球信息的追踪，分析判断出用户的潜在需求，以此提供自然的响应，不需要去主动执行操作即可实现自动滚屏或翻页，而且在使用过程中不会打断用户的阅读思路，给用户带来真正意义上的智能化人性体验。\n附图说明\n[0025] 图1为本发明一种自动滚屏的方法流程示意图；\n[0026] 图2为本发明一种自动滚屏的装置结构示意图。\n具体实施方式\n[0027] 本发明提供一种自动滚屏的方法及装置，解决现有技术中无法自动滚屏的问题。\n下面结合附图详细描述本发明的技术方案。\n[0028] 本发明的一种自动滚屏的方法，如图1所示，包括以下步骤：\n[0029] 步骤S1，实时采集用户眼球信息并形成数字图像，所述采集的过程包括采集用户直视显示屏幕上的校正点时所对应的眼球信息。\n[0030] 采集眼球信息可以使用一般的感光器件来实现，现在市场上一般的摄像头也是可以的。\n[0031] 首次使用本发明，需要先进行校正操作，为此在显示屏幕上显示校正点，校正点需要多个，至少4个，分别位于屏幕的四个角上。当然为了使校准备精度更加准确，也可以增加校正点的个数，如增加校正点的个数到9个，并将这些校正点分别置于显示屏幕的四个角、四条边的中点以及显示屏幕中心。校正时，校正软件在屏幕上显示校正点，操作者(用户)将眼睛直视校正点，感光器件采集此时的眼球信息，并形成数字图像。\n[0032] 步骤S2，根据用户直视显示屏幕上的校正点时所对应的眼球信息整理得到眼球图像特征和屏幕位置的数据库，以作为后续确定用户眼睛在显示屏幕关注点的参考数据库。\n建立数据库的目的是为了得到与眼球图像特征相对应的屏幕上的具体位置，由于校正点在屏幕上的具体位置是事先就知道的，通过记录多个用户在直视显示屏幕上的校正点时所分别对应的眼球图像，可以推断延伸出用户在直视显示屏幕上其他点时的眼球图像特征，将这些一一对应的关系数据保存起来，就是眼球图像特征和屏幕位置的数据库。当采集到某一个眼球图像特征时，通过查询这个数据库，即可知道该眼球图像特征所对应的显示屏幕上的具体位置。\n[0033] 步骤S3，接收所述数字图像，查询步骤S2中建立的眼球图像特征和屏幕位置的数据库，找到当前采集到的眼球图像特征所对应的一项，也就找到了当前用户眼睛关注在显示屏幕的具体位置。\n[0034] 步骤S4，获取当前窗口的显示画面，分析当前显示画面中的可滚屏范围。\n[0035] 通过安装在操作系统上的应用程序软件，可以捕获当前的显示画面，这种软件很多。捕获到当前的显示画面后，分析当前显示画面中的有效浏览尺寸以及可滚屏的范围，如word中，有效浏览尺寸指编辑窗口范围，IE(internet explorer)中，指当前可视网页内容。\n因为操作系统的窗口滚动条特征非常明显，和文字及图像内容差异明显，所以可以通过图像分析的方法获得窗口滚动条的位置。获得滚动条位置的作用是确定可滚屏范围的边界，一般情况下左右滚动条及上下滚动条就是可滚屏范围的边界。作为一个较好的实施例，可以采用如下的方法分析获得可滚屏的范围或有效浏览尺寸：\n[0036] 步骤S401，当新的窗口进程创建时，捕获初始的显示画面(记为A)，并发送一次鼠标中键(下滚)消息给当前应用程序的窗口；\n[0037] 步骤S402，再次捕获当前的显示画面(记为B)，并发送一次鼠标中键(上滚)消息给当前应用程序的窗口，使其回到窗口刚创建时的状态；\n[0038] 步骤S403，对比捕获的两个画面A和B，得到上下滚动条位置。\n[0039] 类似的，可以采用如下的方法获得左右滚动条的位置：\n[0040] 步骤S411，当新的窗口进程创建时，捕获初始的显示画面(记为C)，并发送一次右滚消息给当前应用程序的窗口；\n[0041] 步骤S412，再次捕获当前的显示画面(记为D)，并发送一次左滚消息给当前应用程序的窗口，使其回到窗口刚创建时的状态；\n[0042] 步骤S413，对比捕获的两个画面C和D，得到左右滚动条位置。\n[0043] 采用如上的方法，由于屏幕的上下滚动或左右滚动是非常快的，用户感觉不到屏幕有所变化就已经回到窗口刚创建时的状态。\n[0044] 如果A、B两个画面或C、D两个画面对比后没有发现滚动条，则表明该画面无法滚屏。\n[0045] 步骤S5，根据用户眼睛关注在显示屏幕的具体位置以及当前显示画面中的可滚屏范围，判断是否需要进行滚屏操作，如果是，则发送相应的滚屏要求给操作系统。\n[0046] 判断是否需要进行滚屏操作的具体过程如下：当双眼关注在显示屏幕的具体位置(焦点)由屏幕左边移动右边，而且靠近可滚屏范围的右边界(上下滚动条)时，表明屏幕需要向左滚动；当焦点由屏幕右边移动左边，而且靠近可滚屏范围的左边界(垂直于下部的左右滚动条)时，表明屏幕需要向右滚动；当焦点由屏幕上边移到下边，而且靠近可滚屏范围的下边界(左右滚动条)时，表明屏幕需要向上滚动；当焦点由屏幕下边移到上边，而且靠近可滚屏范围的上边界(垂直于右部的上下滚动条)时，表明屏幕需要向下滚动。不管是哪个方向，只要判断得出确实需要进行滚屏操作，则由进行数据处理的功能模块发送一个相应的滚屏要求(如向右、向左、向下或向上)给操作系统。操作系统接到滚屏要求后会再发送滚屏信息给当前窗口的应用程序，控制当前窗口的应用程序进行滚屏或翻页。\n[0047] 滚屏要求可以采用模拟键盘的上下左右键来发送，发送上下左右键的次数由如下结果决定：将当前操作者的关注内容滚动到有效窗口上部，或有效窗口左部。通过分析出操作者双眼在屏幕上的关注位置，同时分析此位置的图像像素信息，作为特征像素图像信息保存下来，然后发送上下左右键给操作系统，操作系统接收到按键信息后，会滚动屏幕，而特征像素图像信息也会随着滚动，随时跟踪该特征像素图像信息在整个屏幕像素画面中的位置，当特征像素图像信息滚动到有效窗口的上部，或者有效窗口左部的时候，停止发送按键值，即停止滚屏，完成一次自动滚屏的动作。\n[0048] 为了防止误操作，如用户的不经意的甩头带来的误判，可以通过预先设置一个规则来滤除这些误操作，因此增加一个步骤S6：如果用户双眼焦点(关注在显示屏幕的具体位置)的移动速度超过了正常的阅读速度，且超出了可滚屏范围，则表明操作者不是处于阅读状态，不予滚屏处理(不发送滚屏要求给操作系统)；若用户重新将双眼的焦点回到了可滚屏的范围，则重返步骤S5，即重新跟踪判断。上述的正常阅读速度可以通过实验统计出来，具体的统计过程以及实验数值这里不再赘述。\n[0049] 另外，本发明还提供一种自动滚屏的装置，包括：感光器件、眼睛图像分析单元、显示画面分析单元以及数据处理单元，感光器件与眼睛图像分析单元相连接，眼睛图像分析单元与显示画面分析单元并联在数据处理单元上，如图2所示。\n[0050] 所述感光器件用于实时采集用户的眼球信息，形成数字图像后发送给眼睛图像分析单元。所述采集的过程包括采集用户直视显示屏幕上的校正点时所对应的眼球信息。\n[0051] 所述眼睛图像分析单元用于根据用户直视显示屏幕上的校正点时所对应的眼球信息整理得到眼球图像特征和屏幕位置的数据库，接收感光器件发送过来的数字图像，查询眼球图像特征和屏幕位置的数据库，分析判断出用户眼睛关注在显示屏幕的具体位置。\n[0052] 所述显示画面分析单元用于获取当前窗口的显示画面，分析当前显示画面中的可滚屏范围。\n[0053] 所述数据处理单元用于根据用户眼睛关注在显示屏幕的具体位置以及当前显示画面中的可滚屏范围，判断是否需要进行滚屏操作，如果是，则自动发送相应的滚屏要求给操作系统。\n[0054] 作为一个较好的实施例，还本发明的装置中还可以包括校正单元，所述校正单元用于确定显示屏幕上的校正点以及该校正点所对应的位置信息，所述校正点至少4个，分别位于屏幕的四个角上。\n[0055] 另外，为了防止误操作，所述数据处理单元中还可以包括过滤单元，所述过滤单元用于当检测到用户眼睛关注在显示屏幕的具体位置的移动速度超过了正常的阅读速度，且超出了可滚屏的范围时，说明此时用户不是处于阅读状态，则通知数据处理单元不发送滚屏要求给操作系统。\n[0056] 从以上方案可以看出，本发明的一种自动滚屏的方法及装置，在用户使用电脑或其他设备时通过对眼球信息的追踪，分析判断出用户的潜在需求，以此提供自然的响应，自动展现用户需求的屏幕画面，不需要去主动执行操作即可实现自动滚屏或翻页，而且在使用过程中不会打断用户的阅读思路，给用户带来真正意义上的智能化人性体验。另外，本发明应用范围广，手机、电子书阅读器、ipad、PC等都可以使用，而且应用本发明的方法及装置，不仅为手部无法动作的残疾人士提供了一种阅读文档的好办法，且能有效防止鼠标手、肩周疾病等职业病的发生。\n[0057] 以上所述的本发明实施方式，并不构成对本发明保护范围的限定。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明的权利要求保护范围之内。