一种移动终端的学习方法及其学习系统

1.一种移动终端的学习方法，包括以下步骤：
步骤1.通过移动终端的摄像头捕捉课本图像，并对图像上的信息类型进行识别，所述的信息类型包括文字信息类型和图片信息类型，移动终端将该图像传送给服务器；
步骤2.服务器对图像信息进行识别，提取图像上的文字或/和图片信息；
步骤3.根据识别的文字或/和图片信息调出服务器数据库内与之对应的学习资料信息；
步骤4.将学习资料信息发送至移动终端，并将学习资料信息与摄像头捕捉的课本原始图像进行叠加后显示在移动终端显示界面上；
步骤4具体包括：
步骤S401.移动终端接收到服务器发送的学习资料信息；
步骤S402.将学习资料保存为可编辑格式；
步骤S403.将学习资料与课本原始图像的进行叠加；
步骤S404.在移动终端触摸屏上显示课本原始图像，并将学习资料显示在相关文字或图片的一侧。
2.根据权利要求1所述的移动终端的学习方法，其特征在于，步骤1所述的图像上的信息类型进行识别具体包括：
步骤S101.在移动终端建立图像信息类型数据库；
步骤S102.获取图像上的信息；
步骤S103.将图像信息与图像信息类型数据库内的信息进行比较，得到图像信息类型。
3.根据权利要求2所述的移动终端的学习方法，其特征在于：步骤S101所述的建立图像信息类型数据库通过嵌入文字模板与图片模板实现，该文字模板与图片模板为多幅。
4.根据权利要求3所述的移动终端的学习方法，其特征在于：步骤1所述的移动终端将该图像传送给服务器通过WIFI、3G、LTE建立移动终端与服务器的连接实现。
5.根据权利要求4所述的移动终端的学习方法，其特征在于，步骤2具体包括：
步骤S201.服务器对图像进行逐帧扫描；
步骤S202.对每一帧的文字或/和图片信息进行提取；
步骤S203.对提取的信息进行分析处理；
步骤S204.输出可编辑格式的文字或/和图片信息。
6.根据权利要求5所述的移动终端的学习方法，其特征在于，步骤3具体包括：
步骤S301.根据识别的文字或/和图片信息对服务器数据库进行搜索；
步骤S302.将搜索到的相关学习资料与文字或/和图片信息进行匹配；
步骤S303.获取匹配度最高的一种或几种学习资料。
7.根据权利要求6所述的移动终端的学习方法，其特征在于：所述的服务器数据库为网络服务器数据库，包括能获取的所有文字与视频资料，并根据互联网的学习资料更新进行实时更新。
8.根据权利要求1所述的移动终端的学习方法，其特征在于：步骤S403所述的叠加通过增强现实方法实现。
9.一种根据权利要求1-8中任一项所述的移动终端的学习方法的学习系统，其特征在于，包括：
图像信息类型分析模块，设置于移动终端，用于通过移动终端的摄像头捕捉课本图像，并对图像上的信息类型进行识别，所述的信息类型包括文字信息类型和图片信息类型，移动终端将该图像传送给服务器；
图像信息识别模块，设置于服务器内，用于服务器对图像信息进行识别，提取图像上的文字或/和图片信息；
调出学习资料信息模块，设置于服务器内，用于根据识别的文字或/和图片信息调出服务器数据库内与之对应的学习资料信息；
学习资料叠加生成模块，设置于移动终端，用于将学习资料信息与摄像头捕捉的课本原始图像进行叠加后显示在移动终端显示界面上。

一种移动终端的学习方法及其学习系统\n技术领域\n[0001] 本发明涉及一种移动终端的学习方法及其学习系统，特别是涉及一种基于图像识别和增强现实技术的移动终端的学习方法及其学习系统。\n背景技术\n[0002] 现有的辅助学习电子产品有点读机和学习电脑。点读机需要使用专门的点读机设备，下载与教材相关的固件，只能实现简单的语音朗读和复读功能。学习电脑提供了丰富的多媒体功能，但在操作上，需要手动寻找与教材配置的资料，更换教材时，需要手动下载新的资料。而且，它们作为一个独立的设备，携带起来也不方便。\n[0003] 也有在移动终端（如手机和平板电脑）上实现的学习类应用，可以提供用户文字和多媒体学习资料。但这些应用，仍然是需要用户根据具体的教材或文字，手动搜索和查找匹配的资料，使用起来不够简单方便。\n发明内容\n[0004] 本发明的目的在于克服现有技术的不足，提供一种移动终端的学习方法及其学习系统，为用户提供简单实用、内容丰富形象的学习方式，且能实时进行更新。\n[0005] 为了达到上述目的，本发明采用的技术方案是，一种移动终端的学习方法，包括以下步骤：\n[0006] 步骤1.通过移动终端的摄像头捕捉课本图像，并对图像上的信息类型进行识别，所述的信息类型包括文字信息类型和图片信息类型，移动终端将该图像传送给服务器；\n[0007] 步骤2.服务器对图像信息进行识别，提取图像上的文字或/和图片信息；\n[0008] 步骤3.根据识别的文字或/和图片信息调出服务器数据库内与之对应的学习资料信息；\n[0009] 步骤4.将学习资料信息发送至移动终端，并将学习资料信息与摄像头捕捉的课本原始图像进行叠加后显示在移动终端显示界面上。\n[0010] 进一步的，步骤1所述的图像上的信息类型进行识别具体包括：\n[0011] 步骤S101.在移动终端建立图像信息类型数据库；\n[0012] 步骤S102.获取图像上的信息；\n[0013] 步骤S103.将图像信息与图像信息类型数据库内的信息进行比较，得到图像信息类型。\n[0014] 进一步的，步骤S101所述的建立图像信息类型数据库通过嵌入文字模板与图片模板实现，该文字模板与图片模板为多幅。\n[0015] 进一步的，步骤1所述的移动终端将该图像传送给服务器通过WIFI、3G、LTE建立移动终端与服务器的连接实现。\n[0016] 进一步的，步骤2具体包括：\n[0017] 步骤S201.服务器对图像进行逐帧扫描；\n[0018] 步骤S202.对每一帧的文字或/和图片信息进行提取；\n[0019] 步骤S203.对提取的信息进行分析处理；\n[0020] 步骤S204.输出可编辑格式的文字或/和图片信息。\n[0021] 进一步的，步骤3具体包括：\n[0022] 步骤S301.根据识别的文字或/和图片信息对服务器数据库进行搜索；\n[0023] 步骤S302.将搜索到的相关学习资料与文字或/和图片信息进行匹配；\n[0024] 步骤S303.获取匹配度最高的一种或几种学习资料。\n[0025] 进一步的，所述的服务器数据库为网络服务器数据库，包括能获取的所有文字与视频资料，并根据互联网的学习资料更新进行实时更新。\n[0026] 进一步的，步骤4具体包括：\n[0027] 步骤S401.移动终端接收到服务器发送的学习资料信息；\n[0028] 步骤S402.将学习资料保存为可编辑格式；\n[0029] 步骤S403.将学习资料与课本原始图像的进行叠加；\n[0030] 步骤S404.在移动终端触摸屏上显示课本原始图像，并将学习资料显示在相关文字或图片的一侧。\n[0031] 进一步的，步骤S403所述的叠加通过增强现实方法实现。\n[0032] 一种根据所述的移动终端的学习方法的学习系统，包括：\n[0033] 图像信息类型分析模块，设置于移动终端，用于通过移动终端的摄像头捕捉课本图像，并对图像上的信息类型进行识别，所述的信息类型包括文字信息类型和图片信息类型，移动终端将该图像传送给服务器；\n[0034] 图像信息识别模块，设置于服务器内，用于服务器对图像信息进行识别，提取图像上的文字或/和图片信息；\n[0035] 调出学习资料信息模块，设置于服务器内，用于根据识别的文字或/和图片信息调出服务器数据库内与之对应的学习资料信息；\n[0036] 学习资料叠加生成模块，设置于移动终端，用于将学习资料信息与摄像头捕捉的课本原始图像进行叠加后显示在移动终端显示界面上。\n[0037] 与现有技术相比，本发明的有益效果是：通过建立服务器与移动终端的连接，获取互联网的信息给用户，为用户提供简单实用、内容丰富形象的学习方式，且能实时进行更新。\n附图说明\n[0038] 图1为本发明的方法流程图。\n具体实施方式\n[0039] 下面结合实施例参照附图进行详细说明，以便对本发明的技术特征及优点进行更深入的诠释。\n[0040] 本发明的方法流程图如图1所示，一种移动终端的学习方法，包括以下步骤：\n[0041] 步骤1.通过移动终端的摄像头捕捉课本图像，并对图像上的信息类型进行识别，所述的信息类型包括文字信息类型和图片信息类型，移动终端将该图像传送给服务器；一般在移动终端开机后，打开摄像头，通过摄像头捕捉课本图像，所述的课本可以是各种版本教程和课外的辅导材料等，只要是具有文字或图片信息的书本或纸张即可。\n[0042] 步骤1所述的图像上的信息类型进行识别具体包括：步骤S101.在移动终端建立图像信息类型数据库，步骤S101所述的建立图像信息类型数据库通过嵌入文字模板与图片模板实现，该文字模板与图片模板为多幅，例如可以是通过采集100幅图片生成模板，或者根据文字偏旁部首生成的文字模板；步骤S102.获取图像上的信息；步骤S103.将图像信息与图像信息类型数据库内的信息进行比较，得到图像信息类型。步骤1所述的移动终端将该图像传送给服务器通过WIFI、3G、LTE（是英文Long Term Evolution的缩写。LTE也被通俗地称为3.9G）等建立移动终端与服务器的连接实现。\n[0043] 步骤2.服务器对图像信息进行识别，提取图像上的文字或/和图片信息。步骤2具体包括：步骤S201.服务器对图像进行逐帧扫描；步骤S202.对每一帧的文字或/和图片信息进行提取；步骤S203.对提取的信息进行分析处理，根据文字库或图片库进行分析处理，得到具体的文字和较为清晰的图片信息；步骤S204.输出可编辑格式的文字或/和图片信息，此举是为了方便进行搜索。服务器内收集存储有各种版本教材和各科课文的辅导资料，并且能随时进行更新。\n[0044] 步骤3.根据识别的文字或/和图片信息调出服务器数据库内与之对应的学习资料信息。步骤3具体包括：步骤S301.根据识别的文字或/和图片信息对服务器数据库进行搜索；步骤S302.将搜索到的相关学习资料与文字或/和图片信息进行匹配；步骤S303.获取匹配度最高的一种或几种学习资料，例如名称解释、名词解释、名师讲解、课后辅导等等。所述的服务器数据库为网络服务器数据库，包括能获取的所有文字与视频资料，并根据互联网的学习资料更新进行实时更新。\n[0045] 步骤4.将学习资料信息发送至移动终端，并将学习资料信息与摄像头捕捉的课本原始图像进行叠加后显示在移动终端显示界面上。步骤4具体包括：步骤S401.移动终端接收到服务器发送的学习资料信息；步骤S402.将学习资料保存为可编辑格式；步骤S403.将学习资料与课本原始图像的进行叠加；步骤S404.在移动终端触摸屏上显示课本原始图像，并将学习资料显示在相关文字或图片的一侧。\n[0046] 进一步的，步骤S403所述的叠加通过增强现实方法实现。本发明使用现在已比较成熟的图像识别和增强现实（AR）技术，在越来越普及的移动终端（如手机和平板电脑）上，自动识别书本内容，联网搜索数据库，在移动终端的显示界面上，通过增强现实技术叠加显示相关的文字和多媒体内容，并提供交互操作。增强现实技术（Augmented Reality Technique，简称AR），是在虚拟现实基础上发展起来的新技术，是通过计算机系统提供的信息增加用户对现实世界感知的技术，并将计算机生成的虚拟物体、场景或系统提示信息叠加到真实场景中，从而实现对现实的“增强”。它将计算机生成的虚拟物体或关于真实物体的非几何信息叠加到真实世界的场景之上，实现了对真实世界的增强。同时，由于用于与真实世界的联系并未被切断，交互方式也就显得更加自然。\n[0047] 一种根据所述的移动终端的学习方法的学习系统，包括：\n[0048] 图像信息类型分析模块，设置于移动终端，用于通过移动终端的摄像头捕捉课本图像，并对图像上的信息类型进行识别，所述的信息类型包括文字信息类型和图片信息类型，移动终端将该图像传送给服务器；\n[0049] 图像信息识别模块，设置于服务器内，用于服务器对图像信息进行识别，提取图像上的文字或/和图片信息；\n[0050] 调出学习资料信息模块，设置于服务器内，用于根据识别的文字或/和图片信息调出服务器数据库内与之对应的学习资料信息；\n[0051] 学习资料叠加生成模块，设置于移动终端，用于将学习资料信息与摄像头捕捉的课本原始图像进行叠加后显示在移动终端显示界面上。\n[0052] 所述的图像信息类型分析模块具体包括：\n[0053] 数据库设置模块，用于在移动终端建立图像信息类型数据库；\n[0054] 获取模块，用于获取图像上的信息；\n[0055] 比较模块，用于将图像信息与图像信息类型数据库内的信息进行比较，得到图像信息类型。\n[0056] 进一步的，图像信息识别模块具体包括：\n[0057] 扫描模块，用于服务器对图像进行逐帧扫描；\n[0058] 提取模块，用于对每一帧的文字或/和图片信息进行提取；\n[0059] 分析处理模块，用于对提取的信息进行分析处理；\n[0060] 输出模块，用于输出可编辑格式的文字或/和图片信息。\n[0061] 进一步的，调出学习资料信息模块具体包括：\n[0062] 搜索模块，用于根据识别的文字或/和图片信息对服务器数据库进行搜索；\n[0063] 匹配模块，用于将搜索到的相关学习资料与文字或/和图片信息进行匹配；\n[0064] 获取模块，用于获取匹配度最高的一种或几种学习资料。\n[0065] 进一步的，学习资料叠加生成模块具体包括：\n[0066] 接收模块，用于移动终端接收到服务器发送的学习资料信息；\n[0067] 保存模块，用于将学习资料保存为可编辑格式；\n[0068] 关联模块，用于将学习资料与课本原始图像的进行关联；\n[0069] 显示模块，用于在移动终端触摸屏上显示课本原始图像，并将学习资料显示在相关文字或图片的一侧。\n[0070] 本发明可以使用场景举例：翻开人民教育出版社2012版小学语文六年级课本第3课，拿一台智能手机，打开摄像头功能，聚焦第3课的课文；一会儿，在手机屏幕上，叠加显示出很多课程帮助信息，如名称解释、名师讲解、课后辅导等，可以选择进入更详细的阅读和操作界面。\n[0071] 整个系统包括两个部分，服务器和移动终端，移动终端和服务器通过WIFI、3G、LTE等无线网络进行通信。\n[0072] 服务器：收集存储有各种版本教材和各课文的辅导资料，包括文字资料和多媒体资料。建立一个可不断扩充和更新的数据库。服务器还提供图像识别功能，识别移动终端传输过来的图像，提取出图像中的文字和图片信息，然后到数据库中查找和匹配出相关的辅导资料。把辅导资料发送给移动终端。\n[0073] 移动终端：通过摄像头，捕捉课本的影像。它会进行简单的识别，即识别摄像头拍摄到的图像中包含有书本或纸张，在纸张上有文字或图片。满足条件后，截取图片，发送给服务器。服务器将识别和检索得到的资料发过来后，移动终端将这些信息叠加到当前摄像头获取的图像上，显示出来。所述信息可以是一些交互选择菜单，由用户选择后再进一步获取资料；也可以是一些关联的文字、图片或影像资料。\n[0074] 移动终端的服务流程：\n[0075] 1001.打开移动终端上的应用软件，启动摄像头。显示屏上显示摄像头捕获的图像视频；\n[0076] 1002.应用程序检测分析当前捕获的图像中，是否纸张、文字或图片等预设条件；\n[0077] 1003.满足所述预设条件，则截取当前图像中的一帧，发送到服务器，并向服务器发出服务请求信息；\n[0078] 1004.等待服务器返回信息；\n[0079] 1005.将服务器返回的文字和多媒体信息，叠加到摄像头视频图像上，用户可以对这些信息进行选择和操作，移动终端将用户的操作反馈给服务器，从服务器获取进一步的信息；\n[0080] 1006.用户关闭应用程序，则向服务器发出服务终止信息。\n[0081] 服务器端的服务流程：\n[0082] 2001.获得移动终端发送过来的图片和服务请求信息；\n[0083] 2002.对所述图片进行识别，解析出图片中的文字和插图；\n[0084] 2003.在数据库中搜索与所述文字和插图匹配的信息；\n[0085] 2004.将信息发送给移动终端；\n[0086] 2005.持续响应移动终端发送过来的交互信息，根据移动终端的要求，提供更进一步的信息给移动终端。\n[0087] 以上内容是结合具体的优选方式对本发明所作的进一步详细说明，不应认定本发明的具体实施只局限于以上说明。对于本技术领域的技术人员而言，在不脱离本发明构思的前提下，还可以作出若干简单推演或替换，均应视为由本发明所提交的权利要求确定的保护范围之内。