一种基于手持设备的菜谱识别及注解方法和装置

1.一种基于手持设备的菜谱识别及注解方法，所述手持设备至少装设有图像获取装置以及OCR识别引擎，用于对所述图像获取装置拍摄的菜谱图像进行识别及注解，其特征是：
所述方法至少包括以下步骤：
a.定位所述菜谱图像中需要识别的菜名区域，用户指定需要识别的菜名的粗略位置，得到一个或者两个坐标点；对所述一个或者两个坐标点求边缘图像，进行膨胀后，以所述一个或者两个坐标点为初始点进行上下左右条件扩展，以距离所述初始点在一定范围内的边缘点为有效边缘点，进行扩展，否则不进行扩展，得到一个仅包含所述需要识别的菜名的外接矩形区域；
b.通过所述OCR识别引擎识别需要识别的菜名，得到所述需要识别的菜名的文字编码流，所述需要识别的菜名位于所述需要识别的菜名区域内；
c.根据所述文字编码流，获取与所述需要识别的菜名相关的信息；通过所述文字编码流在菜谱数据库中检索与所述需要识别的菜名相关的信息；包括菜的翻译菜名、相关典故、制作方法和制作原料；
d．在所述菜谱图像的下方分别显示所述识别的菜名和所述与识别的菜名相关的信息。
2.如权利要求1所述的方法，其特征是：在步骤a前还包括对菜谱图像进行清晰度判断的步骤：利用菜谱图像的平均边缘强度作为检测值，当平均边缘强度小于预先设定的阈值时，则图像模糊，手持设备通过装设的所述图像获取装置进行重新拍摄。
3.如权利要求1所述的方法，其特征是：所述步骤c包括：通过所述文字编码流在互联网上检索与所述需要识别的菜名相关的信息。
4.如权利要求1所述的方法，其特征是：所述步骤c后面还包括步骤d：在所述手持设备上显示与所述需要识别的菜名相关的信息。
5.一种基于手持设备的菜谱识别及注解装置，其特征是包括至少装设有OCR识别引擎和图像获取装置的手持设备，以及模块a、b、c和d；其中模块：
a.定位所述图像获取装置拍摄的菜谱图像中需要识别的菜名区域，用户指定需要识别的菜名的粗略位置，得到一个或者两个坐标点；对所述一个或者两个坐标点求边缘图像，进行膨胀后，以所述一个或者两个坐标点为初始点进行上下左右条件扩展，以距离所述初始点在一定范围内的边缘点为有效边缘点，进行扩展，否则不进行扩展，得到一个仅包含所述需要识别的菜名的外接矩形区域；
b.通过所述OCR识别引擎识别需要识别的菜名，得到所述菜名的文字编码流，所述需要识别的菜名位于所述需要识别的菜名区域内；
c.根据所述文字编码流，获取与所述需要识别的菜名相关的信息；通过所述文字编码流在菜谱数据库中检索与所述需要识别的菜名相关的信息；包括菜的翻译菜名、相关典故、制作方法和制作原料；
d．在所述菜谱图像的下方分别显示所述识别的菜名和所述与识别的菜名相关的信息。
6.如权利要求5所述的装置，其特征是：在模块a前还包括对菜谱图像进行清晰度判断的模块：利用菜谱图像的平均边缘强度作为检测值，当平均边缘强度小于预先设定的阈值时，则图像模糊，所述手持设备通过装设的图像获取装置进行重新拍摄。

一种基于手持设备的菜谱识别及注解方法和装置\n技术领域\n[0001] 本发明涉及光学字符识别(Optical Character Recognition，以下简称：OCR)技术领域，尤其涉及一种基于手持设备的菜谱识别及注解方法和装置。\n背景技术\n[0002] 具有拍摄功能的手持设备如拍照手机现在已经普及，但是基于手持设备摄像头的应用还是很贫乏，没有发挥出应有的作用。目前OCR技术已经非常成熟，但是其应用还是局限于扫描仪图像的识别，在手持设备上的实际应用还不是很多。结合手持设备摄像头、OCR和特定知识库的应用几乎没有。平是我们在用餐的时候，特别是一些外国朋友，如果他们能够通过他们的手持设备能够知道他们要点的菜一些信息如：翻译菜名、制作原料、制作方法、相关典故等，他们会了解更多，选择更好。\n发明内容\n[0003] 本发明的目的是提供一种基于手持设备的菜谱识别及注解方法和装置，用以克服OCR技术并未应用到手持设备上来方便人们了解菜谱的缺陷，实现对菜谱的识别和注解，方便广大美食爱者了解和选择他们的佳肴。\n[0004] 为实现上述目的，本发明提供了一种基于手持设备的菜谱识别及注解方法，所述手持设备至少装设有图像获取装置以及OCR识别引擎，用于对所述图像获取装置拍摄的菜谱图像进行识别及注解，所述方法至少包括以下步骤：\n[0005] a.定位所述菜谱图像中需要识别的菜名区域；\n[0006] b.通过所述OCR识别引擎识别需要识别的菜名，得到所述需要识别的菜名的文字编码流，所述需要识别的菜名位于所述需要识别的菜名区域内；\n[0007] c.根据所述文字编码流，获取与所述需要识别的菜名相关的信息。\n[0008] 优选地，在步骤a前还包括对所述菜谱图像进行清晰度判断的步骤：利用菜谱图像的平均边缘强度作为检测值，当平均边缘强度小于预先设定的阈值时，则图像模糊，手持设备通过装设的所述图像获取装置进行重新拍摄。\n[0009] 优选地，所述步骤a包括：用户指定需要识别的菜名的粗略位置，得到一个或者两个坐标点；以所述一个或者两个坐标点为初始点进行上下左右条件扩展，得到一个仅包含所述需要识别的菜名的外接矩形区域。\n[0010] 优选地，所述步骤c包括：通过所述文字编码流在菜谱数据库中检索与所述需要识别的菜名相关的信息；或者，通过所述文字编码流在互联网上检索与所述需要识别的菜名相关的信息。\n[0011] 优选地，所述步骤c后面还包括步骤d：在所述手持设备上显示与所述需要识别的菜名相关的信息。\n[0012] 为实现上述目的，本发明还提供了一种基于手持设备的菜谱识别及注解装置，包括至少装设有OCR识别引擎和图像获取装置的手持设备，以及模块a、b和c；其中模块：\n[0013] a.定位所述图像获取装置拍摄的菜谱图像中需要识别的菜名区域；\n[0014] b.通过所述OCR识别引擎识别需要识别的菜名，得到所述需要识别的菜名的文字编码流，所述需要识别的菜名位于所述需要识别的菜名区域内；\n[0015] c.根据所述文字编码流，获取与所述需要识别的菜名相关的信息。\n[0016] 优选地，在模块a前还包括对菜谱图像进行清晰度判断的模块：利用菜谱图像的平均边缘强度作为检测值，当平均边缘强度小于预先设定的阈值时，则图像模糊，所述手持设备通过装设的图像获取装置进行重新拍摄。\n[0017] 本发明提出了一种OCR新的应用方向，先用图像获取装置进行图像采集，而后OCR引擎进行菜谱字符的光学字符识别，再加上菜谱知识库的菜谱识别及注解的应用方法，根据识别出的菜名，检索菜谱字典数据库或互联网，输出跟该菜相关的信息例如：翻译名字，制作材料，制作装置，烹制方法，相关典故等等。本发明能够很好的解决菜谱识别和注解的问题，方便广大美食爱者了解和选择他们的佳肴。\n附图说明\n[0018] 图1为本发明的菜谱识别及注解方法的流程图；\n[0019] 图2至图5为本发明的一个实施例中对手机所拍摄的菜谱进行识别及注解的示意图。\n具体实施方式\n[0020] 以下结合附图对本发明的方法进行详细说明。应该说明的是，本发明所说的手持设备至少设有图像获取装置、以及OCR识别引擎。在某些应用中，本发明所说的手持设备还应该装有可以无线上网的装置。以下以手机为例说明在手持设备上使用的本发明的菜谱识别及注解方法和装置，应该注意的是所谓手持设备可包括但不限于手机和PDA等。如图1所示，本发明的菜谱识别及注解方法包括的主要步骤：\n[0021] 步骤10，菜谱图像拍摄：通过手机摄像头拍摄得到待处理的菜谱图像；这里，手机的摄像头作为图像获取装置。\n[0022] 步骤20，图像清晰度判断：手机拍摄的菜谱图像，有时候由于手抖动，导致图像很虚，字符模糊，达不到OCR识别的要求。所以对拍摄的菜谱图像进行清晰判定，以确定是否进行下一步处理。在这里我们利用菜谱图像的平均边缘强度作为检测值，当平均边缘强度小于预先设定的阈值T时，我们认为菜谱图像模糊，需要利用作为图像获取装置的摄像头进行重新拍摄。这里的平均边缘强度是指由边缘算法如Sobel、Roberts算法等，作用于输入图像所得的边缘图像中所有边缘值的平均量。例如检测到的图像的平均边缘强度为30，预先设定的阈值为60，则认定输入的图像为模糊图像；若检测到的平均边缘强度为100，则认定输入的图像为清晰图像；如图2所示为本发明的一个实施例中手机所拍摄的菜谱图像。\n[0023] 步骤30，用户指定识别菜名区域：当拍摄的菜谱图像显示在手机交互界面上，用户通过交互操作，指定需要识别的菜名的粗略位置，通过这一步我们得到图像中的下一坐标信息。交互方式如：可以用笔点击菜名矩形内的任何一点，我们可以得到用户兴趣区域内的一个坐标点；也可以画一个包含菜名的矩形框，我们可以得到用户兴趣区域内的两个坐标点。如图2中位于“家常豆腐”字样上方的十字光标就是用户指定需要识别的菜名；也可以是如图3中矩形框，就是用户指定的需要识别的菜名区域。\n[0024] 步骤40，指定识别区域智能调整：用户交互的时候，不可能定位到需要处理菜名的精确位置，只是给出一个或者两个坐标点。我们通过这些坐标点，智能地定位到需要处理的菜名字符区域。以用户给定一个坐标点为例，先求边缘图像，而后进行膨胀，然后以该坐标为初始点进行上下左右条件扩展，也就是距离在一定范围内的边缘点为有效边缘点，进行扩展，否则不进行扩展，得到一个仅包含需要识别的菜名的外接矩形区域，即为需要识别的菜名区域内，如图4所示。\n[0025] 步骤50，调用光学字符识别OCR引擎：将定位到的菜名图像文字区域，送入OCR识别引擎进行处理，得到需要识别的菜名的文字编码流，需要识别的菜名位于需要识别的菜名区域内。\n[0026] 步骤60，检索菜名相关信息：在一个实施例中，本发明的手机装设有菜谱数据库，通过识别出来的字符文字编码流，可以检索菜谱数据库，找到与此菜相关的信息，也可以通过互联网查找相关的信息。由于OCR识别率不可能达到100％，所以在一个优选实施例中，可以采用支持模糊匹配的检索方法，以提高检索的命中率。\n[0027] 步骤70，显示相关信息：将检索得到的相关信息如：翻译菜名、相关典故、制作方法、制作装置、制作原料等，显示到手机的用户界面上，如图5所示的实施例中，这部分信息是显示在菜谱图像的下方，在其他实施例中也可显示在其他位置。\n[0028] 应用实例：用户拍摄菜谱图像，然后点选识别区域，识别区智能定位，OCR引擎识别菜名，在本机数据库进行模糊查找和匹配，将检索到的信息反馈给用户；OCR识别引擎识别菜名以后，如果本机无法检索或者用户想了解更多，可以启动网络功能，通过网络查找更多的信息反馈给用。\n[0029] 本发明实施例还提供了一种基于手持设备的菜谱识别及注解装置，该装置包括至少装设有OCR识别引擎的手持设备，以及模块a、b和c；其中模块：\n[0030] a.定位图像获取装置拍摄的菜谱图像中需要识别的菜名区域；\n[0031] b.通过OCR识别引擎识别需要识别的菜名，得到菜名的文字编码流，需要识别的菜名位于需要识别的菜名区域内；这里，模块b与OCR识别引擎通信连接，[0032] c.根据文字编码流，获取与需要识别的菜名相关的信息。\n[0033] 进一步地，在模块a前还可以包括对菜谱图像进行清晰度判断的模块：利用菜谱图像的平均边缘强度作为检测值，当平均边缘强度小于预先设定的阈值T时，则图像模糊，此时，手持设备通过装设的图像获取装置进行重新拍摄。\n[0034] 进一步地，模块a可以包括：用户通过交互操作，指定需要识别的菜名的粗略位置，得到一个或者两个坐标点；以坐标为初始点进行上下左右条件扩展，得到一个仅包含需要识别的菜名的外接矩形区域。\n[0035] 进一步地，模块c可以包括：通过文字编码流在手持设备的菜谱数据库中检索与需要识别的菜名相关的信息；或者：通过文字编码流在互联网上检索与需要识别的菜名相关的信息。\n[0036] 具体地，与需要识别的菜名相关的信息可以包括菜的翻译菜名、相关典故、制作装置、制作原料。\n[0037] 进一步地，模块c后面还可以包括模块d：显示与需要识别的菜名相关的信息。\n[0038] 具体地，模块d可以包括在手持设备用户界面上显示与需要识别的菜名相关的信息。\n[0039] 具体地，手持设备可以包括手机或PDA。\n[0040] 本发明的上述实施例中，通过手持设备的图像获取装置进行图像采集，而后OCR识别引擎进行菜谱字符的光学字符识别，再加上菜谱知识库或者互联网的菜谱识别及注解的应用方法，根据识别出的菜名，检索菜谱字典数据库，输出跟该菜相关的信息例如：翻译名字，制作材料，制作装置，烹制方法，相关典故等等。本发明能够很好的解决菜谱识别和注解的问题，方便广大美食爱者了解和选择他们的佳肴。\n[0041] 应该注意的是上述实施例是示例而非限制本发明，本领域技术人员将能够设计很多替代实施例而不脱离附后的权利要求书的范围。