移动装置与传送系统

暂无

技术领域\n诸如移动电话等带有内置图象俘获装置的移动装置由于CPU性 能的增加及CCD等的价格降低而广泛普及。通过俘获包含由用户提 示的字符串的图象，并使用带有内置图象俘获装置的移动装置识别字 符串，已能够从网络抽取与字符串相关的信息。为了从图象选择目标 字符串，需要一种使用移动装置上可被直观操作的简单的用户界面的 指令方法。\n在分辨率与识别率之间总是有一种折衷。当需要高识别率时，需 要对输入图象进行处理。就结构来说，移动装置俘获高分辨率图象是 困难的。因此，使用由移动装置的照相机俘获的低分辨率图象进行字 符识别。\n背景技术\n使用来自图象的字符识别结果的信息检索技术在 JP-A-331006/2000及JP-A-254622/1998中有述。另外， JP-A-23012/2000描述了使用移动装置的一种翻译器。该发明中，在图 象显示器上显示用于向图形用户界面(GUI)施加目标字符行的行部分。 然而，线段在长度和位置上是固定的，并只用作为操作者俘获图形的 索引，于是需要操作者调节字符行的位置和大小。该先有技术文献没 有公开任何用于通过移动装置中低分辨率图象俘获装置俘获图象的字 符识别。\nJP-A-23012/2000描述了一种装置，该装置在移动电话或移动装置 中包含了一种的CCD相机，以便俘获图象而进行字符识别，并具有 在语言之间进行翻译的翻译功能，以及基于检索的结果进行检索的检 索功能。然而，它没有对操作者提供任何易于从图象选择目标字符行 的装置。反之，根据本发明，任何需要时，从输入图象抽取字符行的 结果就能呈现给操作者。这使得能够易于确认目标字符行。\n此外，在平衡成本和尺寸时，包含在移动装置等中的图象俘获装 置很难设计成能够俘获高分辨率图象。如果对低分辨率图象进行识别 处理，识别率受到负面的影响，这可能会限制操作者的意图。这种情 形下，根据本发明，从俘获的低分辨率图象进行字符行的抽取处理， 并然后字符行的图象受到扩展处理。其结果是提高了字符行图象的分 辨率，改进了识别率。\n发明内容\n本发明的目的是要提供一种移动装置，该装置具有用于在俘获的 图象中抽取字符图象嵌入区域的一种装置，其中在俘获的图象变化时 字符行嵌入区域被连续抽取，且抽取的字符行嵌入区域随之显示在显 示装置上，直到使输入达到确认装置。本发明还具有用于确认字符行 确认区域要被处理以供识别的装置，用于通过网络传送识别结果的装 置，以及用于通过网络基于识别的结果接收反馈的装置。\n本发明的另一目的是要提供进而具有俘获图象分辨率提高装置的 移动装置，其中被确认的字符行确认区域受到象素补充，平滑，及二 值化。\n本发明的另一目的是要提供一种具有移动装置及通过网络连接到 该移动装置的传送系统，其中移动装置具有用于通过网络向计算机传 送移动装置上获得识别结果或字符行抽取区域的装置，且计算机具有 基于传送的识别结果或字符行抽取区域通过网络进行信息搜索，并用 于向移动装置传送搜索结果的装置。\n本发明提供了一种移动装置，包括：用于连续多次获取图像的装 置；用于显示所述获取的图像以及记号的装置；用于从所述获取的图 像中抽取最接近所述记号而表示的字符行记载区域的装置；用于确定 由所述抽取装置抽取的字符行记载区域的装置，其中，所述抽取装置 根据所述获取的图像的更新多次抽取所述字符行记载区域并且在所述 显示装置上显示根据该抽取结果被更新的字符行记载区域，直到所述 确定装置出现输入为止。\n本发明提供了一种字符行记载区域的抽取方法，所述字符行记载 区域的抽取方法用于在移动装置中从输入的图像数据中抽取字符行记 载区域，包括以下步骤：连续多次获取图像的第1步骤；在该移动装 置所具有的显示装置上显示所获取的图像以及记号的第2步骤；从所 述获取的图像中抽取最接近所述记号而表示的字符行记载区域的第3 步骤，其中，所述第3步骤根据所述获取的图像的更新多次抽取所述 字符行记载区域，并且在所述显示装置上显示根据该抽取结果被更新 的字符行记载区域。\n本发明提供了一种信息检索方法，用于检索由移动装置通过网络 获得的信息，其中包括：由移动装置的图像获取装置获取图像的第1 步骤；确定所述获取的图像中的字符行记载区域的第2步骤；识别所 述确定的图像中的字符行记载区域所记载的字符行的第3步骤：判别所 述识别结果是表示地址信息的字符串还是其它的字符串的第4步骤；当 所述判别结果为其它字符串时，便以该字符串为基础检索所述网络内的 信息，并用所述移动装置接收该检索结果的第5步骤。\n本发明提供了一种通信系统，该通信系统由移动装置和通过网络与 所述移动装置连接的计算机构成，所述移动装置包括：图像获取装置和 该获取的图像的显示装置；确定所述获取的图像中的字符行记载区域的 装置；在所述被确定的区域中进行字符行识别的装置；及通过所述网络 将所述识别结果传送至所述计算机的装置，所述计算机包括：判别所获 取的识别结果是表示地址信息的字符串还是其它的字符串的装置；当所 述判别结果为其它字符串时，便以该字符串为基础启动检索程序检索所 述网络内的信息，并将检索结果发送到所述移动装置的装置。\n本发明提供了一种服务器装置，该服务器装置可以通过网络与移动 装置进行通信，其中包括：根据由所述移动装置的图像获取装置所获取 的图像接收字符识别结果的装置，和接收包括由所述移动装置的图像获 取装置所获取的图像中的字符行的部分图像，并根据接收图像进行字符 识别的装置的至少一个装置；判别该识别结果是表示地址信息的字符串 还是其它的字符串的装置；及当所述判别结果为其它字符串时，便以该 字符串为基础启动检索程序检索所述网络内的信息，并将检索结果发送 到所述移动装置的装置。\n附图说明\n从以下参照附图所考虑的详细说明本发明以上和附加的特性及特 征将更为明显，附图中相同的标号指示相同的元件，且其中：\n图1是使用带有识别功能的移动装置的信息收集的图示；\n图2是表示根据本发明移动装置的显示内容的图示；\n图3是表示根据本发明移动装置的其它显示内容的图示；\n图4是表示本发明的移动装置硬件配置的图示；\n图5是一流程图，表示本发明网络上的移动装置和计算机内处理 流程；\n图6是字符行抽取的概念图示；\n图7是字符行抽取的流程图；\n图8是高分辨率图象生成的概念图示；\n图9是高分辨率图象生成的流程图；\n图10是字符行识别的概念图示；\n图11是字符行识别的流程图；\n图12表示显示两个或多个字符序列识别结果的一例。\n具体实施方式\n参照附图对本发明详细说明如下。\n图1示出本发明中使用的一种移动装置，且带有字符行的对象图 象用作为输入数据。标号101标记移动装置的一例。标号102标记移 动装置101上的内容显示器。但是，相机在显示器相对一侧用作为图 象俘获装置。标号103标记控制杆，且104标记按钮。内容显示器是 触摸板，通过该触摸板操作者能够直接提供指令。使用这种移动装置， 如标号105标记的对象上的URL地址和字符行图象被俘获。然后进行 字符行嵌入区域的抽取和字符行的识别。然后通过如标号106所标记 的无线通信传输数据。使用连接到如标号107所标记的网络的计算机， 可在网络上搜索、传输并显示与识别的内容相关的信息。操作者看见 显示的内容，并再次提供指令。这样，相关的信息被检索。\n图2和3表示本发明的内容的显示的例子。\n图2示出一例，其中已经对嵌入在俘获的对象图象中的URL字符 行进行了字符识别处理，并基于识别的结果已经检索出对应于该URL 的主页。首先，由图象俘获装置俘获的对象显示在由标号201标记的 内容显示器上。如202标记的一个记号显示在内容显示器中。该记号 可由操作者移动。在位于靠近该记号处对URL字符行上进行字符行矩 形抽取处理。每当需要时，由203标记的从抽取所得的矩形条(虚线内) 被重新加载，且重新加载的矩形条被重复显示。其结果是，操作者通 过操作该装置或移动记号，能够易于选择识别的目标字符行。当所得 的矩形轮廓正确地包围了目标字符行时，用户输入确认指令以进行对 于矩形条内字符行的字符的识别。此后，识别的结果显示在如204所 标记的弹出式窗口中。如果识别的结果正确，操作者输入确认指令。 结果是，如205所标记的图示所示，对应于识别结果的在URL处可得 的内容从计算机在网络上传输到移动装置。此后，操作者看见显示器 上的内容，并选择由206所标记的显示器上的图标。这样，检索到相 关的信息。\n图3示出一例，其中已经对俘获的对象上的字符行进行了字符识 别处理，并已经基于识别的结果搜索了网络上的内容，以便被显示在 移动装置上。与图2同样的方式，俘获的内容显示在由301标记的显 示器上。这时，最接近由302标记的记号的字符行被抽取。对于来自 由303标记的相继显示的字符行矩形条的字符行矩形条，用户输入一 确认指令。在识别处理之后，识别结果显示在由304标记的弹出式窗 口中。当识别结果正确时，操作者输入一确认指令。之后，识别结果 被输入到与网络连接的搜索引擎。然后，移动装置接收获得的搜索结 果，并由305标记的图示所示那样显示该结果。然后，操作者看见显 示的搜索结果，并在显示器上选择图标以接收其它内容。\n图4示出移动装置的硬件配置。该移动装置包括用于执行控制、 图象处理及字符识别的CPU 401，存储器402，显示器403，用于俘获 输入数据的图象俘获装置404，用于无线通信的天线405，扬声器406， 话筒407，电池408，按钮409，及内装在其中覆盖在通过总线连接的 显示器上的触摸板410。\n图5示出本发明的总体处理流程。首先，在移动装置中，在步骤 501使用图象俘获装置由CCD俘获目标对象的图象。在步骤501被俘 获的图象显示在显示器中。然后，如图2和3所示，在步骤502使用 最靠近记号字符作为核心进行字符行抽取处理。在步骤503这样获得 的抽取的结果以重叠的方式显示在显示器中的内容上的矩形条中。这 样，进程返回图象俘获步骤501并之后被重复，直到在步骤504操作 者输入确认指令。\n在操作者输入确认指令之后，使用显示的矩形条内的本地图象进 行图象处理，并对于识别处理输入被处理的数据。通过步骤505对从 图象俘获装置俘获的低分辨率输入图象进行分辨率提高处理。在步骤 519输入提高了分辨率的本地图象用于字符行识别。然后，在步骤506 向操作者呈现字符识别结果，并请求指令。当操作者判断出结果正确 时，操作者输入确认指令。被确认的数据通过无线通信传送到与网络 连接的计算机。如果操作者判断出不是正确的识别结果，则进程返回 步骤501处理由通信俘获装置俘获的另一图象，并重复后继的处理步 骤。\n在步骤509传送到计算机的字符行由计算机或服务器接收。在步 骤510区分字符行是URL地址还是其它字符行。如果字符行是URL 地址，则在步骤511通过因特网链接该URL地址的万维网页，并在步 骤512传送到移动装置。否则，在步骤513区分字符行是否为电子邮 件地址。如果是电子邮件地址，则在步骤512向该装置传送该地址已 经插入其地址字段的邮件处理程序。可以使用由Java等写成的应用程 序实现邮件处理程序。进而，用于邮件处理的程序可以存储到移动装 置以便再次使用。然而，当字符行既不是URL地址又不是电子邮件地 址时，在步骤515它被输入到与因特网连接的内容搜索引擎，以便以 该字符行作为关键字进行搜索。在步骤516，搜索的结果传送到该装 置并呈现给操作者。\n在移动装置侧，在步骤517接收内容，并在步骤518，操作者查 看内容，以选择所需的内容，通过选择适当的按钮进行邮件处理等。\n除了上述通过网络在移动装置和计算机之间数据传送处理共享之 外，也可设想其它的活动。例如，在移动装置上选择目标字符行嵌入 区域，然后向网络上的计算机传送本地的图象(而不是识别的结果)。 然后，由计算机进行图象处理和字符识别。还有可以设想的传送装置 用于把本地图象附加到邮件并将其传送。基于作为字符识别处理的结 果而获得的多种候选项，根据候选项的顺序可在网络上对内容进行搜 索。当使用多个候选项进行搜索，并找到适当的内容时，这些内容被 传送到移动装置，并在其上显示。如果基于所有的候选项通过搜索没 有找到适当的内容，改变参数以便重复字符识别处理。\n使用上述的处理，只是在输入字符行嵌入区域确认指令之后操作 者才能够查看所需的内容。然而，即使字符识别结果已经失败，如果 存在任何对应的的内容，则显示与操作者所需要的那些不同的内容。\n而且，可能对移动装置和计算机之间的传送和接收的服务进行收 费。由于这种服务收费，在接收字符串(失败的结果)时，或在本地图 象用作为来自移动装置被识别的对象时，或在内容向移动装置侧传送 时，管理连接到网络的计算机的公司对操作者因服务而收费。操作者 能够在确认字符串识别结果之后接收内容。结果是，保证稳定的服务。\n图6示出字符行抽取处理的概念图。首先，标号601标记由移动 装置的相机俘获的图象，602是其上描述了目标字符行的一对象。在 显示器中心由标号603标记的符号是一记号。用于抽取位于靠近记号 的字符行的处理被执行。通过由操作者点击触摸板或按钮，记号的屏 上位置能够被移动。然后，输入图象被二值化。然后生成大量黑色象 素连接的部件。标号604标记显示各连接部件的外围矩形轮廓的图 象。使用连接部件的外围矩形位置信息进行字符行抽取的处理，以便 加速处理。然后，选择并以605标记的粗体矩形轮廓指示最靠近记号 的连接部件的外围矩形轮廓之一。连接部件用作为字符行抽取的初始 状态的“核”。用作为“核”的连接部件不对操作者显示。标号606 标记字符行抽取的进展。通过从605标记的核向外把相邻的连接部件 结合在一起，形成字符行矩形条。然后，607标记作为向外结合的结 果由连接部件组成的字符行矩形。标号608标记由操作者所见到的字 符行矩形抽取结果的显示。虚线矩形条是字符行抽取结果。当操作者 看见矩形条，且矩形条正确地封闭了目标字符行时，操作者通过按钮 输入确认指令。当需要时通过移动该装置或平移记号而改变字符行结 果矩形条。\n图7示出字符行抽取处理的处理流程。字符行抽取处理以以下的 方式实现。首先，在步骤701由图象俘获装置俘获图象。在步骤702 使输入的图象二值化，并然后在步骤703进行噪声去除。接下来，在 步骤704，从二值图象生成连接部件，并在步骤705选择最接近记号 的连接部件作为初始值的“核”。然后在步骤706，在从作为“核” 的连接部件起给定的短范围内使连接部件结合在一起以形成一字符行 矩形条。然后，输出字符行位置。在步骤707在显示器中动态地显示 该矩形条。进程返回到图象俘获步骤701，重复后继的处理步骤，直 到用户在步骤708输入确认指令。当用户已经输入确认指令时，字符 行位置进到对高分辨率字符行抽取处理。\n图8示出高分辨率图象生成的概念图。在为识别处理输入字符行 图象之前，作为对象的本地图象受到象素补充以生成高分辨率本地图 象，改进识别率。标号801标记在操作者已经对字符行矩形条输入确 认指令之后的显示。标号802标记通过对来自基于字符行矩形位置信 息在图象俘获时获得的图象的本地图象的修剪而获得的图象。本地图 象受到象素补充处理达到较高的分辨率，其结果是由标号803标记的 图象。当以这种方式通过象素补充实现分辨率的提高时，每一模糊的 线段以阶梯构型出现。这种情形下，对图象进行平滑处理。结果是， 如同由804标记的图示那样，降低了噪声，使得模糊的线段的构型也 变得平滑了。然后，进行二值化处理以生成高分辨率无噪声的字符模 式图象。清晰的构型如805所标记的图示所示。即使使用低分辨率俘 获装置，但通过输入高分辨率线条图象供识别处理，能够获得高分辨 率的识别结果。\n图9示出高分辨率图象生成的处理流程。首先，基于在字符行抽 取处理中确定的字符行位置，在步骤901从图象俘获时获得的图象修 剪本地图象。在步骤902通过象素补充本地图象受到图象扩展。然后 扩展的图象在步骤903受到平滑处理，之后在步骤904被平滑化。结 果是，生成高分辨率二值图象。\n图10表示字符行识别处理的概念图。标号1001标记已经被输入 的字符行图象。标号1002标记对于字符行图象为每一连接部件生成 的字符模式候选项。标号1003标记只截取“h”获得的模式，而1004 标记组合“ht”获得的模式。通过从这些组合中选择适当的字符模式， 并在网络上进行路由搜索，能够获得字符行的识别结果。通过在网络 上向字符识别模块输入模式而获得的结果由标号1005标记。需要说 明如下：正如由1006标记的，对于“h”的模式1003获得“h”的识 别结果；而如由1007的标记的，对于两个字符“ht”的组合模式的 识别结果是“n”(即“ht”被手为“n”)。这样，对于每一模式的字 符识别结果与用于字符识别的模板之间的相似性程度被记录在以分割 假设图描绘的网络上。标号1008标记基于字数据库和识别结果之间 的相似性程度通过网络进行路由搜索获得的结果，其中每一识别处理 的记录已经被收集起来。这个例子中，对于常常作为URL出现的字 (http，：//，www.co.jp，com，等)的路由基于字数据库被筛选/缩减。对 于其它字的每一路由使用识别结果的相似性程度作为索引而被确定。 为了获得字数据库，以下的手段应考虑到：URL地址是从DNS(域名 服务器)获得的，或者当符号牌等用作为对象时，现有的字是使用地 理位置信息被筛选/缩减的。通过把确定的路由上的字符串在一起获 得的字符行由标号1009标记，这是对字符行图象识别的结果。\n图11示出字符行识别的处理流程。首先，在步骤1101对输入的 字符行图象生成作为字符模式候选项的组合以便构成网络。然后，在 步骤1102，各字符模式候选项受到字符识别，并且使其对应的识别 结果和相似性程度相配。接下来在步骤1103，使用先前存储的字数 据库进行网络上的路由限制。然后，使用字数据库限制和字符识别结 果的相似性程度确定网络上最优路由。从而，获得字符行识别结果。\n图12示出两个或多个字符序列识别结果。1201是移动装置的显 示屏幕，1202是记号。当矩形对字符行诸如1203“ABCD RPOJECT co.”画出轮廓以进行识别操作时，对由矩形画出轮廓的字符行进行 字符序列识别处理。每当在识别操作中引起模糊时，在弹出式框1204 中出现两个或多个识别结果的候选项。在图12中，识别结果候选项 的数目是三，而正确的回答是候选项1，操作者可以点击候选项1或 输入号码“1”而选择候选项1。另外，用户能够简单地以手指或指 点物体触摸触摸板。于是，选择了正确的识别结果，然后通过网络被 传送到PC。此后，根据选择的字符序列进行处理。\n使用上述的方法，能够选择由操作者确认的字符行，并从字符识 别的结果获得信息内容。\n根据本发明，能够对其上描述了给定的字符行的对象进行拍摄， 并使用内置有图象俘获装置的移动装置基于字符行获得信息。进而， 当操作者选择给定的字符行时，能够便于操作移动装置。而且进而， 即使当使用低分辨率图象俘获装置时，能够通过以虚假的方式生成高 分辨率图象，并进行字符识别处理而提高识别率。\n本发明的原理、优选实施例及操作方式已经体现在上述说明书 中。然而，应受到保护的本发明不限于所公开的特定的实施例。这里 所述的实施例只是示例性而不是限制性的。在不背离本发明的精神之 下可以通过其它及所采用的等价物作出变形和变化。因而，要强调的 是，所有属于如权利要求中定义的本发明的精神和范围的这些变形和 变化和等价物均包括在内。