商品识别装置及商品识别方法

发明专利无效专利

申请号：
CN201310533195.1
IPC分类号：G06K9/00;G06K9/46;G06K9/64;G07G1/12
申请日期：
2013-10-31
申请人：
东芝泰格有限公司

基础信息

权利要求

说明书

PDF全文

法律信息

引证文献

著录项信息

专利名称	商品识别装置及商品识别方法
申请号	CN201310533195.1	申请日期	2013-10-31
法律状态	权利终止	申报国家	中国
公开/公告日	2014-05-21	公开/公告号	CN103810468A
优先权	暂无	优先权号	暂无
主分类号	G06K9/00 ? IPC结构图谱： G 物理 G0 仪器 G06 计算；推算；计数 G06K 数据识别；数据表示；记录载体；记录载体的处理（印刷本身入B41J） G06K9/00 用于阅读或识别印刷或书写字符或者用于识别图形，例如，指纹的方法或装置（用于图表阅读或者将诸如力或现状态的机械参量的图形转换为电信号的方法或装置入G06K 11/00；语音识别入G10L 15/00）〔1，7〕	IPC分类号	G;0;6;K;9;/;0;0;;;G;0;6;K;9;/;4;6;;;G;0;6;K;9;/;6;4;;;G;0;7;G;1;/;1;2查看分类表>
申请人	东芝泰格有限公司	申请人地址	日本东京都品川区大崎一丁目11番1号变更专利地址、主体等相关变化，请及时变更，防止失效
权利人	东芝泰格有限公司	当前权利人	东芝泰格有限公司
发明人	宫越秀彦;菅泽広志
代理机构	北京市商泰律师事务所	代理人	麻吉凤;周淑娟

摘要

本发明公开一种商品识别装置及商品识别方法，其能够防止因摄影距离而导致识别率降低的情况发生，商品识别装置包括：特征量抽取部、距离测量部、文件选择部、相似度计算部及候选输出部。特征量抽取部从通过摄像部已摄影的图像中抽取该图像所包含的商品的外观特征量。距离测量部测量从摄像部到通过该摄像部已摄影的商品的距离。文件选择部从距离分类识别词库文件中选择与通过距离测量部测量出的距离相当的识别词库文件。相似度计算部将通过特征量抽取部抽取出的外观特征量与通过文件选择部选择出的识别词库文件的特征量数据进行核对，并对应每个识别对象商品计算出相似度，所述相似度是表示外观特征量与特征量数据相似到哪种程度的数据。候选输出部基于通过相似度计算部计算出的相似度，将识别对象商品作为识别商品候选进行输出。

商品识别装置及商品识别方法\n[0001] 本申请主张申请日为2012年11月5日、申请号为JP2012-243645的日本申请为优先权，并引用上述申请的内容。\n技术领域\n[0002] 本发明涉及一种从通过摄像部摄影的图像数据中识别商品的商品识别装置及商品识别方法。\n背景技术\n[0003] 有这样一种技术，从通过摄像部摄影了作为对象的物品（目标物）的图像数据中抽取所述物品的外观特征量，并与识别词库文件所登记的基准图像的特征量数据进行核对，计算出相似度，并根据该相似度识别所述物品的种类等。识别这样的图像中包含的物品的技术被称为一般物体识别（generic object recognition：一般物体识别）。关于该一般物体识别的技术在下列的文献中各种识别技术被说明。\n[0004] 柳井啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Ｖｏｌ.48，Ｎｏ.ＳＩＧ16[平成22年8月10日検索]，インターネット（柳井启司，“一般物体识别的现状与未来”，信息处理学会论文志，Vol.48，No.SIG16“平成22年8月10日检索”，互联网＜URL：http：//mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf＞）\n[0005] 此外，通过对应每个目标物（目的物）对图像进行区域分割，进行一般物体识别的技术在下列的文献中被说明。\n[0006] Jamie Shottonら，“Semantic Texton Forests for Image Categorization and Segmentation”，[平成22年8月10日検索]，インターネット（Jamie Shottonら（杰米肖顿等人），“Semantic Texton Forests for Image Categorization and Segmentation：”，“平成22年8月10日检索”，互联网＜URL：http：//citeseerx.ist.psu.edu/viewdoc/download？doi＝10.1.1.145.3036&rep＝rep1&type＝pdf＞）。\n[0007] 近年来，提案有诸如在小卖店的结账系统（POS系统）中，向顾客所购买的商品，尤其象蔬菜、水果等那样未附有条形码的商品的识别装置应用上述的一般物体识别的技术。\n在这种情况下，虽然操作员（店员或顾客）朝向摄像部对准（举起照亮）识别对象的商品，但是在对准了时，从摄像部到商品的距离未必为一定。其另一方面，摄像部的像素数由于是固定的，所以摄影图像的分辨率会因从摄像部到商品的距离而不同。因此，有这样的一种担心，在比较了从摄影图像抽取的商品的外观特征量和基准图像的特征量数据时，因为摄影图像和基准图像的分辨率不同所以相似度变低，识别率降低。\n发明内容\n[0008] 鉴于上述问题，本发明的目的在于提供一种商品识别装置及商品识别方法，其能够防止因从摄像部到商品的距离的变化而导致识别率降低的情况发生。\n[0009] 本发明第一方面涉及的商品识别装置包括：特征量抽取部、距离测量部、文件选择部、相似度计算部及候选输出部。特征量抽取部从通过摄影商品的摄像部已摄影的图像中抽取该图像所包含的商品的外观特征量。距离测量部测量从摄像部到通过该摄像部已摄影的商品的距离。文件选择部从距离分类识别词库文件中选择与通过距离测量部测量出的距离相当的识别词库文件，所述距离分类识别词库文件按照摄影了识别对象商品时的摄影距离保存表示从用所述摄影距离摄影了识别对象商品的图像中获得的所述识别对象商品的表面信息的特征量数据。相似度计算部将通过特征量抽取部抽取出的外观特征量与通过文件选择部选择出的识别词库文件的特征量数据进行核对，并对应每个识别对象商品计算出相似度，所述相似度是表示外观特征量与特征量数据相似到哪种程度的数据。候选输出部基于通过相似度计算部计算出的相似度，将识别对象商品作为识别商品候选进行输出。\n[0010] 本发明第二方面涉及的商品识别装置包括：特征量抽取部，从通过摄影商品的摄像部已摄影的图像中抽取该图像所包含的商品的外观特征量；相似度计算部，将通过所述特征量抽取部抽取出的外观特征量与距离分类识别词库文件的特征量数据进行核对，并对应每个识别对象商品计算出相似度，其中，所述距离分类识别词库文件按在摄影了所述识别对象商品时的摄影距离保存表示从用所述摄影距离摄影了所述识别对象商品的基准图像中获得的所述识别对象商品的表面信息的特征量数据，所述相似度是表示所述外观特征量与所述特征量数据相似到哪种程度的数据；以及候选输出部，基于通过该相似度计算部计算出的所述相似度，将所述识别对象商品作为识别商品候选进行输出。\n[0011] 本发明第三方面涉及的商品识别方法包括：特征量抽取步骤，从通过摄影商品的摄像部已摄影的图像中抽取该图像所包含的商品的外观特征量；文件选择步骤，从距离分类识别词库文件中选择与通过距离测量部测量出的从所述摄像部到通过该摄像部已摄影的商品的距离相当的识别词库文件，所述距离分类识别词库文件按摄影了识别对象商品时的摄影距离保存表示从用所述摄影距离摄影了所述识别对象商品的基准图像中获得的所述识别对象商品的表面信息的特征量数据；相似度计算步骤，将通过所述特征量抽取步骤抽取出的外观特征量与通过所述文件选择步骤选择出的所述识别词库文件的所述特征量数据进行核对，并对应每个所述识别对象商品计算出相似度，所述相似度是表示所述外观特征量与所述特征量数据相似到哪种程度的数据；以及候选输出步骤，基于通过该相似度计算步骤计算出的所述相似度，将所述识别对象商品作为识别商品候选进行输出。\n[0012] 本发明第四方面涉及的商品识别方法包括：特征量抽取步骤，从通过摄影商品的摄像部已摄影的图像中抽取该图像所包含的商品的外观特征量；相似度计算步骤，将通过所述特征量抽取步骤抽取出的外观特征量与距离分类识别词库文件的特征量数据进行核对，并对应每个识别对象商品计算出相似度，其中，所述距离分类识别词库文件按在摄影了所述识别对象商品时的摄影距离保存表示从用所述摄影距离摄影了所述识别对象商品的基准图像中获得的所述识别对象商品的表面信息的特征量数据，所述相似度是表示所述外观特征量与所述特征量数据相似到哪种程度的数据；以及候选输出步骤，基于通过该相似度计算步骤计算出的所述相似度，将所述识别对象商品作为识别商品候选进行输出。\n附图说明\n[0013] 下面，参照附图对本发明所涉及的商品识别装置及商品识别方法进行说明。当结合附图考虑时，通过参照下面的详细描述，能够更完整更好地理解本发明以及容易得知其中许多伴随的优点，但此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定，其中：\n[0014] 图1是作为一实施例的店铺结账系统的外观图；\n[0015] 图2是表示该店铺结账系统的扫描装置和POS终端的硬件构成的框图；\n[0016] 图3是表示在第一实施例中识别词库文件所保存的商品分类词库数据的构造的示意图；\n[0017] 图4是表示判定表的数据构造的示意图；\n[0018] 图5是表示向扫描装置的读取窗对准了商品时的状态和此时所摄影的帧图像的一例的示意图；\n[0019] 图6是表示向扫描装置的读取窗对准了商品时的状态和此时所摄影的帧图像的一例的示意图；\n[0020] 图7是表示在第一实施例中扫描装置所具有的作为商品识别装置的功能的框图；\n[0021] 图8是表示在第一实施例中扫描装置的CPU按照商品识别程序执行的信息处理次序的要部的流程图；\n[0022] 图9是具体地表示图8中的识别处理的次序的流程图；\n[0023] 图10是表示在摄影距离为短距离时触摸面板所显示的画面的一例图；\n[0024] 图11是表示在摄影距离为中距离时触摸面板所显示的画面的一例图；\n[0025] 图12是表示在摄影距离为长距离时触摸面板所显示的画面的一例图；\n[0026] 图13是表示在第二实施例中的识别词库文件的构成的示意图；\n[0027] 图14是表示在第二实施例中识别词库文件所保存的商品分类词库数据的构造的示意图；\n[0028] 图15是表示在第二实施例中扫描装置所具有的作为商品识别装置的功能的框图；\n[0029] 图16是表示在第一实施例中扫描装置的CPU按照商品识别程序执行的信息处理次序的要部的流程图；\n[0030] 图17是具体地表示图8中的识别处理的次序的前半部的流程图；以及\n[0031] 图18是具体地表示图8中的识别处理的次序的后半部的流程图。\n[0032] 附图标记说明\n[0033] 1 扫描装置 2 POS终端\n[0034] 12 触摸面板 14 摄像部\n[0035] 15 距离传感器 30、41 短距离词库文件[0036] 32 中距离词库文件 33、42 长距离词库文件[0037] 71、81 特征量抽取部 72 距离测量部\n[0038] 73 文件选择部 74、82 相似度计算部\n[0039] 75、83 候选输出部 76 第一确定部\n[0040] 77 第二确定部 84 确定部\n[0041] 85 警告部\n具体实施方式\n[0042] 下面，参照附图，对商品识别装置的实施例进行说明。另外，本实施例是使构筑将蔬菜、水果等作为商品进行处理的小卖店的店铺结账系统的扫描装置1，具有作为商品识别装置的功能的情况。\n[0043] 第一实施例\n[0044] 图1是店铺结账系统的外观图。该系统包括作为对顾客购买的商品进行登记的登记部的扫描装置1、以及作为对顾客的货款支付进行处理的结算部的POS（Point Of Sales：\n销售点）终端2。扫描装置1被安装在结账台3上。POS终端2通过拉出装置5设置在收银台4上。\n扫描装置1和POS终端2通过通信电缆300（参照图2）电气连接。\n[0045] 扫描装置1具有键盘11、触摸面板12及顾客用显示器13。这些显示、操作装置（键盘\n11、触摸面板12及顾客用显示器13）被安装在构成扫描装置1的主体的薄的矩形形状的外壳\n1A上。\n[0046] 外壳1A内置有摄像部14。此外，在外壳1A的正表面上形成有矩形形状的读取窗1B。\n摄像部14具有作为区域图像传感器的CCD（Charge Coupled Device：电荷耦合器件）摄影元件及其驱动电路、用于使摄影区域的图像在CCD摄影元件上成像的摄影透镜。摄影区域就是指从读取窗1B透过摄影透镜在CCD摄影元件的区域上成像的帧图像的区域。摄像部14输出透过摄影透镜在CCD摄影元件上已成像的摄影区域的图像。另外，摄像部14也可以是CMOS（Complementary Metal Oxide Semiconductor：互补金属氧化物半导体）图像传感器。\n[0047] 在所述读取窗1B的附近设有作为后述的距离测量部72的距离传感器15。距离传感器15用作从所述摄像部14到通过该摄像部14已摄影的商品的距离计量。作为这样的距离传感器15可适用有组合红外线LED和光电晶体管的、或者使用超声波、激光的等公知的距离传感器。\n[0048] POS终端2具有键盘21、操作员用显示器22、顾客用显示器23及票据打印机24，作为结算所需要的设备。\n[0049] 结账台3沿其里侧的顾客通道呈细长形状。收银台4在相对于沿结账台3进行移动的顾客的移动方向下游侧的结账台3的端部跟前侧，与结账台3大致垂直地被放置。而且，该结账台3的跟前侧和收银台4的跟前侧成为负责结账的店员所谓的收银员的空间。\n[0050] 在结账台3的大致中央位置上扫描装置1的外壳1A以键盘11、触摸面板12及读取窗\n1B分别朝向跟前侧的收银员侧的方式被竖直设置。扫描装置1的顾客用显示器13面向顾客通道侧安装在外壳1A上。\n[0051] 隔着结账台3的扫描装置1的顾客移动方向上游侧的负荷接受面成为用于放置装入有购物顾客购入的未登记的商品M的购物筐6的空间。另一方面，下游侧的负荷接受面成为用于放置购物筐7的空间，该购物筐7用于装入已通过扫描装置1登记的商品M。\n[0052] 图2是表示扫描装置1和POS终端2的硬件构成的框图。扫描装置1具有扫描部101、以及操作、输出部102。扫描部101安装有作为控制部主体的CPU（Central Processing Unit：中央处理器）111。而且，在该CPU111上通过地址总线、数据总线等的总线112连接有ROM（Read Only Memory：只读存储器）113和RAM（Random Access Memory：随机存取存储器）\n114。ROM113存储有后述的商品识别程序等通过CPU111执行的程序。\n[0053] 此外，总线112通过输入输出电路（未图示）连接有所述摄像部14和距离传感器15。\n此外，总线112通过连接接口115及连接接口116被延长，并在该总线112上连接有所述键盘\n11、触摸面板12及顾客用显示器13。触摸面板12具有面板型显示器12a、重叠配置在该显示器12a的画面上的触摸面板传感器12b。此外，语音合成部16也与总线112连接。语音合成部\n16按照通过总线112输入的命令向扬声器17输出语音信号。扬声器17将语音信号转换成语音并进行输出。\n[0054] 所述连接接口116与所述键盘11、触摸面板12、顾客用显示器13及语音合成部16构成所述操作、输出部102。构成操作、输出部102的各部不仅受扫描部101的CPU111的控制，而且还受后述的POS终端2的CPU201的控制。\n[0055] POS终端2也安装有作为控制部主体的CPU201。而且，在该CPU201上通过总线202连接有ROM203、RAM204、辅助存储部205、通信接口206及连接接口207。此外，所述键盘21、操作员用显示器22、顾客用显示器23、打印机24及拉出装置5的各部也分别通过输入输出电路（未图示）与总线202连接。\n[0056] 通信接口206通过LAN（Local Area Network：局域网）等的网络，与负责店铺中枢的店铺服务器（未图示）连接。通过该连接，POS终端2可与店铺服务器进行数据的发送接收。\n[0057] 连接接口207通过通信电缆300与扫描装置1的两个连接接口115、116连接。通过该连接，POS终端2从扫描装置1的扫描部101接收信息。此外，POS终端2在与构成扫描装置1的操作、输出部102的键盘11、触摸面板12、顾客用显示器13以及语音合成部16之间发送接收数据信号。另一方面，扫描装置1通过该连接向POS终端2的辅助存储部205所保存的数据文件进行访问。\n[0058] 辅助存储部205诸如是HDD（Hard Disk Drive：硬盘驱动器）装置或SSD（Solid State Drive：固态驱动器）装置，其除保存各种程序外，还保存识别词库文件30等的数据文件。在识别词库文件30中有短距离词库文件31、中距离词库文件32及长距离词库文件33三种文件。\n[0059] 图3是表示识别词库文件30所保存的商品分类词库数据的构造的示意图。如图3所示，商品分类词库数据包括对识别对象商品进行识别的商品ID及商品名、适当距离标志F0以及特征量数据。对适当距离标志F0后面将进行描述。特征量数据是从摄影了通过所对应的商品ID识别的商品的基准图像中，抽取作为该商品的表面信息（外观形状、色彩、图案、凹凸状况等）的外观上的特征量，并以参数表示该外观特征量的数据，对于一个识别对象商品，保存有从各个方向观察该商品时的特征量数据0～n。另外，特征量数据的数（n+1）并不固定。此外，特征量数据的数（n+1）因识别对象商品而不同。此外，商品名也可以不一定包含在商品分类词库数据中。\n[0060] 短距离词库文件31保存有包含从基准图像中获得的特征量数据的商品分类词库数据，所述基准图像是在摄影距离为小于预先设定的第一距离D1（cm）时的基准图像，所谓摄影距离是在为了获得基准图像而摄影了识别对象商品时的摄像部（摄像头）和商品的距离。中距离词库文件32保存有包含从基准图像中获得的特征量数据的商品分类词库数据，所述基准图像是在摄影距离为大于等于所述第一距离D1，且小于与该第一距离D1相比长的第二距离D2（cm）时的图像。长距离词库文件33保存有包含从在摄影距离为大于等于所述第二距离D2时的基准图像中获得的特征量数据的商品分类词库数据。\n[0061] 在本实施例中，各识别对象商品的商品分类词库数据被分别保存在短距离词库文件31、中距离词库文件32及长距离词库文件33中。就是说，对应每个识别对象商品事先准备用小于第一距离D1的摄影距离已摄影的第一基准图像、用大于等于第一距离D1且小于第二距离D2的摄影距离已摄影的第二基准图像以及用大于等于第二距离D2的摄影距离已摄影的第三基准图像，并从各基准图像中分别取得特征量数据从而编制商品分类词库数据，并将各个商品分类词库数据登记在符合的摄影距离不同的识别词库文件31～33中。\n[0062] 在这里，对摄影距离和识别率的关系进行说明。\n[0063] 图5及图6是表示向扫描装置1的读取窗1B对准了商品（苹果）M时的状态和此时所摄影的帧图像G1、G2的一例的示意图。图5示出摄影距离短的情况（距离=d1），图6示出摄影距离长的情况（距离=d2：d2＞d1）。\n[0064] 如果对图5的帧图像G1和图6的帧图像G2进行比较，则很明显，在从读取窗1B到商品M的距离近时，也就是摄影距离短时商品M相对于帧图像G1的尺寸被较大地映出，在距离远时，也就是摄影距离长时商品M相对于帧图像G2的尺寸被较小地映出。其结果，当将帧图像G1和帧图像G2以同一尺寸的单元划分成格子状时，则映出商品M的单元数与在摄影距离长时相比在短时多。就是说，在摄影距离短时帧图像G1所映出的商品M的分辨率变高，在摄影距离长时分辨率变低。\n[0065] 在一般物体识别的技术中，有这样的倾向，通过摄像部14已摄影的图像的分辨率和基准图像的分辨率越近似识别率越变高。也就是，如图5所示，在从读取窗1B到商品M的距离近时，如果使用短距离词库文件31或中距离词库文件32所保存的特征量数据，则识别率高，而如果是长距离词库文件33所保存的特征量数据则识别率就变低。相反，如图6所示，在从读取窗1B到商品M的距离远时，如果使用长距离词库文件33或中距离词库文件32所保存的特征量数据则识别率高，而如果是短距离词库文件31所保存的特征量数据则识别率就变低。\n[0066] 其另一方面，商品因种类而大小不同。例如，即使是相同的柑橘类，也存在有从象“蜜桔”那样小的到象“植物朱栾”那样大的。当在为尺寸小的识别对象商品时，为了获得长距离词库文件33用的特征量数据而用大于等于第二距离D2的摄影距离摄影识别对象商品时，则基准图像的分辨率显著变低。因此，不能获得可靠度高的特征量数据。相反，当在为尺寸大的识别对象商品时，为了获得短距离词库文件31用的特征量数据而用小于第一距离D1的摄影距离摄影识别对象商品时，则商品图像就会超出图幅帧。因此，还是不能获得可靠性高的特征量数据。所谓的特征量数据的可靠性低就是对于识别结果的可靠性也变低。也就是，在识别商品时，根据其商品的尺寸存在有适当的摄影距离。\n[0067] 在本实施例中，对应每个识别对象商品，将包含从用适当的摄影距离已摄影的基准图像中生成的特征量数据的商品分类词库数据的适当距离标志F0设为“1”，将包含从用不是适当的摄影距离已摄影的基准图像中生成的特征量数据的商品分类词库数据的适当距离标志F0设为“0”。\n[0068] 图7是表示作为商品识别装置的功能的框图。在本实施例中，扫描装置1具有该功能。就是说，扫描装置1具有作为识别向摄像部14的摄像区域对准了的商品M并直到确定作为销售商品的功能的特征量抽取部71、距离测量部72、文件选择部73、相似度计算部74、候选输出部75、第一确定部76及第二确定部77。\n[0069] 特征量抽取部71从通过摄像部14已摄影的图像中抽取所述图像所包含的商品M的外观特征量。距离测量部（距离传感器15）72测量从摄像部14到通过该摄像部14已摄影的商品M的距离。文件选择部73从摄影距离不同的识别词库文件（短距离词库文件31、中距离词库文件32、长距离词库文件33）中，选择与通过距离测量部72测量出的距离相当的识别词库文件3X（X=1、2或3）。\n[0070] 文件选择部73使用图4所示的数据构造的判定表40。判定表40是将短距离词库文件31、中距离词库文件32及长距离词库文件33分别与进行识别的词库文件名相关，设定了所述词库文件所登记的商品分类词库数据所涉及的摄影距离d的范围的表，诸如被存储到RAM114中。就是说，与短距离词库文件31的词库文件名相关，设定有小于第一距离D1的范围，与中距离词库文件32的词库文件名相关，设定有大于等于第一距离D1且小于第二距离D2的范围，与长距离词库文件33的词库文件名相关，设定有大于等于第二距离D2的范围。文件选择部73选择用包含有通过距离测量部72测量出的距离d的范围的词库文件名指定的识别词库文件3X。\n[0071] 相似度计算部74将通过特征量抽取部71抽取出的外观特征量与通过文件选择部\n73选择出的识别词库文件3X的特征量数据进行核对，并对应每个识别对象商品计算出表示外观特征量与特征量数据相似到哪种程度的相似度。候选输出部75基于通过相似度计算部\n74计算出的相似度将识别对象商品作为识别商品候选可选择地显示输出给触摸面板12。\n[0072] 第一确定部76将从触摸面板12所显示出的识别商品候选中选择出的识别对象商品确定作为通过摄像部14已摄影的商品M。第二确定部77当通过候选输出部75作为识别商品候选被输出的识别对象商品的最大相似度为大于等于预先设定的确定值，且该最大相似度根据从用适当的摄影距离已摄影的基准图像中获得的特征量数据被计算出时，将具有该最大相似度的识别对象商品确定作为已通过摄像部14摄影的商品。\n[0073] 各部71～77是通过扫描装置1的CPU111按照商品识别程序进行动作来实现的。当商品识别程序起动时，则扫描装置1的CPU111以图8的流程图所示的次序来控制各部。\n[0074] 首先，CPU111将后述的商品确定标志F1复位为“0”（ST1）。商品确定标志F1已被存储在RAM114中。此外，CPU111向摄像部14输出摄像导通信号（ST2）。通过该摄像导通信号，摄像部14开始摄像区域的摄像。通过摄像部14已摄影的摄像区域的帧图像被依次保存在RAM114中。此外，步骤ST1和步骤ST2的处理次序也可以相反。\n[0075] 输出了摄像导通信号的CPU111采集RAM114所保存的帧图像（ST3）。而且，CPU111确认在该帧图像中是否摄影有商品（ST4）。具体地说，CPU111从将帧图像二值化的图像中抽取轮廓线等。而且，CPU111对帧图像所映出的物体的轮廓抽取进行尝试。当物品的轮廓被抽取时，则CPU111将该轮廓内的图像视为商品。\n[0076] 当在帧图像中未摄影有商品时（ST4的否），CPU111从RAM114中采集下一帧图像（ST3）。而且，CPU111确认在该帧图像中是否摄影有商品（ST4）。\n[0077] 当在帧图像中摄影有商品M时（ST4的是），CPU111使距离传感器15动作，测量从摄像部14到商品M的摄影距离d（ST5：距离测量部74）。如果摄影距离d被测量出，则CPU111参照判定表40取得与包含有所述摄影距离d的距离范围相关的词库文件名，并选择用该词库文件名指定的识别词库文件3X（X=1、2、或3）（ST6：文件选择部73）。此外，CPU111从由帧图像中抽取出的轮廓内的图像中抽取商品M的形状、表面的色彩、图案、凹凸状况等的外观特征量（ST7：特征量抽取部71）。此外，步骤ST5、ST6和步骤ST7的处理次序也可以相反。\n[0078] 这样，当选择与摄影距离d相当的识别词库文件3X，而且取得商品M的外观特征量时，则CPU111起动识别处理（ST8）。\n[0079] 图9是表示识别处理的次序的流程图。首先，CPU111访问通过连接接口115连接的POS终端2的辅助存储部205，并检索已选择出的识别词库文件3X（ST21）。而且，CPU111从识别词库文件3X中读入一商品的数据记录（商品ID、商品名、适当距离标志F0、特征量数据0～n）（ST22）。\n[0080] 如果读入了数据记录，则CPU111对应每个所述记录的特征量数据0～n，计算出表示在步骤ST7的处理中抽取出的商品的外观特征量与所述特征量数据0～n相似到哪种程度的相似度。而且，CPU111将对应每个特征量数据0～n计算出的相似度的最大值确定作为通过所述记录的商品ID指定的商品和检测出的商品M的相似度（ST23：相似度计算部74）。另外，被确定的相似度也可以不是对应每个特征量数据0～n计算出的相似度的最大值，而是对应每个特征量数据0～n计算出的相似度的合计值或平均值等。\n[0081] CPU111确认在步骤ST23的处理中已确定的相似度是否超过预先设定的候选阈值Lmin（ST24）。当相似度未超过候选阈值Lmin时（ST24的否），CPU111前进到步骤ST26的处理。\n[0082] 当相似度超过了候选阈值Lmin时（ST24的是），CPU111将所述记录的商品ID及适当距离标志F0、相似度作为登记商品候选（识别商品候选）的数据存储到RAM114中（ST25）。而后，CPU111前进到步骤ST26的处理。\n[0083] 在步骤ST26中，CPU111确认在识别词库文件3X中是否存在有未处理的数据记录。\n当存在时（ST26的是），CPU111返回到步骤ST22的处理。就是说，CPU111从识别词库文件3X中读入未处理的数据记录，并执行上述步骤ST23～ST25的处理。\n[0084] 当在识别词库文件3X中未存在有未处理的数据记录时，就是说，如果结束了识别词库文件30的检索（ST26的否），则CPU111确认登记商品候选的数据是否被存储到RAM114中（ST27）。当未存储有登记商品候选的数据时（ST27的否），结束此次的识别处理。\n[0085] 当存储有登记商品候选的数据时（ST27的是），CPU111确认RAM114所存储的登记商品候选的数据的最大相似度是否超过预先设定的确定阈值Lmax（Lmax＞Lmin）（ST28）。当最大相似度未超过确定阈值Lmax时（ST28的是），CPU111从RAM114所存储的登记商品候选的数据中按照相似度从大到小顺序选择最大K（K＞2）品种的商品。而且，CPU111将已选择的最大K品种的商品作为登记商品候选的商品列表显示在显示器12a上（ST30：候选输出部75）。而且，CPU111确认是否从所述商品列表中选择了任意一个商品（ST31）。例如，当宣告了键盘11的再检索键未被输入选择的情况时（ST33的否），结束此次的识别处理。\n[0086] 另一方面，当通过触摸面板12或键盘11的操作输入从登记商品候选的商品列表中选择了任意一个商品时（ST31的是），CPU111从RAM114中取得所述已选择的商品的商品ID（ST32）。而且，CPU111将该已取得的商品ID确定作为销售商品的商品ID，并通过通信电缆\n330发送给POS终端2（ST：第一确定部76）。此外，CPU111将商品确定标志F1置位为“1”（ST34）。以上，结束此次的识别处理。\n[0087] 此外，当在步骤ST28中登记商品候选的数据的最大相似度超过确定阈值Lmax时（ST28的是），CPU111调查该登记商品候选的数据所包含的适当距离标志F0（ST29）。当适当距离标志F0处于被复位为“0”时（ST29的否），由于最大相似度是根据通过用不是适当的摄影距离已摄影的基准图像生成的特征量数据被计算出的相似度，所以前进到所述步骤ST30的处理。就是说，CPU111将从登记商品候选的数据中按照相似度从大到小的顺序选择出的最大K品种的商品作为登记商品候选的商品列表显示在显示器12a上。以后，CPU111执行所述步骤ST31～ST34的处理。\n[0088] 针对于此，当适当距离标志F0处于被置位为“1”时（ST29的是），CPU111前进到步骤ST33的处理。就是说，CPU111从RAM114中取得具有最大相似度的商品的商品ID。而且，CPU111将该已取得的商品ID确定作为销售商品的商品ID，并通过通信电缆330发送给POS终端2（ST33：第二确定部77）。此外，CPU111将商品确定标志F1置位为“1”（ST34）。此外，步骤ST33和步骤ST34的处理次序也可以相反。以上，结束此次的识别处理。\n[0089] 当识别处理结束时，则CPU111确认商品确定标志F1是否已被置位为“1”（ST9）。当商品确定标志F1未被置位为“1”时（ST9的否），CPU111返回到步骤ST3。就是说，CPU111采集RAM114所保存的其他帧图像（ST3）。而且，CPU111再次执行所述步骤ST4以后的处理。\n[0090] 当商品确定标志F1已被置位为“1”时（ST9的是），CPU111向摄像部14输出摄像截止信号（ST10）。通过该摄像截止信号，摄像部14停止摄像。以上，结束商品识别程序。\n[0091] 图10是在向读取窗1B对准了的商品M和摄像部14的距离d与第二距离D2相比远时，触摸面板12所显示的画面120的一例图。画面120被划分成图像显示区域121和商品候选区域122。而且，图像显示区域121显示有在步骤ST3的处理中采集到的帧图像。此外，在商品候选区域122中可选择地显示有采用通过步骤ST6的处理选择出的长距离词库文件33的特征量数据，并通过步骤ST9的识别处理获得的K品种（图10中为6品种）的商品，作为登记商品候选。\n[0092] 在长距离词库文件33中保存有包含从在摄影距离为大于等于第二距离D2时的基准图像中获得的特征量数据的商品分类词库数据。因此，由于通过摄像部14已摄影的商品M的图像与基准图像分辨率相似，所以识别率变高。\n[0093] 图11是在向读取窗1B对准了的商品M和摄像部14的距离d与第一距离D1相比远且与第二距离D2相比近时，触摸面板12所显示的画面120的一例图。画面120被划分成图像显示区域121和商品候选区域122。而且，图像显示区域121显示有在步骤ST3的处理中采集到的帧图像。此外，在商品候选区域122中可选择地显示有采用通过步骤ST6的处理选择出的中距离词库文件32的特征量数据并通过步骤ST9的识别处理获得K品种（图11中为6品种）的商品，作为登记商品候选。\n[0094] 在中距离词库文件32中保存有包含从在摄影距离为大于等于所述第一距离D1且小于与该第一距离D1相比长的第二距离D2（cm）时的基准图像中获得的特征量数据的商品分类词库数据。因此，由于通过摄像部14已摄影的商品M的图像与基准图像分辨率相似，所以识别率变高。\n[0095] 图12是在向读取窗1B对准了的商品M和摄像部14的距离d与第一距离D1相比较近时，触摸面板12所显示的画面120的一例图。画面120被划分成图像显示区域121和商品候选区域122。而且，图像显示区域121显示有在步骤ST3的处理中采集到的帧图像。此外，在商品候选区域122中可选择地显示有采用通过步骤ST6的处理选择出的短距离词库文件31的特征量数据并通过步骤ST9的识别处理获得K品种（图12中为6品种）的商品，作为登记商品候选。\n[0096] 在短距离词库文件31中保存有包含从在摄影距离为小于第一距离D1（cm）时的基准图像中获得的特征量数据的商品分类词库数据。因此，由于通过摄像部14已摄影的商品M的图像与基准图像分辨率相似，所以识别率变高。\n[0097] 当在登记商品候选中包含有符合商品M时，用户触摸该商品M等进行选择。通过这样做，符合商品M被确定作为销售商品，并在POS终端2中被销售登记。\n[0098] 此外，在显示有登记商品候选之前，在扫描装置1中判定有登记商品候选的最大相似度是否超过确定阈值Lmax。而且，当最大相似度超过确定阈值Lmax时，检验具有该最大相似度的登记商品候选的数据的适当距离标志F0。在这里，当适当距离标志F0处于被置位为“1”时，通过具有该最大相似度的登记商品候选的商品ID指定的商品被自动地确定作为销售商品，并在POS终端2中被销售登记。\n[0099] 例如，商品“蜜桔”的尺寸小。因此，短距离词库文件31所登记的识别对象商品“蜜桔”的商品分类词库数据的适当距离标志F0处于被置位为意味着可靠性高的“1”。在这种情况下，当用户将商品“蜜桔”向摄像部14与第一距离D1相比较近地对准时，则在扫描装置1中选择有短距离词库文件31。而且，计算出从摄影图像中获得的商品“蜜桔”的外观特征量和短距离词库文件31所登记的识别对象商品“蜜桔”的特征量数据的相似度。在这里，当该相似度为最大相似度且超过确定阈值Lmax时，商品“蜜桔”自动地在POS终端2中被销售登记。\n因此，用户无需从登记商品候选中选择符合的商品M，就能够将符合商品确定作为销售商品。\n[0100] 根据这样的本实施例，由于根据从向读取窗1B对准了的商品到摄像部14的摄影距离d转换要使用的识别词库文件31、32、33来进行商品识别，所以扫描装置1不论摄影距离d如何都能以高的识别率识别商品。\n[0101] 第二实施例\n[0102] 接着，参照图13～图18对第二实施例进行说明。另外，本实施例也是与第一实施例同样地使扫描装置1具有作为商品识别装置的功能的情况。因此，店铺结账系统的外观图、表示扫描装置1和POS终端2的硬件构成的框图由于与第一实施例通用，所以对通用部分附加相同符号并省略详细的说明。\n[0103] 图13是表示在第二实施例中使用的识别词库文件40的示意图。如图13所示，在第二实施例中作为识别词库文件40采用短距离词库文件41和长距离词库文件42的两种。在短距离词库文件41中保存有包含从在摄影距离为小于预先设定的阈值距离Dx（cm）时的基准图像中获得的特征量数据的商品分类词库数据。在长距离词库文件42中保存有包含从在摄影距离为大于等于所述阈值距离Dx时的基准图像中获得的特征量数据的商品分类词库数据。\n[0104] 图14是表示各识别词库文件41、42所保存的商品分类词库数据的构造的示意图。\n如图14所示，商品分类词库数据包含对识别对象商品进行识别的商品ID及商品名、多个特征量数据0～n。\n[0105] 正如第一实施例所说明的那样，识别对象商品根据尺寸（大小）有适当的摄影距离。例如，象蜜桔那样尺寸比较小的商品将与阈值距离Dx相比短的摄影距离作为适当距离。\n与此对应，象植物朱栾那样尺寸比较大的商品将与阈值距离Dx相比较长的摄影距离作为适当距离。\n[0106] 在本实施例中，关于适当的摄影距离小于阈值距离Dx的识别对象商品，将包含从用小于阈值距离Dx的摄影距离所摄影的基本图像中获得的特征量数据的商品分类词库数据保存在短距离词库文件41中。在长距离词库文件42中不保存与所述识别对象商品有关的商品分类词库数据。相反，关于适当的摄影距离大于等于阈值距离Dx的识别对象商品，将包含从用大于等于阈值距离Dx的摄影距离所摄影的基本图像中获得的特征量数据的商品分类词库数据保存在长距离词库文件42中。在短距离词库文件41中不保存与所述识别对象商品有关的商品分类词库数据。\n[0107] 图15是表示作为商品识别装置的功能的框图。在本实施例中，也是扫描装置1具有该功能。就是说，扫描装置1具有作为识别向摄像部14的摄像区域对准了的商品M并直到确定作为销售商品的功能的特征量抽取部81、相似度计算部82、候选输出部83、确定部84及警告部85。\n[0108] 特征量抽取部81从通过摄像部14已摄影的图像中抽取该图像所包含的商品的外观特征量。相似度计算部82将通过特征量抽取部81抽取出的外观特征量与距离分类识别词库文件40（短距离词库文件41和长距离词库文件42两个）的特征量数据进行核对，并对应每个识别对象商品计算出表示外观特征量与特征量数据相似到哪种程度的相似度。候选输出部83按照通过相似度计算部82计算出的相似度从大到小的顺序将识别对象商品作为识别商品候选可选择地显示输出给触摸面板12。警告部85当从识别商品候选中未选择有通过摄像部14已摄影的商品M时，则进行警告，以使改变通过摄像部14已摄影的商品和摄像部14之间的间隔。\n[0109] 各部81～85是通过扫描装置1的CPU111按照商品识别程序进行动作来实现的。当商品识别程序起动时，则扫描装置1的CPU111以图16的流程图所示的次序来控制各部。\n[0110] 在图16中，步骤ST31～ST34与第一实施例的步骤ST1～ST4的处理相同。就是说，CPU111将商品确定标志F1复位为“0”（ST31），并向摄像部14输出摄像导通信号（ST32）。而且，CPU111采集帧图像（ST33），并确认在该帧图像中是否摄影有商品（ST34）。\n[0111] 当在帧图像中未摄影有商品时（ST34的否），CPU111从RAM114中采集下一帧图像（ST33）。而且，CPU111确认在该帧图像中是否摄影有商品（ST34）。\n[0112] 当在帧图像中摄影有商品M时（ST34的是），CPU111从由帧图像中抽取出的轮廓内的图像中，抽取商品M的形状、表面的色彩、图案、凹凸状况等的外观特征量（ST35：特征量抽取部81）。在抽取了外观特征量后，CPU111起动识别处理（ST36）。\n[0113] 图17及图18是表示识别处理的次序的流程图。首先，CPU111访问通过连接接口115连接的POS终端2的辅助存储部205，并检索短距离词库文件41（ST41）。而且，CPU111从短距离词库文件41中读入一商品的数据记录（商品ID、商品名、特征量数据0～n）（ST42）。\n[0114] 如果读入了数据记录，则CPU111对应每个所述记录的特征量数据0～n，计算出表示在步骤ST35的处理中抽取出的商品的外观特征量与所述特征量数据0～n相似到哪种程度的相似度。而且，CPU111将对应每个特征量数据0～n计算出的相似度的最大值确定作为通过所述记录的商品ID指定的商品和检测出的商品M的相似度（ST43：相似度计算部82）。另外，被确定的相似度也可以不是对应每个特征量数据0～n计算出的相似度的最大值，而是对应每个特征量数据0～n计算出的相似度的合计值或平均值等。\n[0115] CPU111确认在步骤ST43的处理中已确定的相似度是否超过预先设定的候选阈值Lmin（ST44）。当相似度未超过候选阈值Lmin时（ST44的否），CPU111前进到步骤ST46的处理。\n[0116] 当相似度超过候选阈值Lmin时（ST44的是），CPU111将所述记录的商品ID和相似度作为登记商品候选（识别商品候选）的数据存储到RAM114中（ST45）。而后，CPU111前进到步骤ST46的处理。\n[0117] 在步骤ST46中，CPU111确认在短距离词库文件41中是否存在有未处理的数据记录。当存在时（ST46的是），CPU111返回到步骤ST42的处理。就是说，CPU111从短距离词库文件41中读入未处理的数据记录，并执行所述步骤ST43～ST45的处理。\n[0118] 当在短距离词库文件41中未存在有未处理的数据记录时，就是说，如果结束了短距离词库文件41的检索（ST46的否），则CPU111检索长距离词库文件42（ST47）。以后，CPU111执行与针对短距离词库文件41已执行的步骤ST42～ST46相同的处理，作为步骤ST48～ST52的处理。\n[0119] 而且，如果结束了长距离词库文件42的检索（ST52的否），则CPU111确认登记商品候选的数据是否已被存储到RAM114中（ST53）。当未存储有登记商品候选的数据时（ST53的否），结束此次的识别处理。\n[0120] 当存储有登记商品候选的数据时（ST53的是），CPU111确认RAM114所存储的登记商品候选的数据的最大相似度是否超过预先设定的确定阈值Lmax（Lmax＞Lmin）（ST54）。当最大相似度未超过确定阈值Lmax时（ST54的否），CPU111从RAM114所存储的登记商品候选的数据中按照相似度从大到小的顺序选择最大K（K＞2）品种的商品。而且，CPU111将已选择的最大K品种的商品作为登记商品候选的商品列表显示在显示器12a上（ST55：候选输出部83）。\n而且，CPU111确认从所述商品列表中是否选择有任意一个商品（ST56）。例如，当宣告了有键盘11的再检索键未被输入选择的情况时（ST56的否），CPU111诸如象“请改变摄影距离”那样从扬声器17中发音指示使摄影距离变更的语音引导（ST57：警告部85）。\n[0121] 针对于此，当通过触摸面板12或键盘11的操作输入，从登记商品候选的商品列表中选择了任意一个商品时（ST56的是），CPU111从RAM114中取得该已选择的商品的商品ID（ST58）。而且，CPU111将该已取得的商品ID确定作为销售商品的商品ID，并通过通信电缆\n330发送给POS终端2（ST59：确定部84）。此外，CPU111将商品确定标志F1置位为“1”（ST60）。\n[0122] 此外，当在步骤ST54中登记商品候选的数据的最大相似度超过确定阈值Lmax时（ST54的是），CPU111前进到步骤ST59的处理。就是说，CPU111从RAM114中取得具有最大相似度的商品的商品ID。而且，CPU111将该已取得的商品ID确定作为销售商品的商品ID，并通过通信电缆330发送给POS终端2（ST59）。此外，CPU111将商品确定标志F1置位为“1”（ST60）。此外，步骤ST59和步骤ST60的处理次序也可以相反。\n[0123] 以上，结束此次的识别处理。\n[0124] 当识别处理结束时，CPU111确定商品确定标志F1是否已被置位为“1”（ST37）。当商品确定标志F1未被置位为“1”时（ST37的否），CPU111返回到步骤ST33。就是说，CPU111采集RAM114所保存的其他帧图像（ST33）。而且，CPU111再次执行所述步骤ST34之后的处理。\n[0125] 当商品确定标志F1已被置位为“1”时（ST37的是），CPU111向摄像部14输出摄像截止信号（ST38）。通过该摄像截止信号，摄像部14停止摄像。以上，结束商品识别程序。\n[0126] 在这样的本实施例中，在短距离词库文件41中保存有适当的摄影距离小于阈值距离Dx的识别对象商品的商品分类词库数据，在长距离词库文件42中保存有适当的摄影距离大于等于阈值距离Dx的识别对象商品的商品分类词库数据。而且，当向读取窗1B对准商品M时，则不论该商品M和摄像部14的摄影距离如何，都在扫描装置1中计算出短距离词库文件\n41和长距离词库文件42两方所登记的商品分类词库数据的特征量数据和从摄影图像中抽取出的商品图像的外观特征量的相似度。\n[0127] 因此，在将因为尺寸小而适当的摄影距离小于阈值距离Dx的商品位于读取窗1B的附近，就是说以摄影距离小于阈值距离Dx的位置对准了时，商品以较高的识别率被识别。不过，在将该商品离开大于等于阈值距离Dx而向读取窗1B对准了时，识别率变低。这时，由于诸如能发出象“请改变摄影距离”那样的警告，所以用户就会将商品靠近读取窗1B。其结果，所述商品以较高的识别率被识别。\n[0128] 另一方面，当将因尺寸大而适当的摄影距离大于等于阈值距离Dx的商品离开读取窗1B大于等于阈值距离Dx的距离而对准了时，商品以较高的识别被识别。不过，在将该商品在读取窗1B的附近，就是说在摄影距离小于阈值距离Dx的位置对准了时，识别率变低。由于在这样情况下也能发出同样的警告，所以用户就会将商品远离读取窗1B。其结果，商品以较高的识别率被识别。\n[0129] 即使在这样的第二实施例中，扫描装置1也能够以较高的识别率识别商品。\n[0130] 另外，本发明并不限定于上述实施例。\n[0131] 例如，在第二实施例中，虽然在识别处理中先检索短距离词库文件41（ST41～ST46），此后，检索长距离词库文件42（ST47～ST52），但是也可以先检索长距离词库文件42（ST47～ST52），此后，检索短距离词库文件41（ST41～ST46）。\n[0132] 此外，虽然在第一实施例中将识别词库文件30设为短距离词库文件31、中距离词库文件32及长距离词库文件33三种，在第二实施例中设为短距离词库文件41和长距离词库文件42两种，但是距离分类识别词库文件的数量并不限定于此。通过设为大于等于四种能进一步提高识别率。\n[0133] 此外，虽然上述实施例的扫描装置1具有了作为商品识别装置的所有功能，但是也可以扫描装置1和POS终端2分散具有作为商品识别装置的功能。或者，也可以将扫描装置1装配到POS终端2中而一体地构成，从而该一体构成的装置具有作为商品识别装置的功能。\n此外，也可以为使店铺服务器等的外部装置存储实现发明功能的商品识别程序的全部或一部分的构成。此外，在本实施例中，虽然对固定式扫码器进行了说明，但是也可以是可移动的便携式扫码器。\n[0134] 另外，上述各实施例是在装置内部的作为程序存储部的ROM中预先存储有实现发明功能的商品识别程序的例子。不过，并不限定于此，也可以将同样的程序从网络下载到装置中。或者，也可以将存储介质所记录的同样程序安装到装置中。存储介质只要是象CD-ROM、存储卡等那样能存储程序且装置可读取的，则其形态不限。此外，通过安装或下载程序获得的功能也可以与装置内部的OS（操作系统）等协作来实现该功能。此外，也可以将本实施例的程序安装到具有通信功能的移动电话或所谓的PDA那样的便携信息终端来实现该功能。\n[0135] 另外，虽然对本发明的几个实施例进行了说明，但是这些实施例是作为例子提出的，并不意图限定发明的范围。这些新颖的实施例可以用其他各种形式来实施，只要在不脱离发明的要旨的范围内可以进行各种省略、替换、变更。这些实施例及其变形均被包含在发明的范围或要旨中，而且，包含在权利要求的范围所记载的发明和其均等的范围内。

序号	公开(公告)号	公开(公告)日	申请日	专利名称	申请人
该专利没有引用任何外部专利数据！

序号	公开(公告)号	公开(公告)日	申请日	专利名称	申请人
该专利没有被任何外部专利所引用！

我浏览过的专利

专利服务由北京酷爱智慧知识产权代理公司提供