一种衣柜智能管理装置及方法

一种衣柜智能管理装置及方法\n技术领域\n[0001] 本发明涉及物联网和智能家居技术领域，具体是指一种衣柜智能管理装置及方\n法。\n背景技术\n[0002] 随着物联网、智能家居概念的推广，越来越多的消费者意识到设备的智能化可以\n为生活带来更多便利。正因如此，将原有的设备智能化就成了学术研究和产业资金的投资\n热点。但市场上现有的家庭智能硬件几乎都基于原有的电子设备，对衣柜等传统家具的智\n能化尝试却少有涉及。\n[0003] 对于普通家庭来说，衣柜作为室内最主要的家具之一，在日常生活中的使用频度\n非常高。但是传统的衣柜也存在有非常大的缺点，例如：无法在不去翻动的情况下查找想要的衣物；很多衣物购买后很少使用，甚至被遗忘，但想找时却找不到存放的位置等。\n[0004] 公布号为103246810的申请在2013年8月14日公开了一种物联网衣柜装置、系统及\n智能搭配推荐方法，其中使用近距离RFID(射频识别)或二维码的识别方式。该方案的硬件\n装置由通信模块、读码器模块、存储模块、计算模块、电源模块组成。其核心在于使用读码器模块读取衣物上的RFID标签或二维码信息进行衣物的识别。所读取的信息包括：品种、品\n牌、价格、使用季节和天气、颜色、样式、质地、购买年份、适用场合。然后利用这些信息来解决衣柜中衣物不可知的问题。但该方法存在如下问题：1)必须在衣物上附加RFID标签或二\n维码标签，这在现有的条件没有实际可操作性；2)包含在RFID标签或二维码中的衣物详细\n信息在实际中无法直接从衣物上得到，需要用户自己编写信息，工作量较大且繁琐；3)该方案仅能实现衣物是否存放在衣柜中的功能而无法实现衣物在衣柜中的定位功能，不能给查\n找衣物带来便利。\n[0005] 公告号为201847134的申请在2011年6月1日公开了一种智能衣柜，使用中距离\nRFID的识别方式，该智能衣柜包括柜体、RFID阅读器、显示器及通电后产生磁场覆盖整个柜体并能检测到柜体内安装有RFID芯片的衣物的RFID天线。当通电时，天线将检测到柜体内\n的RFID芯片，并由RFID阅读器读取这些检测到的RFID信息然后显示在显示器上。该方案试\n图解决不开柜门就能显示柜中衣物信息，达到方便查找衣物的目的。但该方案除了存在上\n面1)～3)的缺点外，还存在如下缺点：4)天线虽能通过调整频率、方向、形状、功率、结构等方式改变电磁场大小和形状以覆盖整个柜体，但在实际中不可能将电磁场大小形状调整到\n和柜体完全一致。这样就造成2个方面的问题：a.柜体中存在读取死区，造成RFID漏读；b.柜体外存在可读取的电磁场区域，造成柜体外RFID误读。5)天线需要一直工作，造成耗电量较大。\n[0006] 公告号为202636115的实用新型专利在2013年1月2日公开了一种智能衣柜处理系\n统及智能衣柜，使用接触开关的识别方式。该方案设计的衣柜有一个以上的存储空间，每个存储空间内设置有一个接触开关和一个指示灯，在衣柜上设置有条码或二维码阅读器和摄\n像头及带触摸功能的显示屏。当存入衣服时，先扫描衣服上的条码或二维码并拍照，记录相关信息，然后当衣服挂入衣柜时将触动接触开关，此时系统将先前扫描的记录和触动开关\n所在的储物空间相关联，达到定位的目的。此外用户还能在带有触摸功能的显示屏上进行\n衣服的查找功能。但该方案存在如下问题：a)必须在衣服上附加条码或二维码标签，这在现有的条件没有实际可操作性；b)包含在条码或二维码中的衣服详细信息在实际中无法得\n到；c)接触开关仅能由悬挂衣服的衣架触发，对于折叠按层堆积放置的衣物没有触发效果；\nd)需要对现有衣柜进行很大改动，成本较高推广普及难度大。\n发明内容\n[0007] 针对现有智能衣柜管理存在的信息记录繁琐、需要额外附加标签或RFID芯片以及\n需要对衣柜进行大改动的问题，本发明提供了一种衣柜智能管理装置及方法。本发明的衣\n柜智能管理装置及方法仅从衣物图像中提取用于区分不同款式不同衣物的特征信息，然后\n利用这些特征信息对衣柜中的衣物进行管理、适用于各种类型衣柜且不改变衣柜本身结\n构。\n[0008] 一种衣柜智能管理装置，包括图像采集模块、图像分割模块、衣物特征提取模块、衣物存储模块和人机交互界面。\n[0009] 图像采集模块拍摄衣物的图像并发送给图像分割模块。图像分割模块从拍摄的图\n像中将衣物图像从背景中提取出来，然后将衣物图像发送给衣物特征提取模块。\n[0010] 衣物特征提取模块从衣物图像中进行特征提取，生成衣物的特征向量，特征向量\n中包含衣物图像、颜色标签、颜色特征、局部纹理特征、纹理分类、轮廓特征和轮廓分类。其中，颜色标签为文本形式，通过统计衣物图像中不同颜色下的像素数来确定。颜色特征用二进制向量表示，通过对衣物图像进行颜色特征提取获得。纹理分类为文本形式，利用已有标记纹理类型的衣物图片训练生成纹理分类器模型，将衣物图像的图像纹理特征通过训练好\n的分类器模型来确定纹理分类。轮廓分类为文本形式，利用已有标记轮廓类型的衣物图片\n训练生成轮廓分类器模型，将衣物图像的轮廓特征通过训练好的轮廓分类器模型来确定轮\n廓分类。\n[0011] 衣物存储模块利用衣柜存放衣物的数据表记录衣柜存放衣物的信息，每一条记录\n信息包括衣柜位置和衣物的特征向量。\n[0012] 用户通过人机交互界面控制图像采集模块工作，查看衣柜存放衣物的信息，对衣\n物进行浏览、查找或存取操作。\n[0013] 基于提供的衣柜智能管理装置，本发明还提供了一种衣柜智能管理方法，实现步\n骤如下：\n[0014] 步骤1，利用图像采集装置拍摄衣物的图像，并传送给图像分割模块；\n[0015] 步骤2，图像分割模块从拍摄的图像中将衣物从背景中分离，将背景像素变为透\n明，获取仅包含衣物的图像；\n[0016] 步骤3，对步骤2得到的衣物图像进行特征提取，包括步骤3.1～步骤3.6；\n[0017] 步骤3.1，统计衣物图像中不同颜色下的像素数，为衣物标记文本形式的颜色标\n签；\n[0018] 步骤3.2，对衣物图像进行颜色特征提取，获得二进制向量表示的颜色特征；\n[0019] 步骤3.3，利用图像纹理特征提取方法从衣物图像中提取局部纹理特征；\n[0020] 步骤3.4，设置文本形式的纹理分类，利用标记纹理分类的已有衣物图片训练生成\n纹理分类器模型，将衣物图像的图像纹理特征通过训练好的纹理分类器模型来确定纹理分\n类；\n[0021] 步骤3.5，利用图像轮廓特征提取方法从衣物图像中提取轮廓特征；\n[0022] 步骤3.6，设置文本形式的轮廓分类，利用标记轮廓分类的已有衣物图片训练生成\n轮廓分类器模型，将衣物图像的轮廓特征通过训练好的轮廓分类器模型来确定轮廓分类；\n[0023] 步骤4，生成衣物的特征向量，特征向量中包含步骤2获取的衣物图像以及步骤3得\n到的颜色标签、颜色特征、局部纹理特征、纹理分类、轮廓特征、轮廓分类。\n[0024] 步骤5，根据衣柜存放衣物的数据表，进行衣物的存取、查找和浏览。衣柜存放衣物的数据表中，每一个数据项包含一件衣物的特征向量以及在衣柜中的具体位置。\n[0025] 本发明的优点与积极效果在于：(1)不用在衣物上附加任何识别器件就能准确识\n别不同衣物，同时不更改现有衣柜结构，比现有智能衣柜系统更具有实际可操作性；(2)硬件结构简单，识别逻辑由图像识别方法完成，成本低；(3)建立同实际衣柜结构相同的2D或\n3D模型，使得衣物管理更加人性化，用户体验更佳。\n附图说明\n[0026] 图1是本发明实施例所示的衣柜智能管理装置的结构框图；\n[0027] 图2是本发明实施例所示的衣柜智能管理方法的流程示意图；\n[0028] 图3是本发明实施例中进行颜色划分的示意图；\n[0029] 图4是本发明实施例进行取衣的流程示意图；\n[0030] 图5是本发明实施例进行存衣的流程示意图。\n具体实施方式\n[0031] 下面将结合附图和实施例对本发明作进一步的详细说明。\n[0032] 本发明提供的是一种低成本、实际可操作、仅从衣物图像中就可提取用于区分不\n同款式不同衣物的特征信息，然后利用这些特征信息对衣柜中的衣物进行管理、适用于各\n种类型衣柜且不改变衣柜本身结构的衣柜智能管理装置及方法。\n[0033] 如图1所示，本发明的衣柜智能管理装置，至少包括图像采集模块1、图像分割模块\n2、衣物特征提取模块3、衣物存储模块4以及人机交互界面5。此外，根据需求，还设计有网络连接模块6、GPS定位模块7、麦克风8和扬声器9等。\n[0034] 图像采集模块1可以是摄像机、智能拍照终端等，用于拍摄衣物的图像。所拍摄的\n原始图像中除了衣物外还包含背景图像，因此需要进行背景剔除。图像采集模块1将拍摄的原始图像发送给图像分割模块2。\n[0035] 图像分割模块2用于将收到的原始图像进行背景和前景的分割，将与衣物无关的\n背景像素变为透明像素，提取仅包含衣物的图像区域，然后将得到的衣物图像输出给衣物\n特征提取模块3。\n[0036] 衣物特征提取模块3对衣物图像进行图像处理，生成衣物的特征向量，特征向量中\n包含衣物图像、颜色标签、颜色特征、局部纹理特征、纹理分类、轮廓特征和轮廓分类。其中，衣物图像为图像分割模块2输出的图像。颜色标签为文本形式，通过统计衣物图像中不同颜色下的像素数来确定。颜色特征用二进制向量表示，通过对衣物图像进行颜色特征提取获\n得。局部纹理特征利用图像问题特征提取方法来获得，可以是几种图像纹理特征的组合。纹理分类为文本形式，将衣物图像的纹理特征通过训练好的纹理分类器模型来确定纹理分\n类。轮廓特征对衣物图像提取轮廓特征，可以是几种轮廓特征的组合。轮廓分类为文本形\n式，利用已有标记轮廓类型的衣物图片训练生成轮廓分类器模型，将衣物图像的轮廓特征\n通过训练好的轮廓分类器模型来确定轮廓分类。\n[0037] 衣物存储模块4主要用于记录衣柜存放衣服的信息。其内保存有预先训练的纹理\n分类器模型和轮廓分类器模型，衣柜的2D或3D模型，衣柜存放衣物的数据表，当前衣柜智能管理装置的版本号以及版本信息等。其中，衣柜存放衣物的数据表中，每一条信息至少包括衣柜位置和衣物的特征向量，此外，还可以记录该衣物最近存取时间、存取频率等等。所存放的衣柜的2D或3D模型主要是提供给用户直观的显示界面，还可以设计用户通过点击衣柜\n不同的储物格，展示该储物格中所存放的衣物信息。\n[0038] 人机交互界面5用于实现人机交互，显示用于交互的信息。人机交互界面5可以是\n触摸显示屏、计算机或智能手机等智能显示终端。用户通过人机交互界面5控制图像采集模块1工作，并可查看各模块的输出结果，查看衣柜存放衣物的信息，对衣物进行浏览、查找或存取操作等。\n[0039] 网络连接模块6通过人机交互界面5启动，通过网络连接模块6将衣柜智能管理装\n置接入互联网，与云端服务器相关联，可定期将衣柜存放衣物的信息和衣柜智能管理装置\n的版本号发送到云端服务器中备份；也可定期从云端服务器接收衣柜智能管理装置的更新\n信息及天气预报、购物信息等推送信息。\n[0040] GPS定位模块7用于获取本地衣柜的地理位置，用户可通过人机交互界面5来查看\n衣柜的地理位置，还可通过网络连接模块6将地理位置发送给云端服务器。\n[0041] 用户还可通过人机交互界面5打开麦克风8和扬声器9。麦克风8可获取用户的语音\n输入，扬声器9可播放提示信息给用户。\n[0042] 本发明提供的衣柜智能管理方法，基于上述装置，如图2所示，实现步骤包括步骤1～步骤5，下面对各步骤进行具体说明。\n[0043] 步骤1，利用图像采集模块1拍摄衣物的图像。所拍摄的图像称为原始图像，包含衣物在内，同时也还含有背景。\n[0044] 步骤2，图像分割模块2从步骤1拍摄的原始图像中将衣物从背景中分离，将背景像\n素变为透明，获取仅包含衣物的图像。\n[0045] 可利用指定包含前景的矩形区域来提取前景像素的方法来将衣物从背景中分离。\n本发明实施例使用GrabCut方法将前景物体，也就是衣物从整个场景中分离。GrabCut方法\n是一种从复杂背景中提取前景目标的交互式的分割算法。经过此步骤，图片中仅存在和衣\n物有关的像素，其它无关像素变为透明。\n[0046] 此步骤输出为仅包含衣物有关的图像区域，删除其它无关区域的图像。\n[0047] 步骤3，对衣物图像进行特征提取，特征提取的步骤包括步骤3.1～步骤3.6。\n[0048] 步骤3.1，进行颜色分类，统计衣物图像中的不同颜色下的像素数，为衣物标记颜\n色标签，颜色标签为文本形式。\n[0049] 本发明实施例将抠图得到的图片颜色转换到HSL(色相、饱和度、明度)空间。其中H取值范围为0～360，S取值范围为0～100，L取值范围为0～100。\n[0050] 在HSL空间中，将具体颜色数值通过阈值的方式量化成人所能直观理解的颜色文\n本类别。本发明实施例将颜色分为“红”，“橙”，“黄”，“绿”，“青”，“蓝”，“紫”，“灰”，“白”，“黑”，“杂色”共11种颜色。其中除了“白”、“黑”、“杂色”外其它颜色都具有“浅”，“正”，“深”三种修饰词。\n[0051] 各颜色的取值范围如下：\n[0052] 红：若H∈(330,15]则为红色域；\n[0053] 橙：若H∈(15,45]则为橙色域；\n[0054] 黄：若H∈(45,90]则为黄色域；\n[0055] 绿：若H∈(90,150]则为绿色域；\n[0056] 青：若H∈(150,210]则为青色域；\n[0057] 蓝：若H∈(210,270]则为蓝色域；\n[0058] 紫：若H∈(270,330]则为紫色域；\n[0059] 每个色域中具体浅、正、深颜色划分如图3所示，图3中横坐标为S，纵坐标为L。根据图3确定划分区域的直线方程，从而确定具体的颜色类型及修饰词。图3中：L∈(L1,100]为白色域，L∈[0,L8]为黑色域；在S∈[0,S1]且L∈(L8,L1]的区域为灰色区域，当L∈(L8,L6]时为深灰，当L∈(L6,L3]时为正灰，当L∈(L3,L1]时为浅灰。在S∈(S1,100]且L∈(L8,L1]的区域根据划分区域的直线方程来确定颜色的浅、正、深。其中，L1～L8以及S1都是设定的值，可根据经验来设定。\n[0060] 除“黑”、“白”、“杂色”外的8种颜色，每种颜色有浅正深3种颜色修饰，加上黑白2种颜色，共8*3+2＝25种颜色，对所得到的衣物图像中的所有像素，统计分别属于这25种颜色下的像素个数，并将统计结果按照从大到小的顺序排列，此处某种颜色的统计结果＝属于\n该颜色的像素数/衣物图像中的总像素数。设定阈值c1，且1>c1>0，若排列的第1种颜色结果>c1，则使用该颜色作为衣物的颜色标签；若排列的第1种颜色结果c1，则将第1，2种颜色作为衣物的颜色标签；如果上述情况都不满足，则使用杂色作为衣物颜色标签。\n[0061] 此步骤输出为代表衣物颜色标签的文本。\n[0062] 上面颜色分类以HSL空间作为说明，在实际应用中，也可以在其它颜色空间，例如\nHSV(色调、饱和度、亮度)、RGB(红、绿、蓝)、CMY(青、洋红或品红、黄)、CMYK(青、洋红或品红、黄、黑)、HSB(色相、饱和度、亮度)、Ycc、XYZ、Lab、YUV等等，使用类似图3的直线或曲线划分方法来设定颜色区域。本发明实施例给出上面11种颜色，用户也可根据需要设定更加符合\n使用的颜色分类。\n[0063] 步骤3.2，对步骤2获取的衣物图像，提取二进制向量表示的颜色特征。\n[0064] 本发明实施例在HSL空间做颜色直方图统计，直方图的H部分采用颜色分类中的红\n～紫区间进行量化；S和L的量化阈值为10。其中颜色特征的量化阈值可以根据经验设定为\n其他不同的取值。\n[0065] 本发明实施例中本步骤输出为代表衣物颜色特征的、在HSL空间进行的颜色直方\n图统计得到的二进制向量表示的颜色特征。\n[0066] 此外，本步骤的颜色特征还可以使用主色调直方图、颜色集、颜色聚合向量、颜色相关图或者颜色自动相关图等技术。本发明实施例使用的是全局颜色特征，也可以使用分\n区域局部颜色特征。\n[0067] 步骤3.3：利用图像纹理特征提取方法，从步骤2得到的衣物图像中提取局部纹理\n特征。\n[0068] 本发明实施例分别从抠图结果中提取HOG(方向梯度直方图)、SURF(加速健壮特\n征)以及LBP(局部二值模式)特征。\n[0069] 本发明实施例中本步骤输出为代表衣物局部纹理特征的3个二进制向量信息。\n[0070] 局部纹理特征还可以使用其它图像特征或其组合，例如Haar特征、FAST特征点、灰度共生矩阵等。\n[0071] 步骤3.4：进行纹理分类。\n[0072] 本发明实施例将衣物的纹理分为：“纯色”，“条纹”，“格子”，“图案”，“大花”，“碎花”，“其它”7种类别。\n[0073] 事先可从网络上获取大量衣物图片，分别使用以上类别标注，并对每一个图片提\n取图像纹理特征，例如本发明实施例中提取HOG和LBP特征，然后训练用于纹理分类的分类\n器模型，例如使用SVM(支持向量机)训练多类别分类器模型。在使用时，将从衣物图像中提取的HOG和LBP特征输入上述SVM多类别分类器模型分类，从而得到所需的衣物纹理分类结\n果。\n[0074] 本发明实施例中本步骤输出为代表衣物纹理分类的文本类别。\n[0075] 本发明实施例给出上面7类衣物的纹理，用户也可根据需要设定更加符合实际的\n纹理分类，类别种类和具体描述都可根据需要设定。\n[0076] 步骤3.5：利用图像轮廓特征提取方法从步骤2得到的衣物图像中提取轮廓特征。\n[0077] 本发明实施例将抠图结果的Hu不变矩作为该衣物的轮廓特征，此步骤输出为代表\n衣物轮廓特征的Hu不变矩二进制向量信息。\n[0078] 衣物图像的轮廓特征还可以使用其它图像轮廓特征或其组合，例如CCH(链码编码\n直方图)、PGH(成对几何直方图)、CFSS(简单形状描述符的结合)、Hausdorff等。\n[0079] 步骤3.6：轮廓分类。\n[0080] 本发明实施例将衣物的轮廓分为：“长袖”，“短袖”，“长裤”，“短裤”，“背心”，“袜子”，“领带”，“内裤”，“文胸”，“裙子”，“其它”共11种类别。\n[0081] 同样，事先从网络上获取大量衣物图片，分别使用以上轮廓类别标注，并提取每个图片的轮廓特征，例如本发明实施例中对每一个图片提取Hu不变矩特征，然后训练用于轮\n廓分类的分类器模型，例如使用SVM(支持向量机)训练多类别分类器模型。将从抠图结果中提取Hu不变矩特征输入上述SVM多类别分类器模型分类，从而得到所需的衣物轮廓分类结\n果。本发明实施例此步骤输出为代表衣物轮廓分类的文本类别。\n[0082] 本发明实施例给出上面11种衣物轮廓类别，用户也可根据需要设定更加符合实际\n的类别，类别种类和具体描述都可根据需要设定。\n[0083] 此外，步骤3.4的纹理分类和步骤3.6的轮廓分类，在进行分类模型训练以及分类\n时，还可以采用其它分类器或其变种，例如神经网络、AdaBoost、随机森林、深度学习等方法。\n[0084] 步骤4，生成衣物的特征向量，特征向量中包含步骤2获取的衣物图像以及步骤3得\n到的颜色标签、颜色特征、局部纹理特征、纹理分类、轮廓特征和轮廓分类。\n[0085] 步骤5，设计衣柜存放衣物的数据表，用于记录衣柜存放衣服的信息。\n[0086] 衣柜存放衣物的数据表至少包括衣柜位置和所放衣物的特征向量；此外，还可以\n记录该衣物最近存取时间、存取频率等等。\n[0087] 对衣柜可以建立衣柜的2D或3D模型，并为衣柜的储物格编号，可以用储物格编号\n来标记储物格位置。本发明实施例中设计的衣柜存放衣物的数据表中，每一条信息包括储\n物格位置、位置序号、衣物的特征向量、是否已取出以及存取时间对队列。位置序号为衣物在储物格中上下或左右或前后顺序的数字。\n[0088] 通过上面步骤1～步骤4的处理，一件衣物可对应得到一个特征向量，根据衣柜存\n放衣物的数据表，可实现衣物的存取和查找等。\n[0089] 本发明的衣柜智能管理装置的人机交互界面5，在待机状态时，显示屏上仅显示当\n前时间、日期、天气信息、空气污染指数信息。通过使用命令，例如语音命令或屏幕手势、操作或按键等，唤醒衣柜智能管理装置进入工作状态，并根据提示(语音或屏幕显示)进行下\n一步操作：存衣，取衣，整理，浏览，查找。\n[0090] 如图4所示，用户存放衣物时，用户使用命令进入存衣模式，在人机交互界面5上显示和实际衣柜结构相同的2D或3D模型，用户选择需要存衣的衣柜储物格，激活摄像头，同时在屏幕显示摄像头所拍摄画面，并在画面中显示一个前景矩形框，提示用户需要将衣物完\n整放入矩形框内。用户将衣物放入矩形框后，发命令给摄像头抓拍图片。对所拍摄的图像，进行前景衣物提取以及提取衣物特征，获得该待存衣物的特征向量[衣物图像，颜色特征，局部纹理特征，纹理分类，轮廓特征，轮廓分类]。进行衣物识别，更新衣柜存放衣物的数据表，过程包括(1.1)～(1.4)。\n[0091] (1.1)首先，将待存衣物的颜色特征与衣柜存放衣物的数据表中记录的衣物的颜\n色特征进行逐一比对，获取颜色特征的相似度；例如颜色特征是颜色直方图，则和衣物存储模块中保存的衣服颜色直方图进行逐一比对，使用欧氏距离作为相似度度量，将距离值从\n小到大排序，设最小距离为Dmin。\n[0092] (1.2)然后，根据设定的阈值n1来判断是否存在与待存衣物的颜色特征相近的衣\n物，若最小距离Dmin大于n1，说明待存衣物为新衣物，当前不存在该衣物存取的记录，则直接将待存衣物放入所选的储物格，并更新衣柜存放衣物的数据表。若最小距离Dmin小于等于\nn1，说明待存衣物可能不是新衣物，当前存在与待存衣物的颜色相近的衣物，继续执行\n(1.3)。\n[0093] (1.3)将待存衣物的图像纹理特征与相似度距离值小于n1的衣物的图像纹理特征\n进行匹配，获取匹配度，匹配度为匹配的特征点个数/待存衣物图像的特征点个数，此外的衣物图像是指进行图像背景分离后的图像。例如对图像纹理特征SURF特征进行匹配，特征\n匹配方法可以使用Flann-based matcher或Brute-force matcher。将匹配度从高到低排\n序，设最高匹配度为Mmax，次高匹配度为M1。\n[0094] (1.4)设定阈值n2、n3和n4，其中n2