根据用户的当前心情产生推荐的方法和装置

1. 一种对一个或多个项目产生推荐的方法，包括以下步骤：
使用摄像机(150-1；150-N)获取用户(140)的图像；
使用处理器(400)对所述图像进行面部表情分析以检测在摄象机 的观看区域中的用户(140)的面部和识别表示所述面部的面部表情的 特征图像性质；以及根据所识别的特征图像性质产生对至少一个项目的推荐。
2. 权利要求1的方法，该方法应用于一个电视节目推荐器，所述方法 包括如下步骤：
-从电子节目指南(130)的源中获得多个项
-使用一组置顶终端/电视机(160)给用户展示推荐。
3. 权利要求1的方法，其中所述一个或多个项目是节目、内容或产品 。
4. 一种对于多个项目中的用户选择产生用户(140)的用户档案(300 )的方法，所述方法包括以下步骤：
监视一个或多个项目的一个用户(140)的选择；
使用聚焦于该用户的摄象机获取一个用户(140)的图像；以及
使用处理器(400)对所述图像进行面部表情分析以检测在摄象机 的观看区域中的用户(140)的面部和识别表示所述面部的面部表情的 特征图像性质；以及在存储器中记录与所述项目选择相关联的特征图像性质的表示以用 于产生所述档案。
5. 权利要求4的方法，其中所述用户档案(300)与电视节目内容推荐器(100 )相关联。
6. 权利要求4的方法，其中所述记录所述项目选择的表示的步骤还 包括增加与所述项目和所述当前特征图像性质相关联的一个或多个正特 征计数的步骤。
7. 权利要求4的方法，其中通过询问所述用户(140)确定所述当前 特征图像性质。
8. 权利要求4的方法，其中所述一个或多个项目是节目、内容或产 品。
9. 一种对一个或多个项目产生推荐的系统，该系统包括：
摄象机(150-1；150-N)，用于获取用户(140)的信息；
与摄象机耦合的第一装置(400)，对所述图像进行面部表情分析以 检测在摄象机的观看区域中的用户(140)的面部和识别表示所述面部 的面部表情的特征图像性质；以及与第一装置耦合的第二装置，根据所识别的特征图像性质产生对于 至少一个项目的推荐。
10. 权利要求9的系统，包括：
-耦合到所述第二装置的电子节目指南源(130)，用于提供所述的项
-一组置顶终端/电视机(160)，耦合到所述第二装置，用于给用户 展示推荐。
11. 一种对于多个项目中的用户选择产生用户(140)的用户档案(300 )的系统，所述系统包括：
监视装置，用于监视一个或多个项目的用户(140)的选择；
聚焦于用户的摄象机，用于获取用户(140)的一个图像；
处理器(400)，对所述图像进行面部表情分析以检测在摄象机的观 看区域中的用户(140)的面部和识别表示所述面部的一个面部表情的 特征图像性质；以及存储器装置，记录与所述项目选择相关联的特征图像性质的表示以 用于产生所述档案。
12. 权利要求11的系统，
其中所述的处理器(120)进一步构造为增加与所述项目和所述当 特征图像性质相关联的一个或多个正特征计数。
13. 权利要求11的系统，其中所述一个或多个项目是节目、内容或产 品。

发明的领域
本发明涉及推荐器，比如用于电视节目或其他内容的推荐器，并尤 其涉及用于根据用户的当前心情产生诸如电视节目或其他内容的推荐的 推荐方法和装置。
发明的背景
可由个人获得的媒介选择的数量正在以指数速度增加。由于可由电 视观众获得的频道数量已经增加，例如，随着在这些频道上可获得的节 目内容的多样性，对电视观众来说确定感兴趣的电视节目已经成为一种 增加的挑战。电视观众通过分析印制的电视节目指南来确定感兴趣的节 目。典型地，这样的印制的电视节目指南包括通过时间和日期频道和标 题列出的可获得的电视节目的表格。因为电视节目的数量已经增加，所 以使用这样的印制的指南有效地确定想要的电视节目变得更加困难。
近来，电视节目指南已经可以以电子格式获得，通常称作电子节目 指南(EPG)。像打印的电视节目指南一样，EPG包含通过时间和日期、 频道和标题列出的可获得的电视节目表格。但是，一些EPG允许电视 观众根据个人化喜好分类或搜索可获得的电视节目。另外，EPG允许可 获得的电视节目的屏上显示。
尽管EPG允许观众比传统的印制的指南更有效地确定想要的节目， 他们也要承受许多限制，如果克服这些限制，能够进一步增强观众确定 想要的节目的能力。例如，很多观众具有对某种节目类型，比如动作节 目或体育节目的特定喜好或偏见。因此，观众喜好能够被应用于EPG 从而获得可以由特定观众感兴趣的一组推荐的节目。
因此，许多工具已经提出或建议用于推荐电视节目。例如，从加利 福尼亚桑尼维尔的Tivo Inc.可商业上获得的TivoTM系统，允许观众使用 “向上翻和向下翻”特征评价节目并从而分别表明观众喜欢和不喜欢的 节目。以这种方式，TivoTM系统隐含地从以前观众喜欢和不喜欢的电视 节目得出观众的喜好。因此，Tivo接收机使记录的观众喜好与接收的诸 如EPG的电视数据匹配，从而使推荐适合每个观众。
隐含的电视节目推荐器以不强制的方式根据从观众的观看历史得出 的信息产生电视节目推荐。直接电视节目推荐器，另一方面，直接询问 观众关于他们对诸如题目、类型、演员、频道和日期/时间节目特征的喜 好，从而得出观众档案并产生推荐。
尽管这样的电视节目推荐器确定被给定观众所感兴趣的节目，但是 它们也承受许多限制，如果克服这些限制，则能够进一步改善产生节目 推荐的质量。例如，当产生观众档案和电视节目推荐记录时，用于产生 电视节目指南的传统工具把个人的观看历史作为一个整体来考虑。因此，确定 的节目与观众的当前兴趣或心情没有特别的相互关系。因此，存在用于 产生根据观众的当前心情的电视节目指南的方法和装置。
发明概述
总的来说，公开了一种根据用户当前的心情在推荐系统中产生用户 档案的方法和装置。本发明从而根据各种心情知道用户的喜好，并因此 利用这些基于心情的喜好产生适合用户当前心情的推荐。
本发明通过处理音频或视频信息，比如用户的面部表情来检测用户 的心情。一旦心情被检测到，与给定时间段相关的行为能够与观众当前 的心情相关联。在一种设备中，本发明提供了一种根据他或她当前心情 允许观众选择一个或多个观众很可能发现有吸引力的节目的电子节目指 南。
本发明的更完全的理解以及本发明的进一步的特征和优点将参照随 后的详细描述和附图获得。
附图的简要说明
图1根据本发明描述了电视节目推荐器；
图2描述了来自图1的节目数据库的简表；
图3A描述了来自图1的隐含的观众档案的Bayesian装置的简表；
图3B描述了来自由决策树(DT)推荐器使用的观看历史的简表；
图3C描述了又来自图3B的观看历史的决策树(DT)产生的观众 档案的简表；
图4是描述体现本发明的原则的示例性心情检测和档案更新处理的 流程图；以及
图5是描述体现本发明的原则的示例性的基于心情的推荐处理的流 程图。
详细描述
图1描述了根据本发明的电视节目推荐器100。如图1所示，电视 节目推荐器100评价电子节目指南(EPG)130中的每个节目以确定一 个或多个观众140感兴趣的节目。一组推荐的节目能够用顶置终端/电视 机160展示给观众140，例如，使用公知的屏上显示技术。尽管本发明 在这里用电视节目推荐的角度描述，但是本发明也能够应用到根据行为 历史，比如观看历史或购买历史自动产生的推荐中。
根据本发明的一个特征，电视节目推荐器100还根据观众的当前心 情，除了根据观众的更传统的观看行为以下产生用户档案300，该档案 在下文中与图3A和3C一起论述。尽管传统的推荐器在产生观众档案 时把一个人的观看历史看作一个整体，但是本发明把观众的喜好看作多 级问题，并使每个观看时段与观众的一个或多个当前心情相关联。因此， 本发明根据各种心情得知观众的喜好，并利用这样的基于观看喜好来产 生节目推荐。以这种方式，提供根据他或她的当前心情允许观众选择一 个或多个观众最可能发现吸引力的节目的电子节目指南。
如图1所示，电视节目推荐器100包括一个和多个聚焦于观众140 的音频/视频获取装置150-1到150-N(在下文中，共同称为音频/视 频获取装置150)。音频/视频获取装置150可以包括例如用于获取视频 信息的搖摄-角倾-变焦(PTZ)摄像机或用于获取音频信息的话筒阵 列或都包括。
由音频/视频获取装置150产生的音频或视频图象(或都包括)由电 视节目推荐器100处理，从而识别观众140的一个或多个预先确定的心 情，以下文与图4和5一起论述的方式。如下文论述，面部表情处理技 术可以被用来分析观众的表情用来检测观众是高兴还是悲伤。另外，音 频处理技术可以被用来分析由观众发出的声音，用来检测观众是笑还是 哭，这可以暗示当前观众的心情。例如在档案信息被记录时，或当一个 推荐将被产生时(或两者同时发生时)观众的心情可以被检测。
如图1所示，电视节目推荐器100包含节目数据库200，一个或多 个观众文件300，心情检测和档案更新处理400和基于心情的推荐处理 500，每个部分下文分别与图2到5联系在一起论述。通常，节目数据 库200记录在给定时间段可获得的每个节目的信息。如图3A所示，一 个说明性观众档案300是隐含的观众档案，根据以前观众喜欢或不喜欢 的节目组，该档案典型地从观众的观看历史得出。图3C所示，另一个 示例性的观众档案300′由决策树推荐器产生，如图3B所示根据示例性 的观看历史360。
心情检测和档案更新处理400处理由音频/视频获取装置150产生的 视频或静止图象(或两者都包括)，从而感觉观众的当前心情并获知观 众在这样的心情时的喜好。基于心情的推荐处理500利用由心情检测和 档案更新处理400产生的基于心情的观看喜好，从而根据得出的观众的 当前心情产生节目推荐。
电视节目推荐器100可以用任意计算装置，比如个人计算机或工作 站实现，它包含诸如中心处理单元(CPU)的处理器120，和诸如RAM 和/或ROM的存储器110。另外，电视节目推荐器100可以用任意加利 福尼亚桑尼维尔的Tivo Inc.商业上获得的TivoTM系统或在1999年12月 17日申请的题目为“使用决策树推荐电视节目的方法和装置”的美国专 利申请序列号09/466,406(代理案号No.700772)，2000年2月4日申请 的题目为“Bayesian电视节目推荐器”(代理卷号No.700690)以及2000 年7月27日提交的美国专利申请第09/627,139，题目为“三种方式媒介 推荐方法和系统”(代理卷号No.700913)描述的电视节目推荐器，或者 它们的任意组合，在这里被改进以执行本发明的特征和功能。
图2是来自图1的节目数据库200的简表，它记录在给定时间段可 获得的每个节目的信息。如图2所示，节目数据库200包含多个记录， 比如记录205到220，每个记录与给定节目相关。对每个节目来说，节 目数据库200表示分别与字段240和245中的节目相关联的日期/时间和 频道。另外，每个节目的题目、类型和演员分别在字段250、255和270 中确定。附加的公知特征(未示出)，比如持续时间和节目的说明也能 够包含在节目数据库200中。
图3A是描述示例性的隐含观众档案300的表格。如图3所示，隐 含观众档案300包含多个记录305-313，每个记录与不同的节目特征相 关联。另外，对列330中出现的每个特征，隐含观众档案300提供在字 段335到345中的对应的正计数和字段350中的负计数。根据本发明的 一个特征，正计数被提供给每个由电视节目推荐器100检测的截然不同 的表情。各种正计数表示观众在对应的心情时观看具有每个特征的节目 的时间的数字。负计数表示观众不观看具有每个特征的节目的时间数 字。
对每个正和负节目例子(即观看和不观看的节目)，节目特征的号 码在用户档案300中被分类。例如，如果给定观众在下午较晚时在频道 2观看给定体育节目十次，此时是高兴的心情，则与隐含观众档案300 中的这些特征相关联的正计数(高兴)将在字段345中增加10，并且负 计数将为0(零)。因为隐含观众档案300能够根据普通的或预定的档案， 例如，根据他的或她的统计由用户选择。
图3B是描述示例性观看历史360的表格，它由决策树电视推荐器 维持。如图3B所示，观看历史360包含多个记录361-369，每个与不 同的节目相关联。另外，对每个节目，观看历史360确定字段370-379 中的各种节目特征。在字段370-379中出现的值可以典型地从电子节 目指南130获得。注意，如果电子节目指南130没有对给定节目特别指定 一个给定特征，该值在观看历史360中用一个“？”表示。
图3C是描述示例性的观众档案300′的表，它可以从图3B中出现的 观看历史360由决策树电视推荐器产生。如图3C所示，决策树观众档 案300′包含多个记录381-384，每个与不同的确定观众喜好的规则相关 联。另外，对在列390中定义的每个规则，观众档案300′识别与字段391 中的规则和字段392中的对应推荐相关联的条件。
对在决策树推荐系统中的观众档案的产生的更详细的论述，见例如 1999年12月17日申请的题目为“使用决策树推荐电视节目的方法和装置” 的美国专利申请序列号09/466,406(代理卷号No.700772)，在这里引用 作为参考。
图4是描述示例性心情检测和档案更新处理400的流程图。如图4所示， 心情检测和档案更新处理400最初在步骤410执行测试来确定一个事件 是否已经发生从而启动观众档案300的更新，比如在节目的末尾或新节 目频道的选择。如果在步骤410确定事件还没有发生从而启动观众档案300 的更新，则节目控制返回到步骤410直到这样的事件被检测到。
但是，如果在步骤410确定一个事件已经发生从而启动观众档案300 的更新，则当前观众140的心情在步骤420用已知的面部表情分析技术 被检测，比如University of Illinois at Urbana-Champaign(1999)， Ph.D.Dissertation的“具有人与计算机接口的应用程序的连续视频的面部 分析”中描述的技术；或Proc.Of the Int’l Conf.on Computer Vision and Pattern Recognition，Fort Collins，Colorado(1999)，Vol.I，592-97中 Antonio Colmenarez等的“用于嵌入的面部和面部表情识别的统计结构” 中描述的技术，它们在这里引用作为参考。可以获得面部表情的强度， 例如，根据在2000年11月3日申请的美国专利申请序列号09/705,666 题目为“使用双向星形拓扑马尔可夫模式的面部表情强度的估计”，(代 理卷号701253)，转让给本发明的受让人并在这里引用作为参考。通常， 面部表情分析检测在包含在音频/视频获取装置150中的摄像机的观看区 域中的观众的面部，并识别由观众140展示的特别的面部表情，比如微 笑或皱眉。面部表情被用于得出观众140的当前心情。
在步骤425期间执行测试从而确定电视节目推荐器100是贝叶斯推 荐器还是决策树(DT)推荐器。如果在步骤425确定电视节目推荐器100 是贝叶斯推荐器，则在步骤430期间对应于观众140的当前心情的正计 数在观众档案300中被更新为于与前节目相关联的节目特征。另外，在 步骤430观众档案300中负计数被选择性地更新为与一个或多个随意选 择的没有观看的节目相关联的节目特征。
但是，如果在步骤425期间确定电视节目推荐器100是决策树(DT) 推荐器，则在步骤450观众档案300′中的规则过滤从而只识别与当前心 情相关联的规则。因此，剩下的规则(过滤后)进一步被处理从而识别 满足当前节目的规则。在步骤470当前节目则被加入到识别规则中，如 下所示：

其中，强度对高兴的心情具有7的值，对悲伤的心情具有1的值， 对中立的心情具有3的值。或者，图3C的观众档案300′能够在步骤470 期间通过向观看历史360中加入观看的节目和重建档案300′来更新。因 此，节目控制停止。
图5是描述体现本发明的原则的基于心情的推荐处理500的流程 图。基于心情的推荐处理500利用由心情检测和档案更新处理400产生 的基于心情的观看喜好来基于得出的观众当前心情产生节目推荐。
如图5所示，在步骤510期间，基于心情的推荐处理500最初获得 对于感兴趣的时间段的电子节目指南(EPG)。因此，在步骤515期间 对观众获得适当的观众档案300。在步骤520期间，基于心情的推荐处 理500则以与前述心情检测和档案更新处理400相同的方式使用音频/视 频获取装置获得观众的当前心情。
在步骤525期间，执行测试从而确定电视节目推荐器100是贝叶斯 推荐器还是决策树(DT)推荐器。如果在步骤525确定电视节目推荐器 100是贝叶斯推荐器，则在步骤530使用特征计数只对当前心情对每个 节目计算推荐分数。
但是，如果在步骤525确定电视节目推荐器100是决策树(DT)推 荐器，则在步骤540中观众档案300′中的规则被过滤，从而只识别那些 与当前心情相关的规则。因此，在步骤550期间剩余的规则(过滤后) 被应用到在感兴趣的时间段所有节目。对应于档案300′的顺序的列表中 的第一个满足的规则，一个分数对来自档案300′的字段392的每个节目 被恢复。
最终，在步骤570，在节目控制终止前，用户被提供以对每个节目 计算的推荐分数。
应当理解到，这里示出的和描述的实施例和改进仅仅说明了本发明 的原则，不脱离本发明的范围和宗旨，本领域技术人员可以实现各种修 改。