著录项信息
专利名称 | 来自照片集的自动音乐视频创建和智能图库 |
申请号 | CN201480023222.3 | 申请日期 | 2014-04-23 |
法律状态 | 授权 | 申报国家 | 中国 |
公开/公告日 | 2016-02-24 | 公开/公告号 | CN105359501A |
优先权 | 暂无 | 优先权号 | 暂无 |
主分类号 | H04N1/21 | IPC分类号 | H;0;4;N;1;/;2;1查看分类表>
|
申请人 | 微软技术许可有限责任公司 | 申请人地址 | 美国华盛顿州
变更
专利地址、主体等相关变化,请及时变更,防止失效 |
权利人 | 微软技术许可有限责任公司 | 当前权利人 | 微软技术许可有限责任公司 |
发明人 | M.J.拉默斯;S.Y.乔 |
代理机构 | 永新专利商标代理有限公司 | 代理人 | 王英 |
摘要
各种实施例提供所谓的智能图库,其被设计成创建诸如相片和视频之类的内容集合的简短概要视图。内容可以优先化并且呈现在智能图库用户界面中,该智能图库用户界面包括可以依照经优先化的内容设计大小的图库元素。优先化可以基于内容是手动捕获的还是自动捕获的而发生。可替换地或者此外,优先化可以基于着眼于内容质量和/或内容中所出现的对象的内容分析而发生。
1.一种计算机实现的用于处理内容以提供图库视图的方法,所述方法包括经由计算设备进行以下操作:
接收已经由相机捕获的内容;
使用一个或多个图像处理技术处理内容;
基于所述图像处理技术向内容分配优先级值;
使用所述优先级值限定图库视图布局;以及
使得利用经优先化的内容填充图库元素,其中所述图库元素是基于所述经优先化的内容被设计大小的,以使得较大的图库元素持有较高优先级的内容而较小的图库元素持有较低优先级的内容。
2.权利要求1的计算机实现的方法,其中所述方法还包括使得能够在比用于呈现自动捕获的内容的图库元素更大的图库元素中呈现手动捕获的内容。
3.权利要求1的计算机实现的方法,其中所述方法还包括使得能够将内容呈现为音乐视频幻灯片。
4.权利要求1的计算机实现的方法,其中所述方法还包括使得能够以时间顺序呈现内容。
5.权利要求1的计算机实现的方法,其中内容包括相片和视频二者。
6.包括计算机可读指令的一个或多个计算机可读存储存储器,所述指令在执行时实现包括以下的方法:
接收已经由相机捕获的内容;
使用一个或多个图像处理技术处理内容;
基于所述图像处理技术向内容分配优先级值;
使用所述优先级值限定图库视图布局;以及
使得利用经优先化的内容填充图库元素,其中所述图库元素是基于所述经优先化的内容被设计大小的,以使得较大的图库元素持有较高优先级的内容而较小的图库元素持有较低优先级的内容。
7.权利要求6的一个或多个计算机可读存储存储器,其中所述使用包括限定哪个内容要出现在图库视图布局中。
8.权利要求6的一个或多个计算机可读存储存储器,其中所述使用包括限定包括图库视图布局的图库元素的大小。
9.权利要求6的一个或多个计算机可读存储存储器,其中所述一个或多个图像处理技术被配置成处理内容以试图标识面部或面部表情。
10.权利要求6的一个或多个计算机可读存储存储器,其中所述一个或多个图像处理技术被配置成处理内容以标识各个内容片段之间的类似性。
来自照片集的自动音乐视频创建和智能图库\n背景技术\n[0001] 现今的用户具有各种各样的方式来收集内容。例如,用户可以使用数码相机、智能电话和其它电子设备来拍摄图片和视频。这可以导致大量内容。关于使得用户能够共享并且消费其内容和其他人的内容二者的努力在不断发展。\n发明内容\n[0002] 提供本发明内容来以简化形式引入以下在具体实施方式中进一步描述的概念的选择。本发明内容不意图标识所要求保护的主题的关键特征或本质特征。\n[0003] 各种实施例提供所谓的智能图库(gallery),其被设计成创建诸如相片和视频之类的内容集合的简短概要视图。内容可以优先化并且呈现在智能图库用户界面中,该智能图库用户界面包括可以依照经优先化的内容设计大小的图库元素。优先化可以基于内容是手动捕获的还是自动捕获的而发生。可替换地或者此外,优先化可以基于着眼于内容质量和/或内容中所出现的对象的内容分析而发生。\n[0004] 各种实施例提供可以由用户穿戴的可穿戴相机。在一个或多个实施例中,可穿戴相机可以自动拍摄一系列照片并且将那些照片保存在相机上。可以针对各种特性和属性来分析照片系列。这些特性和属性可以用于从音乐库自动选择音乐。音乐然后可以用于创建包括针对图片的特性和属性定制的音乐的视频幻灯片。可以提供到相关联的视频文件的链接以用于共享视频幻灯片。\n[0005] 在其它实施例中,可以分析音乐的特性和属性,并且可以针对视频幻灯片选择音乐。视频幻灯片可以根据音乐的特性和属性而呈现有音乐。例如,可以检测伴随音乐的节拍,并且照片可以以在节拍上匹配于伴随音乐的方式来改变。\n[0006] 在至少一些其它实施例中,可穿戴相机能够并入与其拍摄的照片有关的地理位置。地理位置数据然后可以用于选择伴随视频幻灯片的音乐。\n附图说明\n[0007] 详细描述参照附图。在附图中,参考标号的(多个)最左边的数位标识其中参考标号第一次出现在的附图。在说明书和附图中,相同参考标号在不同实例中的使用可以指示相似或等同的项目。\n[0008] 图1是依照一个或多个实施例的示例相机设备。\n[0009] 图2图示了依照一个或多个实施例的示例相机设备。\n[0010] 图3图示了依照一个或多个实施例的示例相机设备。\n[0011] 图4是描述依照一个或多个实施例的方法中的步骤的流程图。\n[0012] 图5是描述依照一个或多个实施例的方法中的步骤的流程图。\n[0013] 图6是描述依照一个或多个实施例的方法中的步骤的流程图。\n[0014] 图7图示了依照一个或多个实施例的示例系统。\n[0015] 图8是描述依照一个或多个实施例的方法中的步骤的流程图。\n[0016] 图9图示了依照一个或多个实施例的示例系统。\n[0017] 图10是描述依照一个或多个实施例的方法中的步骤的流程图。\n[0018] 图11是描述依照一个或多个实施例的方法中的步骤的流程图。\n[0019] 图12是描述依照一个或多个实施例的方法中的步骤的流程图。\n[0020] 图13图示了依照一个或多个实施例的智能图库。\n[0021] 图14是描述依照一个或多个实施例的方法中的步骤的流程图。\n[0022] 图15图示了依照一个或多个实施例的智能图库的各方面。\n[0023] 图16是描述依照一个或多个实施例的方法中的步骤的流程图。\n[0024] 图17图示了依照一个或多个实施例的示例设备。\n具体实施方式\n[0025] 概述\n[0026] 各种实施例提供所谓的智能图库,其被设计成创建诸如相片和视频之类的内容集合的简短概要视图。内容可以优先化并且呈现在智能图库用户界面中,该智能图库用户界面包括可以依照经优先化的内容设计大小的图库元素。优先化可以基于内容是手动捕获的还是自动捕获的而发生。可替换地或者此外,优先化可以基于着眼于内容质量和/或内容中所出现的对象的内容分析而发生。\n[0027] 各种实施例提供可以由用户穿戴的可穿戴相机。在一个或多个实施例中,可穿戴相机可以自动拍摄一系列照片并且将那些照片保存在相机上。可以针对各种特性和属性来分析照片系列。这些特性和属性可以用于从音乐库自动选择音乐。音乐然后可以用于创建包括针对图片的特性和属性定制的音乐的视频幻灯片。可以提供到相关联的视频文件的链接以用于共享视频幻灯片。\n[0028] 在其它实施例中,可以分析音乐的特性和属性,并且可以针对视频幻灯片选择音乐。视频幻灯片可以根据音乐的特性和属性而呈现有音乐。例如,可以检测伴随音乐的节拍,并且照片可以以在节拍上匹配于伴随音乐的方式来改变。\n[0029] 在至少一些其它实施例中,可穿戴相机能够并入与其拍摄的照片有关的地理位置。地理位置数据然后可以用于选择伴随视频幻灯片的音乐。\n[0030] 相机可以穿戴在任何适合的位置中。例如,相机可以穿戴在用户的头部上,诸如作为示例而非限制,安装在帽子上的相机、安装在眼镜上的相机、安装在头巾上的相机、安装在头盔上的相机等。可替换地或者此外,相机可以穿戴在除用户头部之外的位置上。例如,相机可以被配置成安装在用户衣服上。\n[0031] 各种其它实施例提供可安装在用户衣服上的可穿戴相机。相机被设计成在远离用户面部安装的范围之内是不显眼且用户友好的以便不干扰其视野。在至少一些实施例中,相机包括外壳以及安装到外壳的夹具以使得相机能够夹到用户衣服上。相机被设计成轻量的,其中它的重量以在夹到用户衣服上时朝向用户的方式来平衡。\n[0032] 在一个或多个实施例中,相机包括重播模式。当选择重播模式时,相机自动捕获图像数据,诸如视频或静止图像,并且将图像数据保存到存储器缓冲器。在至少一些实施例中,存储器缓冲器的大小可以由用户设定以确定要收集多少图像数据。一旦存储器缓冲器充满,较旧的图像数据就被擦除以便为当前捕获的图像数据腾出空间。如果发生用户希望通过视频或静止图像纪念的事件,则可以激活记录按钮,其从存储器缓冲器的开头保存图像数据并且继续记录直到用户再次按下记录按钮。以此方式,如果事件发生,则保证用户从时间t-x捕获事件,其中x是存储器缓冲器以时间的长度。\n[0033] 在随后的讨论中,题为“示例环境”的章节描述其中可以利用各种实施例的示例环境。接下来,题为“重播功能性”的章节描述依照一个或多个实施例的示例重播模式。接下来,题为“双重编码”的章节描述其中依照一个或多个实施例可以对所捕获的图像数据进行双重编码的实施例。接下来,题为“照片日志”的章节描述依照一个或多个实施例的示例照片日志。在此之后,题为“从照片集的音乐视频创建”描述依照一个或多个实施例可以如何创建自动音乐视频。接下来,题为“基于照片的特性和属性选择音乐”的章节描述可以如何基于各种照片特性和属性来选择音乐。在此之后,题为“根据音乐的特性和属性呈现视频幻灯片”的章节描述依照一个或多个实施例的视频幻灯片的各方面。接下来,题为“使用地理位置选择用于视频幻灯片的歌曲”的章节描述依照一个或多个实施例可以如何使用地理位置。在此之后,题为“使用运动数据选择音乐”的章节描述依照一个或多个实施例运动数据可以如何用于选择用于视频幻灯片的音乐。接下来,题为“智能图库”的章节描述依照一个或多个实施例的内容图库。在此之后,题为“智能图库用户界面”的章节描述与依照一个或多个实施例的智能图库相关联的用户界面。接下来,题为“第一方案”和“第二方案”的章节描述用于使得能够使用智能图库消费内容的各种方案。在此之后,题为“消费场景”的章节描述依照一个或多个实施例其中可以使用智能图库消费内容的各种场景。最后,题为“示例设备”的章节描述依照一个或多个实施例可以用于实现本文所描述的实施例的示例设备。\n[0034] 现在考虑其中可以实践各种实施例的示例环境。\n[0035] 示例环境\n[0036] 图1图示了依照一个或多个实施例的相机设备100的示意图。相机设备100包括具有适合用于覆盖要描绘的场景的焦距的透镜102。在一个实施例中,可以与透镜102一起包括机械设备以使得能够实现透镜的自动或手动调焦。在另一实施例中,相机设备100可以是定焦设备,其中不包括移动透镜102的机械组装件。还包括具有感测表面(未示出)的传感器\n104以将由传感器104的感测表面上的入射光所形成的图像转换成数字格式。传感器104可以包括电荷耦合设备(CCD)或互补金属氧化物半导体(CMOS)图像传感器以用于扫描入射光并且创建数字图片。可以使用其它技术或设备,只要所使用的设备能够将感测表面上的入射光所形成的图像转换成数字形式即可。典型地,这些图像检测设备确定光对微小光敏设备的影响并且以数字格式记录改变。\n[0037] 应当领会到,相机设备100可以包括诸如电池或电源之类的其它组件以及使处理器进行操作所要求的其它处理器组件。然而,为了避免使教导难于理解,省略这些公知组件。在一个实施例中,相机设备100不包括取景器或预览显示器。然而,在其它实施例中,可以提供预览显示器。本文所描述的技术可以使用在任何类型的相机中,并且在小型、高度便携的相机中尤其有效,诸如在移动电话和其它便携式用户装备中所实现的那些。因而,在一个实施例中,相机设备100包括用于做出和接收电话呼叫的硬件或软件。可替换地,相机设备100可以是专用的独立相机。\n[0038] 在至少一些实施例中,相机设备100还包括运动检测器108,其可以包括加速度计以及在一些实施例中包括陀螺仪。加速度计用于确定重力方向和任何方向上的加速度。也可以附加于加速度计或者替代于加速度计而使用陀螺仪。陀螺仪可以提供关于相机设备\n100的旋转角度如何随时间改变的信息。可以使用任何其它类型的传感器来检测相机的运动。通过使用旋转角度,可以计算相机设备100的旋转角度,如果相机设备100旋转的话。\n[0039] 另外包括的是输入/输出(I/O)端口114以用于将相机设备100连接到包括通用计算机的外部设备。I/O端口114可以用于使得外部设备能够配置相机设备100或者上载/下载数据。在一个实施例中,I/O端口114还可以用于将视频或图片从相机设备100串流到外部设备。在一个实施例中,I/O端口还可以用于为相机设备100供电或者为相机设备100中的可再充电电池(未示出)充电。\n[0040] 相机设备100还可以包括耦合到传送器/接收器(Tx/Rx)模块116的天线118。Tx/Rx模块116耦合到处理器106。天线118可以完全或部分暴露在相机设备100的主体外部。然而,在另一实施例中,天线118可以完全封装在相机设备100的主体内。Tx/Rx模块116可以被配置用于Wi-Fi传送/接收、蓝牙传送/接收或者二者。在另一实施例中,Tx/Rx模块116可以被配置成使用专有协议进行无线电信号的传送/接收。在又一实施例中,可以使用任何无线电传输或数据传输标准,只要所使用的标准能够传送/接收数字数据和控制信号即可。在一个实施例中,Tx/Rx模块116是具有小于十英尺的传输范围的低功率模块。在另一实施例中,Tx/Rx模块116是具有小于五英尺的传输范围的低功率模块。在其它实施例中,传输范围可以是经由I/O端口114或者经由天线118使用由相机设备100接收的控制信号可配置的。\n[0041] 相机设备100还包括处理器106。除其它组件之外,处理器106耦合到传感器104和运动检测器108。处理器106还可以耦合到存储装置110,其在一个实施例中处于处理器106外部。存储装置110可以用于存储用来控制和操作相机设备100的其它组件的编程指令。存储装置110还可以用于存储所捕获的媒体(例如图片和/或视频)。在另一实施例中,存储装置110可以是处理器106本身的一部分。\n[0042] 在一个实施例中,处理器106可以包括具有如以上和以下所描述的那样操作的模糊检测组件112a的图像处理器112。图像处理器112可以是硬件组件,或者也可以是由处理器106执行的软件模块。可以指出的是,处理器106和/或图像处理器112可以驻留在不同芯片中。例如,多个芯片可以用于实现处理器106。在一个示例中,图像处理器112可以是数字信号处理器(DSP)。图像处理器可以被配置为处理模块,其是由处理器可执行的计算机程序。在至少一些实施例中,处理器112用于至少部分地基于从运动检测器108所接收的输入来处理从传感器104所接收的原始图像。诸如图像信号处理器(ISP)之类的其它组件可以用于图像处理。\n[0043] 在一个实施例中,存储装置110被配置成存储原始(未经修改的图像)和对应的经修改的图像二者。在一个或多个实施例中,存储装置110可以包括存储器缓冲器,诸如闪速存储器缓冲器,其可以用作在相机被设定成由重播模块120所支持的重播模式时促进捕获图像数据的循环缓冲器。重播模块120可以与任何适当的硬件、软件、固件或其组合结合地实现。当选择重播模式时,相机自动捕获图像数据,诸如视频或静止图像,并且将图像数据保存到存储器缓冲器。在至少一些实施例中,存储器缓冲器的大小可以由用户设定以确定要收集多少图像数据。如果发生用户希望通过视频或静止图像纪念的事件,则在一些实施例中,可以激活记录按钮,其从存储器缓冲器的开头保存图像数据并且继续记录直到用户再次按下记录按钮。以此方式,如果发生事件,则保证用户从时间t-x捕获事件,其中x是存储器缓冲器以时间的长度。\n[0044] 处理器缓冲器(未示出)也可以用于存储图像数据。图片可以经由I/O端口114或者经由使用天线118的无线信道而下载到外部设备。在一个实施例中,当外部设备发送命令以从相机设备110下载图像时,未经修改的和经修改的图像二者被下载到外部设备。在一个实施例中,相机设备100可以被配置成以所选间隔开始图像系列的捕获。\n[0045] 在一个实施例中,来自传感器104的原始图像被输入到图像处理器(诸如ISP)以用于图像处理或模糊检测。在将图像处理应用于由图像处理器输出的图像之后,对经修改的图像进行编码。典型地执行图像编码以压缩图像数据。\n[0046] 在示例实施例中,相机设备100可以不包括用于处理由传感器104捕获的图像的组件。而是,相机设备100可以包括在从传感器104提取图像之后将原始图像传输至基于云的处理系统的编程指令,所述基于云的处理系统经由因特网或局域网连接到相机设备100。基于云的系统被配置成接收原始图像并且如以上和以下所描述的那样处理一个或多个图像。\n经编码的图像然后存储在所选择的基于云的存储装置中,或者图像被发送回到相机设备\n100或根据用户配置的任何其它设备。基于云的图像处理系统的使用可以减少对于将若干图像处理组件并入在每一个相机设备中的需要,因而使得相机设备更轻、更加能量高效且更加便宜。\n[0047] 在至少一些实施例中,基于云的系统可以被配置成从由相机设备100所提供的照片集自动创建音乐视频幻灯片,如以下更详细描述的那样。\n[0048] 在另一示例实施例中,替代于基于云的图像处理,相机设备100可以将原始图像或者通过图像处理器所处理的图像发送到另一设备,例如移动电话或计算机。可以经由Wi-Fi、蓝牙、或者适合用于将数字数据从一个设备传输到另一设备的任何其它类型的联网协议来将图像传输到移动电话(或计算机)以供另外的处理。在移动设备或计算机接收到一个或多个图像之后,根据本文所描述的一个或多个实施例,所产生的图像可以根据用户或系统配置而保存到设备上的本地存储装置、被传递以用于存储在基于云的存储系统中,或者传输到另一设备。在至少一些实施例中,计算机可以被配置成从由相机设备100所提供的照片集自动创建音乐视频幻灯片,如以下更加详细描述的那样。\n[0049] 在一个实施例中,相机设备100中的本机图像处理系统可以以非标准格式产生图像和/或视频。例如,可以产生1200x1500像素图像。这可以通过裁剪、缩放或者使用具有非标准分辨率的图像传感器而完成。由于用于变换以所选标准分辨率的图像的方法是公知的,因此将不存在关于该议题的另外讨论。\n[0050] 以上和以下所描述的各种实施例可以利用包括使得处理单元能够实现所公开的方法的一个或多个方面的指令的计算机可读存储介质以及被配置成实现所公开的方法的一个或多个方面的系统来实现。通过“计算机可读存储介质”意指所有法定形式的介质。因此,诸如载波和信号本身之类的非法定形式的介质不意图由术语“计算机可读存储介质”所覆盖。\n[0051] 如上文指出的,相机设备100可以采取可穿戴相机的任何适当形式。相机可以穿戴在相对于用户的任何适当位置中。例如,相机可以穿戴在用户头部上,诸如作为示例而非限制,安装在帽子上的相机、安装在眼镜上的相机、安装在头巾上的相机、安装在头盔上的相机等。可替换地或者此外,相机可以穿戴在除用户头部之外的位置上。例如,相机可以被配置成安装在用户衣服或用户所携带的其它物品上,诸如背包、钱包、公文包等。\n[0052] 在刚好以下提供的示例中,在可安装于用户衣服上的相机的上下文中描述可穿戴相机。然而,要领会和理解的是,可以利用其它类型的非可安装在衣服上的可穿戴相机,而不脱离所要求保护的主题的精神和范围。\n[0053] 移至图2和3,考虑以下。图2以正立面视图图示了示例相机设备200,而图3以侧立面视图图示了相机设备200。相机设备200包括包含图1中所描述的组件的外壳202。还图示的是相机透镜204(图2)以及以类似于晒衣夹的方式操作的夹具形式的紧固设备300(图3)。\n具体地,紧固设备300包括具有主体的叉状物302,所述主体具有拇指可接合部分304。主体沿着远离拇指可接合部分304的轴朝向远端306延伸。由主体形成或者与主体分离且相对于主体在内部的弹簧机构使得叉状物302能够响应于施加到拇指可接合部分304的压力而打开。当打开时,衣服片段可以插入到区域308中。当拇指可接合部分304被释放时,衣服通过叉状物302而夹紧就位,由此将相机设备牢固地安装在衣服片段上。例如,如上文所描述的,相机设备可以安装在领带、罩衫、衬衣、口袋等上。\n[0054] 此外,相机设备200可以包括一般地在310处示出的数个输入按钮。作为示例而非限制,输入按钮可以包括拍摄静止图片的输入按钮、发起重播模式的输入按钮、发起视频捕获模式的输入按钮、以及使得用户能够在重播模式期间调节所利用的缓冲器大小的输入按钮。在一些实施例中,发起重播模式的输入按钮可以通过使用如以下更详细描述的非触摸开关而去除。要领会和理解的是,各种输入按钮可以位于相机设备200上的任何地方。\n[0055] 可以指出的是,尽管相机设备200被示为具有特定形状,但是相机设备100可以以适合且足以容纳相机设备100的上述组件的任何形状和大小来制造。相机设备的外壳202可以由金属模制、合成材料模制或其组合来制得。在其它实施例中,可以使用任何适当类型的材料来提供用于典型的便携设备用途的耐用且坚固的外部壳体。\n[0056] 此外,紧固设备300可以包括任何适当类型的紧固设备。例如,紧固设备可以是简单的无扣(slip-on)夹具、鳄鱼夹、钩子、维可牢或磁体或接收磁体的金属片。相机设备200可以使用紧固设备300永久地或半永久地贴附到另一物体。\n[0057] 一般地,本文所描述的任何功能可以使用软件、固件、硬件(例如固定逻辑电路)或这些实现的组合来实现。如本文所使用的术语“模块”、“功能性”、“组件”和“逻辑”一般表示软件、固件、硬件或其组合。在软件实现的情况下,模块、功能性或逻辑表示当在处理器(例如一个或多个CPU)上运行时执行指定任务的程序代码。程序代码可以存储在一个或多个计算机可读存储器设备中。以下所描述的技术的特征是独立于平台的,这意味着技术可以在具有各种处理器的各种商用计算平台上实现。\n[0058] 例如相机设备200可以包括计算机可读介质,其可以被配置成维护使相机的软件和相关联的硬件执行操作的指令。因而,指令起作用以配置相机的软件和相关联的硬件来执行操作,并且以此方式导致执行功能的软件和相关联的硬件的变换。指令可以由计算机可读介质通过各种不同配置提供给相机设备。\n[0059] 计算机可读介质的一个这样的配置是信号承载介质,并且因而被配置成将指令(例如作为载波)传输到相机设备,诸如经由网络。计算机可读介质还可以被配置为计算机可读存储介质并且因而不是信号承载介质。计算机可读存储介质的示例包括随机存取存储器(RAM)、只读存储器(ROM)、光盘、闪速存储器、硬盘存储器、以及可以使用磁学、光学和其它技术来存储指令和其它数据的其它存储器设备。\n[0060] 已经考虑了依照一个或多个实施例的示例操作环境,现在考虑可以由相机设备提供的重播功能性和其它特征的讨论。\n[0061] 重播功能性\n[0062] 如以上所指出的,相机设备200包括重播模式。当选择重播模式时,如通过用户按下与发起重播模式相关联的输入按钮,相机自动捕获图像数据,诸如视频或静止图像,并且将图像数据保存到存储器缓冲器。在一个或多个实施例中,存储器缓冲器是保存一定量的图像数据(例如视频数据)的循环缓冲器。当存储器缓冲器填满图像数据时,其删除最旧的图像数据以便为新记录的图像数据腾出空间。这继续直到用户退出重播模式或者按下与发起视频捕获相关联的按钮,即“记录”按钮。\n[0063] 在至少一些实施例中,存储器缓冲器的大小可以由用户设定以确定要收集多少图像数据。作为示例,用户可能将存储器缓冲器的长度设定成对应于5秒、30秒、1分钟、2分钟以及更长。\n[0064] 现在假设发生用户希望通过视频或静止图像纪念的事件。还假设用户已经发起重播模式使得视频数据当前缓冲在存储器缓冲器中。通过按下“记录”按钮,现在从存储器缓冲器的开头保存视频数据并且记录继续直到用户再次按下记录按钮。\n[0065] 以此方式,如果事件发生,则保证用户从时间t-x捕获事件,其中x是存储器缓冲器以时间的长度。因此例如,如果用户最初将存储器缓冲器设定成捕获值2分钟的视频数据,则通过按下“记录”按钮,除当前所记录的视频数据之外,最后2分钟的视频数据将被记录。\n[0066] 在一个或多个实施例中,存储器缓冲器包括闪速存储器。当用户按下“记录”按钮,并且相机设备处于重播模式中时,指针被用于指明所捕获的视频数据的开头发生在闪速存储器中的哪里,例如在进入“记录”模式之前的最后2分钟视频数据的开头。在其它实施例中,在重播模式和“记录”模式期间所捕获的视频数据可以被写入到交替的存储位置。\n[0067] 图4是描述依照一个或多个实施例的方法中的步骤的流程图。可以与任何适当的硬件、软件、固件或其组合结合地执行该方法。在至少一些实施例中,通过诸如以上所描述的那个之类的适当配置的相机设备来执行该方法。\n[0068] 步骤400接收与重播模式相关联的输入。该步骤可以以任何适当的方式执行。例如,在至少一些实施例中,该步骤可以通过经由相机设备上的适当输入设备从用户接收输入来执行。响应于接收到与重播模式相关联的输入,步骤402捕获图像数据并且将图像数据保存到存储器缓冲器。步骤404查明缓冲器是否充满。如果缓冲器没有充满,则方法返回到步骤402,并且继续捕获图像数据并将图像数据保存到存储器缓冲器。另一方面,如果缓冲器充满,则步骤406删除存储器缓冲器中的最旧图像数据并且返回到步骤402以捕获随后的图像数据。\n[0069] 该过程继续直到用户按下“记录按钮”或者退出重播模式。\n[0070] 图5是描述依照一个或多个实施例的另一方法中的步骤的流程图。允许用户设定相机设备的存储器缓冲器大小的方法可以与任何适当的硬件、软件、固件或其组合结合地执行。在至少一些实施例中,通过诸如以上所描述的那个之类的适当配置的相机设备来执行该方法。\n[0071] 步骤500接收设定存储器缓冲器大小的输入。该步骤可以以任何适当的方式执行。\n例如,在至少一些实施例中,该步骤可以通过借由诸如相机设备上的按钮之类的适当配置的输入机构接收用户输入来执行。响应于接收到该输入,步骤502设定存储器缓冲器大小。\n[0072] 步骤504接收与重播模式相关联的输入。该步骤可以以任何适当的方式执行。例如,在至少一些实施例中,该步骤可以通过经由相机设备上的适当输入设备从用户接收输入来执行。响应于接收到与重播模式相关联的输入,步骤506捕获图像数据并且将图像数据保存到存储器缓冲器。步骤508查明缓冲器是否充满。如果缓冲器没有充满,则方法返回到步骤506,并且继续捕获图像数据并将图像数据保存到存储器缓冲器。另一方面,如果缓冲器充满,则步骤510删除存储器缓冲器中的最旧图像数据并且返回到步骤506以捕获随后的图像数据。\n[0073] 该过程继续直到用户按下“记录”按钮或者退出重播模式。\n[0074] 图6是描述依照一个或多个实施例的另一方法中的步骤的流程图。该方法可以与任何适当的硬件、软件、固件或其组合结合地执行。在至少一些实施例中,该方法通过诸如以上所描述的那个之类的适当配置的相机设备来执行。\n[0075] 步骤600捕获图像数据并且将图像数据保存到存储器缓冲器。该步骤可以以任何适当的方式执行。例如,该步骤可以如结合图4或5所描述的那样来执行。步骤602接收进入相机设备的记录模式的输入。该步骤可以例如通过借由“记录”按钮接收用户输入来执行。\n响应于接收到进入记录模式的输入,步骤604从存储器缓冲器的开头保存图像数据。该步骤可以以任何适当的方式执行。例如,该步骤可以通过将指针设定成指向存储器缓冲器的开头来执行。除从存储器缓冲器的开头的图像数据之外,步骤606保存当前所捕获的图像数据。可以执行该步骤直到用户再一次按下“记录”按钮。\n[0076] 已经考虑了示例重播模式以及可以如何利用适当配置的相机设备来实现它,现在考虑双重编码过程的各方面。\n[0077] 双重编码\n[0078] 在一个或多个实施例中,相机设备的处理器106(图1)被配置成以不同的分辨率水平对图像数据进行编码。例如,相机设备可以以低分辨率水平以及也以高分辨率水平对图像数据进行编码。可以利用任何适当的分辨率水平。在至少一些实施例中,低分辨率水平是四分之一-VGA(例如320x240)并且高分辨率水平是720p(例如1280x720)。\n[0079] 以不同的分辨率水平对图像数据进行编码可以在给予用户传递所保存的图像数据的各种选项的范围内增强用户的体验。例如,在较低分辨率水平处,所捕获的图像数据可以串流到诸如智能电话之类的设备。可替换地或者此外,在较高分辨率水平处,当用户具有Wi-Fi可接入性时,他们可以将图像数据传递到诸如膝上型或台式计算机之类的网络设备。\n[0080] 已经考虑了双重编码场景,现在考虑可以使用以上所描述的原理构造的照片日志的各方面。\n[0081] 照片日志\n[0082] 照片日志是指使得用户能够以他们自身选择的间隔将他们的一天存录在静止照片中的特征。因此例如,如果用户希望每3分钟以照片存录他们的一天,则他们可以向相机设备提供输入,使得相机每3分钟自动拍摄静止照片并保存它。在这一天结束时,用户将已经利用数个不同的静止照片对其的一天进行了存档(document)。\n[0083] 在至少一些实施例中,照片日志特征可以与以上所描述的重播模式相呼应地工作。例如,如果用户已经通过使图像数据被捕获和保存到存储器缓冲器而进入重播模式,则相机设备的处理器可以以经定义的间隔处理所捕获的视频数据的部分以提供静止照片。这可以以任何适当的方式执行。例如,相机设备的处理器可以处理相机的光电传感器上的视频数据并且读取光电传感器的预定义的区域以将所读取的区域处理成静止照片。在一些实例中,照片格式是方形格式使得纵横比不同于视频数据的纵横比。\n[0084] 从照片集的音乐视频创建\n[0085] 在一个或多个实施例中,一系列照片或内容可以自动转变成音乐视频或视频幻灯片。作为示例,考虑以上刚刚描述的照片日志特征。通过使用照片日志特征,用户可以在以周期性间隔拍摄的一系列照片中对其的一天进行存档。因此例如,用户可以穿上相机,将相机设定成每3分钟拍摄图片,并且继续从事他们的一天。在这一天结束时,用户将具有大量照片。这些照片然后可以被处理以创建如以下所描述的音乐视频幻灯片。音乐视频幻灯片的创建可以使用任何适当的计算设备而发生在任何适当的位置中。在至少一些实施例中,照片可以由诸如台式计算机之类的本地客户端设备来处理。可替换地或者此外,照片可以由诸如以上所描述的那个之类的云服务来处理。\n[0086] 基于照片的特性和属性选择音乐\n[0087] 如上文所指出的,各种实施例提供可以由用户穿戴的可穿戴相机。在一个或多个实施例中,可穿戴相机可以自动拍摄一系列照片并且将那些照片保存在相机上。可以针对各种特性和属性分析照片系列。这些特性和属性可以用于从音乐库自动选择音乐。然后音乐可以用于创建包括针对图片的特性和属性定制的音乐的视频幻灯片。可以提供到相关联的视频文件的链接以用于共享视频幻灯片。\n[0088] 作为示例,考虑图7,其一般地在700处图示了依照一个或多个实施例的系统。在该示例中,可穿戴相机已经拍摄了一般地在702处示出的一系列相片。相片系列702已经由可穿戴相机提供给适当配置的计算设备,诸如本地计算设备或者由云服务提供的计算设备。\n相片系列702由图像处理器704处理。任何适当类型的图像处理技术可以用于处理相片系列。例如,图像处理器704可以使用图像识别技术来试图识别相片中的对象,并且可以基于所识别的对象对相片分类或归类,如706处所示。此处,图像处理器704已经将相片系列分类为四个分类——海滩、山地、庆典和飞机。\n[0089] 一旦已经对相片系列进行了分类,则由音乐选择模块710处理相片分类以针对不同分类选择音乐。这可以以任何适当的方式执行。例如,在所图示和描述的实施例中,利用音乐库712来选择歌曲。因此例如,对于海滩相片,可以选择各种海滩类型的歌曲,诸如海滩男孩的歌曲、夏威夷歌曲等。对于山地类型的歌曲,可能选择具有山地流派的各种声音等等。这些歌曲然后可以用于创建包含伴随有所选歌曲的视频幻灯片的视频文件714。视频幻灯片可以由服务器托管并且可以借由可以在用户当中共享的链接而可访问。\n[0090] 要领会和理解的是,以上所描述的过程是自动过程,其可以但是不需要一定在没有人类干预的情况下执行。\n[0091] 图8是描述依照一个或多个实施例的方法中的步骤的流程图。该方法可以与任何适当的硬件、软件、固件或其组合结合地执行。在至少一些实施例中,该方法可以通过诸如以下所描述的那个之类的适当配置的计算设备来执行。计算设备可以是从可穿戴相机接收一系列相片的本地计算设备。可替换地或者此外,计算设备可以是与云服务相关联的一个,其借由诸如因特网之类的适当配置的网络来接收一系列相片。\n[0092] 步骤800接收一系列相片。该步骤可以以任何适当的方式执行。步骤802使用图像处理器处理相片系列以将相片分类成不同类型。步骤804使用各种经分类的类型来针对每一个类型自动选择音乐。该步骤可以以任何适当的方式执行。步骤806创建包含视频幻灯片的视频文件,其中连同与相片类型相关联的音乐一起呈现相片系列。\n[0093] 已经考虑了可以如何基于一系列相片的特性和属性来选择音乐,现在考虑可以如何根据音乐的特性和属性来呈现视频幻灯片的讨论。关于所描述的实施例可以单独地使用,或者可替换地或此外,与以上和以下所描述的实施例结合地使用。\n[0094] 根据音乐的特性和属性呈现视频幻灯片\n[0095] 就其本质而言,音乐具有各种特性和属性。例如,音乐具有节奏、节拍、韵律、时间签名、响度或柔和度等。依照一个或多个实施例,诸如歌曲之类的音乐可以被自动分析以提取各种特性和属性。这些各种特性和属性然后可以用于自动创建以视频文件的形式的视频幻灯片。具体地,音乐的特性和属性可以用于以与属性或特性同步的方式在视频幻灯片中呈现相片。作为示例,考虑图9。\n[0096] 在此,一般地在900处示出依照一个或多个实施例的系统。在该示例中,已经通过诸如以上所描述的可穿戴相机之类的相机提供了一系列相片902。在该示例中,可以以任何适当的方式处理相片系列。例如,可以查明相片集中的相片数目。通过使用音乐选择模块\n904,可以从音乐库908选择各种歌曲,并且可以确定每一个歌曲的节拍。基于一个或多个歌曲的节拍,可以创建视频幻灯片并将其保存到视频文件906。相片系列在视频幻灯片中的呈现可以以与所选音乐同步的方式发生。\n[0097] 图10是描述依照一个或多个实施例的方法中的步骤的流程图。该方法可以与任何适当的硬件、软件、固件或其组合结合地执行。在至少一些实施例中,该方法可以通过诸如以下所描述的那个之类的适当配置的计算设备来执行。计算设备可以是从可穿戴相机接收一系列相片的本地计算设备。可替换地或者此外,计算设备可以是与云服务相关联的一个,其从诸如因特网之类的适当配置的网络接收一系列相片。\n[0098] 步骤1000从例如可穿戴相机接收一系列相片。该步骤可以以任何适当的方式执行,其示例在上文提供。步骤1002处理相片系列以标识与相片相关联的属性或特性。可以标识任何适当的属性或特性。在一个实施例中,属性和特性包括相片系列中的相片数目。步骤\n1004分析一个或多个歌曲以查明与歌曲相关联的属性或特性。可以利用任何适当的属性或特性。在至少一些实施例中,一个属性或特性是每一个歌曲的节拍。步骤1006根据被选择以伴随幻灯片的歌曲的属性或特性而使用相片系列中的相片来创建视频幻灯片。在所图示和描述的示例中,视频幻灯片中的相片可以以与特定伴随音乐的节拍同步的方式来呈现。\n[0099] 使用地理位置选择用于视频幻灯片的歌曲\n[0100] 在至少一些其它的实施例中,可穿戴相机能够并入与其拍摄的照片有关的地理位置。地理位置数据然后可以用于选择伴随视频幻灯片的音乐。将要描述的实施例可以与本文所描述的任何实施例结合地使用。\n[0101] 作为示例,考虑以下。如上文所指出的,可穿戴相机被配置成传送和接收信息。在至少一些实施例中,相机可以从用户的蜂窝电话或智能电话接收地理位置。这可以通过相机与蜂窝电话或智能电话之间的通信对话而发生,假定用户携带有其蜂窝或智能电话。典型地,蜂窝电话或智能电话可以具有板载GPS单元。蜂窝电话或智能电话可以将如由其GPS单元所查明的其地理位置传达给相机。当相机捕获到相片时,其可以针对各个相片创建与如从蜂窝或智能电话所查明的其位置相关联的元数据。该地理位置信息然后可以用于选择伴随视频幻灯片的音乐。作为示例,考虑以下。\n[0102] 假设用户在夏威夷度假。他们穿上其可穿戴相机以拍摄图片并且对其环绕欧胡岛的旅行存档。在由用户的可穿戴相机拍摄相片系列的同时,相片被创建成包括与用户位置相关联的元数据。现在,当随后处理相片以产生视频幻灯片时,可以分析元数据,并且可以选择符合用户位置的歌曲。在该特定示例中,具有夏威夷流派的歌曲可以被选择成伴随相片在视频幻灯片中的呈现。\n[0103] 图11是描述依照一个或多个实施例的另一方法中的步骤的流程图。该方法可以与任何适当的硬件、软件、固件或其组合结合地执行。在至少一些实施例中,方法的各方面可以通过诸如以上所描述的那个之类的适当配置的可穿戴相机来执行。方法的其它方面可以通过诸如以下所描述的那个之类的适当配置的计算设备来执行。计算设备可以是从可穿戴相机接收一系列相片的本地计算设备。可替换地或者此外,计算设备可以是与云服务相关联的一个,其从诸如因特网之类的适当配置的网络接收一系列相片。\n[0104] 步骤1100捕获一系列相片。该步骤可以以任何适当的方式执行,其示例在上文提供。步骤1102接收与其中拍摄相片系列的位置相关联的地理位置数据。步骤1104将地理位置数据与各个相片相关联。步骤1106将相片系列提供给被配置成创建视频幻灯片的实体。\n[0105] 步骤1108接收一系列相片。步骤1110从地理位置数据查明与相片系列相关联的位置。步骤1112使用各种位置来选择伴随视频幻灯片中的相片的音乐。步骤1114使用所选择的音乐创建视频幻灯片。\n[0106] 使用运动数据选择音乐\n[0107] 在一些实施例中,与相机相关联的运动数据可以用于选择伴随视频幻灯片的歌曲。运动数据可以通过诸如以上所描述的那个之类的适当配置的运动检测器来收集。在此,运动检测器包括加速度计和/或陀螺仪。\n[0108] 当相机捕获到相片时,其可以针对各个相片创建与如从运动检测器所查明的相机运动相关联的元数据。该运动信息然后可以用于选择伴随视频幻灯片的音乐。作为示例,考虑以下。\n[0109] 假设之前在夏威夷度假的用户决定进行具有一些非常陡峭的下坡的山地自行车旅行。他们穿上其可穿戴相机以拍摄图片并且对其在欧胡上的山地自行车旅行进行存档。\n在由用户的可穿戴相机拍摄相片系列的同时,将相片创建成包括与相机运动相关联的元数据。因此通过其相关联的元数据,相片可以传达可穿戴相机的速度和运动。现在,当随后处理相片以产生视频幻灯片时,可以分析元数据,并且可以将歌曲选择成符合相机的速度或运动或者以其它方式与其相关联。在该特定示例中,对于特别快且陡峭向下的山地自行车旅行的那些路段(stretch)而言,可能选择诸如Metal Gear Solid之类的恰当歌曲。对于特别费劲且可能陡峭向上的旅行的其它路段而言,可能选择诸如Theme from Rocky之类的较缓慢的歌曲。\n[0110] 图12是描述依照一个或多个实施例的方法中的步骤的流程图。该方法可以与任何适当的硬件、软件、固件或其组合结合地执行。在至少一些实施例中,该方法的各方面可以通过诸如以上所描述的那个之类的适当配置的可穿戴相机来执行。该方法的其它方面可以通过诸如以下所描述的那个之类的适当配置的计算设备来执行。计算设备可以是从可穿戴相机接收一系列相片的本地计算设备。可替换地或者此外,计算设备可以是与云服务相关联的一个,其从诸如因特网之类的适当配置的网络接收一系列相片。\n[0111] 步骤1200捕获一系列相片。该步骤可以以任何适当的方式执行,其示例在上文提供。步骤1202接收与相机的运动相关联的运动数据。步骤1204将运动数据与各个相片相关联。步骤1206将相片系列提供给被配置成创建视频幻灯片的实体。\n[0112] 步骤1208接收一系列相片。步骤1210从运动数据查明与相片系列相关联的运动。\n步骤1212使用各种运动数据来选择伴随视频幻灯片中的相片的音乐。步骤1214使用所选择的音乐创建视频幻灯片。\n[0113] 在至少一些实施例中,可以包括跳帧特征。例如,如果用户在长时间段内保持相对无运动而同时相机在拍摄图片,则将一遍又一遍地拍摄相同图片。在这些实例中,相机的图像处理器可以移除类似的图片。可替换地或此外,创建幻灯片的实体可以检测和移除这些类似的图片。\n[0114] 已经考虑了各种实施例,现在考虑所谓的智能图库的实施例。\n[0115] 智能图库\n[0116] 智能图库功能性被设计成创建诸如相片和视频之类的内容集合的简短概要视图。\n智能图库功能性可以缓解与简单地在例如其中内容的上下文相关性可能丢失的缩略图视图中呈现大内容集合相关联的问题。因而,如将在下文变得明显的,智能图库功能性提供以令人满意的方式向用户智能地呈现大量内容的方式。\n[0117] 智能图库功能性可以被用作可以用于处理大量照片和视频的独立功能性。可替换地或者此外,智能图库功能性可以与以上描述的可以产生大量照片的照片日志特征结合地使用。可替换地或者此外,智能图库功能性可以与以上描述的音乐视频幻灯片功能性结合地使用。具体地,如将在下文变得明显的,智能图库功能性可以用于限定可以由最终用户消费的相片和视频的集合。音乐视频幻灯片功能性然后可以用于使相关音乐在智能图库所呈现的内容集合顶部上成层以提供沉浸式上下文相关的用户体验。\n[0118] 在所图示和描述的实施例中,智能图库功能性可以通过驻留在任何适当配置的计算设备上的软件实现。例如,智能图库功能性可以通过接收或以其它方式包含诸如照片和/或视频之类的内容集合的本地最终用户计算设备上的客户端应用来实现。可替换地或者此外,智能图库功能性可以通过诸如借由因特网而被提供为云服务的一个之类的远程计算设备来实现。可替换地或者此外,智能图库功能性可以以分布式方式实现,其中功能性的各方面通过一个计算设备执行而功能性的其它方面通过另一不同的计算设备执行。\n[0119] 智能图库功能性可以被认为包括两个阶段。第一阶段被称为“设立阶段”并且第二阶段被称为“消费阶段”。\n[0120] 设立阶段是指在此处对不管来自什么源的内容集合都进行分析和处理以提供要呈现在被称为“智能图库用户界面”的用户界面中的相片和视频的集合的阶段。消费阶段是指被设计成使得用户能够编辑和/或以其它方式与呈现在智能图库中的内容交互的阶段。\n对照这两个阶段的背景幕(backdrop),智能图库功能性可以提供用于处置内容的多个不同方案。第一方案利用基于内容是手动捕获还是自动捕获(如通过以上所描述的照片日志特征)的优先化方案。第二方案利用被设计成基于各种处理参数提升或降级内容的各种图像处理技术。\n[0121] 然而,在考虑各种方案之前,考虑依照一个或多个实施例的智能图库用户界面。\n[0122] 智能图库用户界面\n[0123] 图13一般地在1300处图示了依照一个或多个实施例的智能图库用户界面。在所图示和描述的实施例中,智能图库用户界面1300包括其示例在1302,1304和1306处示出的图库元素。图库元素可以被视为是用于持有诸如照片和视频之类的内容的容器。每一个图库元素可以持有多个内容片段以用于呈现给用户。在所图示和描述的实施例中,图库元素的大小可以变化。在该特定示例中,示出三个不同大小的图库元素。第一较小元素——此处为图库元素1302——是方形。第二稍微更大的图库元素——此处为图库元素1304——是较大的方形。第三图库元素——此处为图库元素1306——是矩形。在该实施例中,方形图库元素被设计成持有照片,而矩形图库元素被设计成持有可能或者可能不在背景中无声地运行的视频。\n[0124] 要领会和理解到,智能图库用户界面1300的具体结构仅出于示例的目的。可以利用图库元素的其它结构而不脱离所要求保护的主题的精神和范围。\n[0125] 已经考虑了示例智能图库用户界面,现在考虑可以用于使得能够使用所图示的智能图库用户界面来设立和消费内容的各种方案。\n[0126] 第一方案\n[0127] 如以上所指出的,用于使得能够设立和消费内容的第一方案利用基于内容是手动捕获还是自动捕获(如通过以上所描述的照片日志特征)的优先化。\n[0128] 以上所描述的照片日志特征使得用户能够限定用于自动捕获相片的时间间隔。因而,通过限定特定间隔,例如2分钟,自动拍摄和保存相片。因此,如果拍摄相片的相机设备是如以上所描述的可穿戴相机,则用户的一天可以通过以用户所限定的间隔在这一整天所拍摄的一系列相片来存档。\n[0129] 然而,在这一整天,用户可能看到他们希望通过手动捕获相片或视频来存档的感兴趣的某一事物。因而,用户可以在其中相片被自动捕获的时间期间手动拍摄相片或者可以手动记录视频。当这发生时,第一方案的设立阶段做出以下假设:手动捕获的相片或视频比自动捕获的那些对用户更为重要。一旦已经依照该方案分配优先级,则现在消费阶段可以呈现内容。\n[0130] 相比自动捕获的相片或视频,使用该方案的内容的呈现将手动捕获的相片和视频放置于较大的图库元素中。此外,在一个或多个实施例中,内容可以以时间顺序从左向右布局。例如,内容的每一个片段可以包括时间戳,并且该时间戳可以用于查明内容的相对时间次序。内容然后可以以时间顺序布局。\n[0131] 例如,考虑图13中的智能图库用户界面,限定两行1308和1310。在该示例中,行被定义为两个小图库元素的高度。因而,当人们在行1308中从左向右移动时,内容通过时间推进。时间线随着人们向行1310移动而继续,在行1310中以相同方式,当人们从左向右移动时,内容继续通过时间推进。然而,要领会和理解的是,可以利用以时间顺序呈现内容的任何适当方式而不脱离所要求保护的主题的精神和范围。\n[0132] 图14是描述依照一个或多个实施例的方法中的步骤的流程图。该方法可以与任何适当的硬件、软件、固件或其组合结合地执行。在至少一些实施例中,该方法的各方面可以通过诸如以上所描述的那个之类的适当配置的可穿戴相机来执行。该方法的其它方面可以通过诸如以下所描述的那个之类的适当配置的计算设备来执行。计算设备可以是从诸如可穿戴相机之类的相机接收一系列相片的本地计算设备。可替换地或者此外,计算设备可以是与云服务相关联的一个,其从诸如因特网之类的适当配置的网络接收一系列相片和/或视频。\n[0133] 步骤1400捕获内容。该步骤可以以任何适当的方式执行。例如,在至少一些实施例中,内容可以以由相机捕获的相片和/或视频的形式来捕获,所述相机诸如以上所描述的可穿戴相机。步骤1402将内容提供给被配置成提供智能图库的实体,其在此处被指代为“智能图库软件”。如以上所指出的,智能图库软件可以驻留在本地最终用户设备上,或者可替换地或此外,可以驻留在诸如云服务之类的远程设备上。\n[0134] 步骤1404接收内容,并且步骤1406分析内容。在一个或多个实施例中,内容的分析可以包括查明内容是手动捕获的还是自动捕获的。如果在步骤1408处查明内容是自动捕获的,则步骤1410向内容分配低重要性水平。可替换地,如果内容被手动捕获,则步骤1412向内容分配高重要性水平。步骤1414然后使得能够实现呈现或者依照内容的重要性水平来在智能图库中呈现内容。该步骤可以以任何适当的方式执行。例如,在以上描述的示例中,相比被视为较不重要的内容,例如自动捕获的内容,被视为较为重要的内容,例如手动捕获的内容,呈现在较大的图库元素中。\n[0135] 已经考虑了依照一个或多个实施例的第一方案,现在考虑依照一个或多个实施例的第二方案。\n[0136] 第二方案\n[0137] 如以上所指出的,用于使得能够设立和消费内容的第二方案利用被设计成基于各种处理参数提升或降级内容的各种图像处理技术。\n[0138] 在一个或多个实施例中,相比第一方案,第二方案可以更加容易地处置更大量的内容。除其它技术之外,可以通过使用查明是提升还是降级内容的各种图像处理技术来这样做。内容的提升和降级可以考虑到诸如内容质量和所感知的内容相关性之类的事情。依照所描述的实施例,图像处理技术可以处理内容,并且基于处理分配数值。该数值可以用于优先化内容以供显示。\n[0139] 关于内容的提升,考虑以下。在许多实例中,所处理的内容的主题可以用于向内容分配较高优先级。也就是说,包括特定项目或对象的内容可以是各种用户更为感兴趣的。例如,相比不包括面部或特定面部表情的内容,包括面部或特定面部表情的内容可以是用户更为感兴趣的。因而,图像处理技术可以处理内容以试图标识面部或特定面部表情。可以利用任何适当的面部检测算法。基于其构建面部检测算法的原理的示例可以在以下参考文献中找到:美国专利号7,689,033;7,590,267;7,324,671;7,190,829;7,099,504;7,050,607;\n6,804,391和6,792,135,其全部被转让给本文档的受让人。然而,要领会和理解到,尽管将面部检测提供为示例,但是出现在特定内容内的其它对象也可以为是否提升内容的聚焦点。\n[0140] 除对象或项目识别之外,各个内容片段之间的类似性也可以用于提升类似内容的特定项目。例如,假设多个内容片段包括相同或类似的主题。例如,15个照片可以包括相同农场的图像。在该实例中,图像处理技术可以用于确定具有最高质量的照片,并且通过为其分配比农场的任何其它照片更高的优先级来提升该照片。\n[0141] 其它技术可以用于提升内容而不脱离所要求保护的主题的精神和范围。\n[0142] 关于内容的降级,考虑以下。依照一个或多个实施例,图像处理技术可以用于依照各种参数降级内容。例如,可以分析内容,并且对于看起来模糊或具有欠佳质量的内容,这样的内容可以具有分配给它的较低优先级。内容可以通过过暗、过亮、欠曝光、过曝光等而具有欠佳质量。可以利用任何适当类型的图像处理技术。例如,关于寻找模糊内容的内容分析,仅举几个例子,以下参考文献描述了可以利用的各种方案:(1)Tong等人的Blur Detection for Digital Images Using Wavelet Transform, Multimedia and Expo, \n2004,2004年6月27-30日的IEEE国际会议, 卷1, 页码17-20;以及(2)美国专利号7,257,\n273。\n[0143] 在一个或多个实施例中,第二方案也可以考虑到内容是自动捕获的还是手动捕获的以将其因素纳入到特定内容片段的优先级中,如上文所描述的那样。\n[0144] 在已经分析内容并且已经将优先级值分配给各个内容片段之后,智能图库中的视觉布局可以使用优先级值来增加或减小特定照片或内容的大小。\n[0145] 在一个或多个实施例中,智能图库可以在图库元素的尺寸方面具有任何适当类型的布局结构。在至少一些实施例中,智能图库具有预设大小,这意味着图库大小不由照片或视频的数目来确定,而是保持为使其可容易查看的大小。初步地,预设大小被转化成均匀大小的图库元素的网格。作为示例,考虑图15。在此,一般地在1500处示出网格,并且网格包括限定各个图库元素的多个方形,其示例在1502处示出。在网格已经填充有内容之前,每一个方形具有相同大小。在该示例中,小照片,诸如具有较低水平的重要性或优先级的一个,占据单个方形或图库元素。更为重要的照片,诸如承载较高水平的重要性或优先级的那些,占据四个方形。在该特定示例中,视频占据六个方形。\n[0146] 可以利用任何适当类型的算法以用于将诸如照片和视频之类的内容映射到各个图库元素。例如,在该特定实施例中,一旦图像处理技术已经被用于优先化内容并且已经为每一个内容片段分配优先级值,则可以利用该信息来查明要使用哪个内容来填充智能图库。此外,可以利用一个或多个阈值来查明特定内容片段要占据的方形数目。\n[0147] 一旦已经分析内容并且已经采用阈值来查明哪个内容要出现在智能图库中,则图库元素的数目被定义并且是已知的。\n[0148] 现在可以将内容呈现在智能图库用户界面中,并且用户可以与其内容交互,如下文更详细描述的那样。\n[0149] 在一个或多个实施例中,每一个内容片段具有与其相关联的时间。该时间对应于内容被捕获时的时间。在这些实施例中,智能图库可以是“有时间限制”的,这意味着图库元素内的内容可以以时间顺序呈现使得内容以时间排序的方式流动。作为示例,考虑以下。\n[0150] 在至少一些实施例中,每一个图库元素可以包括多个内容片段。关于出现在智能图库中的内容集合,存在对应于首先捕获的内容片段的相关联起始时间,以及对应于最后捕获的内容片段的相关联结束时间。起始时间和结束时间形成时间连续区,并且每一个图库元素可以分配有时间连续区的子范围。对于时间连续区的每一个子范围,对应的图库元素被分配有落在该子范围内的内容。对应的图库元素现在可以选择具有最高优先级值的其子范围内的内容片段以用于呈现给用户。因此例如,单独的图库元素可以具有在其相关联的时间子范围内所捕获的四个所分配的照片。四个照片中具有最高优先级的照片可以被选择用于在智能图库用户界面内呈现。\n[0151] 图16是描述依照一个或多个实施例的方法中的步骤的流程图。该方法可以与任何适当的硬件、软件、固件或其组合结合地执行。在至少一些实施例中,该方法的各方面可以通过诸如以下所描述的那个之类的适当配置的计算设备来执行。计算设备可以是从诸如可穿戴相机之类的相机接收一系列相片或内容的本地计算设备。可替换地或者此外,计算设备可以是与云服务相关联的一个,其经由诸如因特网之类的适当配置的网络接收一系列相片和/或视频。\n[0152] 步骤1600接收内容。该步骤可以以任何适当的方式执行。例如,在至少一些实施例中,内容可以由本地客户端设备例如从诸如以上所描述的可穿戴相机之类的相机来接收。\n可替换地或者此外,内容可以通过诸如云服务所利用的一个之类的远程计算设备来接收。\n步骤1602使用一个或多个图像处理技术处理内容。在上文描述了图像处理技术的示例。基于内容的处理,步骤1604将优先级值分配给内容。在上文提供了这可以如何完成的示例。步骤1606使用优先级值来限定图库视图布局。例如,优先级值可以用于限定哪个内容要出现在还被称为“智能图库”的图库视图布局中。除限定哪个内容要出现在图库视图布局中之外,至少一些实施例利用优先级值来限定图库元素在图库视图布局中的大小。在上文提供了图库元素及其相关联的属性和特性的示例。步骤1608使得利用经优先化的内容来填充图库元素。该步骤可以以任何适当的方式执行。例如,在其中处理发生在本地计算设备上的实施例中,该步骤可以通过将本地计算设备上所包含的内容填充到相关联的图库元素中来执行。在其中处理诸如例如通过云服务远程地发生的实施例中,该步骤可以通过向本地计算设备指示哪个内容要出现在哪些图库元素中来执行。\n[0153] 已经描述了可以如何分析内容并将其填充到智能图库用户界面中,现在考虑其中用户可以编辑和/或以其它方式与智能图库内的内容交互的各种消费场景。\n[0154] 消费场景\n[0155] 消费场景涉及其中用户可以与出现在智能图库用户界面中的内容交互的各种方式。消费场景是众多且变化的,并且以下描述的示例不意图以任何含义为限制性的。而是,消费场景意图说明用户可以如何与其内容交互的一些而并非所有示例。\n[0156] 在至少一些实施例中,图库元素包括多个内容片段,诸如照片。通过点击特定图库元素,用户可以通过出现在该图库元素内的内容推进。因此例如,在其中内容的最高优先级片段显示于图库元素中的实施例中,通过点击特定图库元素,用户可以通过可能落在被分配用于该图库元素的时间子范围内的其它较低优先级内容而推进。\n[0157] 在至少一些实施例中,用户可以与智能图库交互,并且打开显示被分配用于智能图库的所有内容的视图。用户然后可以拖拽之前隐藏的内容片段并将其放于所选图库元素中。因此例如,用户可以上拉被分配给智能图库的所有照片的标准缩略图视图。在缩略图视图旁边,可以显示未被填充的智能图库用户界面,诸如图15中所出现的那个。用户现在可以拖拽各个内容片段并将其放于图库元素中。以此方式,用户可以定制化其智能图库以包括其自身选择的顶部元素。\n[0158] 此外,在至少一些实施例中,用户可以选择内容以从不同大小的图库元素之间移动。例如,出现在小图库元素中的照片可以由用户移动到较大图库元素。在该实例中,所移动的照片可以凭借用户将它移动到较高优先级图库元素而使其优先级提高。\n[0159] 在至少一些实施例中,内容可以通过诸如因特网之类的网络以社交联网方式与其他用户共享。在这些实例中,其他用户可以为内容片段增加其优先级而投票。例如,其他用户可以表示“喜欢”内容片段以使其优先级提高。这进而可以影响内容显示在智能图库用户界面中的方式。\n[0160] 在至少一些实施例中,智能图库可以被配置成通过内容自动推进以为用户提供幻灯片。因此例如,各个图库元素可以通过已经被分配给它的内容自动推进。这可以以各种方式完成。例如,所有图库元素可以同时自动推进并且暂停一段时间以允许用户享用其内容。\n可替换地或者此外,图库元素可以以级联的瀑布状方式单独地自动推进。因此例如,最左边的图库元素可以“翻转”内容,并且然后相邻图库元素可以翻转内容等等。这种呈现的效果是内容的多米诺骨牌状呈现。\n[0161] 在各种其它实施例中,可以提供其它类型的用户输入以通过出现在智能图库中的内容推进。例如,对于触摸使能设备,用户可以通过触摸接合特定图库元素而通过内容循环。可替换地或者此外,通过跨屏幕挥动手指,出现在用户手指之下的那些图库元素可以翻转其内容。在其它场景中,可以通过自然用户界面提供输入,其中用户不在物理上触摸屏幕,而是通过由设备相机捕获并且转化成对智能图库的输入的运动来提供手势输入。例如,用户可以使其智能图库显示在高清宽屏TV上。通过将手指指向在特定图库元素处并且然后挥动其手部,可以使图库元素推进。这构成可以如何使用自然用户界面来通过智能图库中的内容推进的仅一个示例。照此,可以提供其它自然用户界面输入而不脱离所要求保护的主题的精神和范围。\n[0162] 已经考虑了各种实施例,现在考虑可以用于创建如以上所描述的视频幻灯片的示例设备的讨论。\n[0163] 示例设备\n[0164] 图17图示了可以实现为任何类型的便携式和/或计算机设备以实现本文所描述的实施例的示例设备1700的各种组件。设备1700包括使得能够实现设备数据1704(例如所接收的数据、正在接收的数据、被调度以用于广播的数据、数据的数据分组等)的有线和/或无线通信的通信设备1702。设备数据1704或其它设备内容可以包括设备的配置设置、存储在设备上的媒体内容、和/或与设备的用户相关联的信息。存储在设备1700上的媒体内容可以包括任何类型的音频、视频和/或图像数据。设备1700包括一个或多个数据输入1706,经由其可以接收任何类型的数据、媒体内容和/或输入,诸如用户可选择的输入、消息、音乐、电视媒体内容、所录制的视频内容、以及从任何内容和/或数据源所接收的任何其它类型的音频、视频和/或图像数据。\n[0165] 设备1700还包括通信接口1708,其可以实现为串行和/或并行接口、无线接口、任何类型的网络接口、调制解调器中的任何一个或多个,以及实现为任何其它类型的通信接口。通信接口1708提供设备1700与通信网络之间的连接和/或通信链路,其它电子、计算和通信设备通过其与设备1700传送数据。\n[0166] 设备1700包括一个或多个处理器1710(例如任何微处理器、控制器等),其处理各种计算机可执行或可读指令以控制设备1700的操作并且实现以上所描述的实施例。可替换地或者此外,设备1700可以利用与一般地在1712处标识的处理和控制电路结合地实现的固定逻辑电路、固件或硬件中的任何一个或其组合来实现。尽管未示出,但是设备1700可以包括耦合设备内的各种组件的系统总线或数据传递系统。系统总线可以包括不同总线结构中的任何一个或其组合,诸如存储器总线或存储器控制器、外围总线、通用串行总线、和/或利用任何各种总线架构的处理器或局部总线。\n[0167] 设备1700还包括计算机可读介质1714,诸如一个或多个存储器组件,其示例包括随机存取存储器(RAM)、非易失性存储器(例如只读存储器(ROM)、闪速存储器、EPROM、EEPROM等中的任何一个或多个)和盘存储设备。盘存储设备可以实现为任何类型的磁学或光学存储设备,诸如硬盘驱动器、可记录和/或可再写致密盘(CD)、任何类型的数字多功能盘(DVD)等。设备1700还可以包括大容量存储介质设备1716。\n[0168] 计算机可读介质1714提供存储设备数据1704以及各种设备应用1718和与设备\n1700的操作方面有关的任何其它类型的信息和/或数据的数据存储机制。例如,操作系统\n1720可以维持为具有计算机可读介质1714并且在处理器1710上执行的计算机应用。设备应用1718可以包括设备管理器(例如控制应用、软件应用、信号处理和控制模块、特定设备本机的代码、用于特定设备的硬件抽象层等),以及其它应用,其可以包括web浏览器、图像处理应用、诸如即时消息传递应用之类的通信应用、文字处理应用和各种其它不同应用。设备应用1718还包括实现本文所描述的技术的实施例的任何系统组件或模块。在该示例中,设备应用1718可以包括如以上所描述的那样操作的音乐视频模块1721和智能图库模块1722。\n[0169] 设备1700还包括音频和/或视频输入-输出系统1724,其向音频系统1726提供音频数据和/或向显示系统1728提供视频数据。音频系统1726和/或显示系统1728可以包括处理、显示和/或以其它方式再现音频、视频和图像数据的任何设备。视频信号和音频信号可以经由RF(射频)链路、S视频链路、复合视频链路、分量视频链路、DVI(数字视频接口)、模拟音频连接或者其它类似的通信链路而从设备1700传送到音频设备和/或显示设备。在实施例中,音频系统1726和/或显示系统1728被实现为设备1700的外部组件。可替换地,音频系统1726和/或显示系统1728被实现为示例设备1700的集成组件。\n[0170] 结论\n[0171] 各种实施例提供所谓的智能图库,其被设计成创建诸如相片和视频之类的内容集合的简短概要视图。内容可以优先化并且呈现在智能图库用户界面中,该智能图库用户界面包括可以依照经优先化的内容设计大小的图库元素。优先化可以基于内容是手动捕获的还是自动捕获的而发生。可替换地或者此外,优先化可以基于着眼于内容质量和/或内容中所出现的对象的内容分析而发生。\n[0172] 各种实施例提供可以由用户穿戴的可穿戴相机。在一个或多个实施例中,可穿戴相机可以自动拍摄一系列照片并且将那些照片保存在相机上。可以针对各种特性和属性来分析照片系列。这些特性和属性可以用于从音乐库自动选择音乐。音乐然后可以用于创建包括针对图片的特性和属性定制的音乐的视频幻灯片。可以提供到相关联的视频文件的链接以用于共享视频幻灯片。\n[0173] 在其它实施例中,可以分析音乐的特性和属性,并且可以针对视频幻灯片选择音乐。视频幻灯片可以根据音乐的特性和属性而呈现有音乐。例如,可以检测伴随音乐的节拍,并且照片可以以在节拍上匹配于伴随音乐的方式来改变。\n[0174] 尽管已经以具体到结构特征和/或方法学动作的语言描述了实施例,但是要理解到,在随附权利要求中限定的各种实施例未必限于所描述的具体特征或动作。相反,具体特征和动作是作为实现各种实施例的示例形式而公开的。
法律信息
- 2018-10-26
- 2016-03-23
实质审查的生效
IPC(主分类): H04N 1/21
专利申请号: 201480023222.3
申请日: 2014.04.23
- 2016-02-24
引用专利(该专利引用了哪些专利)
序号 | 公开(公告)号 | 公开(公告)日 | 申请日 | 专利名称 | 申请人 |
1
| |
2008-09-24
|
2008-03-19
| | |
2
| |
2008-10-29
|
2006-10-25
| | |
被引用专利(该专利被哪些专利引用)
序号 | 公开(公告)号 | 公开(公告)日 | 申请日 | 专利名称 | 申请人 | 该专利没有被任何外部专利所引用! |