著录项信息
专利名称 | 即时通信中图标触发流媒体数据录制的方法及客户端 |
申请号 | CN201210390842.3 | 申请日期 | 2012-10-12 |
法律状态 | 授权 | 申报国家 | 中国 |
公开/公告日 | 2013-01-30 | 公开/公告号 | CN102904799A |
优先权 | 暂无 | 优先权号 | 暂无 |
主分类号 | H04L12/58 | IPC分类号 | H;0;4;L;1;2;/;5;8查看分类表>
|
申请人 | 上海量明科技发展有限公司 | 申请人地址 | 上海市浦东新区张江高科技园区春晓路470号203-32信箱
变更
专利地址、主体等相关变化,请及时变更,防止失效 |
权利人 | 上海量明科技发展有限公司 | 当前权利人 | 上海量明科技发展有限公司 |
发明人 | 马宇尘;周鹏 |
代理机构 | 暂无 | 代理人 | 暂无 |
摘要
本发明提供了一种即时通信中图标触发流媒体数据录制的方法及客户端,属于通信、网络技术领域。所述方法包括:检测用户针对即时通信交互界面中表情图标的持续触发操作;触发即时通信客户端所在终端的流媒体录制功能;检测用户针对表情图标持续触发操作的终止,停止流媒体录制操作;将前述表情图标和录制的流媒体信息以即时通信消息的方式发送至即时通信交互界面对应联系人客户端。利用本发明,用户在从交互通信界面中选取表情图标时,即可启动相应的流媒体数据录制,并随后将该流媒体与对应的表情图标一同作为即时通信消息进行推送。一方面扩展了交互信息的数据形式,另一方面简化了用户的操作步骤,为用户带来更好的应用体验。
1.一种即时通信中图标触发流媒体数据录制的方法,其特征在于该方法包括如下步骤:
步骤1,检测用户针对即时通信交互界面中表情图标的持续触发操作;
步骤2,触发即时通信客户端所在终端的流媒体录制功能,其中的流媒体数据是音频数据或者视频数据或者多媒体数据;
步骤3,检测用户针对表情图标持续触发操作的终止,停止流媒体录制操作;
步骤4,将前述表情图标和录制的流媒体信息以即时通信消息的方式发送至即时通信交互界面对应联系人客户端;
其中,检测到用户对表情图标持续触发后,邻近表情图标生成录制类型选择界面;
在利用触摸屏保持持续触摸的情况下,利用触摸路径从前述表情图标位置移动到所述录制类型选择界面中的选择控件,触发该选择控件所对应数据类型的录制操作;或者通过拖拽表情图标至选择控件所在区域,触发针对该控件对应类型数据的录制操作。
2.根据权利要求1所述的一种即时通信中图标触发流媒体数据录制的方法,其特征在于:所述的表情图标是位于表情图标栏中的已有图标或交互界面输入栏中已输入的图标,其图标类型为具有图像显示功能的图片或动画数据或视频数据或多媒体数据。
3.根据权利要求1所述的一种即时通信中图标触发流媒体数据录制的方法,其特征在于:所述即时通信客户端所在终端,为包含触摸屏的计算终端。
4.根据权利要求1所述的一种即时通信中图标触发流媒体数据录制的方法,其特征在于:针对所述持续触发操作设置有持续时间阈值,当检测到用户通过触摸屏或控制光标触发表情图标的持续时间超过该持续时间阈值时,判定为用户对该表情图标进行持续触发操作。
5.根据权利要求4所述的一种即时通信中图标触发流媒体数据录制的方法,其特征在于:所述的持续时间阈值在1-4秒钟之间。
6.根据权利要求1所述的一种即时通信中图标触发流媒体数据录制的方法,其特征在于:录制类型选择界面中包含有对应音频、视频和多媒体三种类型至少其二的选择控件。
7.根据权利要求1所述的一种即时通信中图标触发流媒体数据录制的方法,其特征在于:所述的流媒体数据为音频信息。
8.根据权利要求1所述的一种即时通信中图标触发流媒体数据录制的方法,其特征在于:在启动进行流媒体数据录制时,预先设置声音的录制模式以及触发的时间阈值;
在通过触摸屏以触摸的方式对前述图标进行持续触压的时间达到前述的时间阈值后,启动对音频数据的录制操作。
9.根据权利要求1所述的一种即时通信中图标触发流媒体数据录制的方法,其特征在于:所述步骤2中流媒体录制功能,是通过即时通信客户端所在终端中的相应录制功能模块实现的。
10.根据权利要求1所述的一种即时通信中图标触发流媒体数据录制的方法,其特征在于:当检测到用户停止通过触摸屏或控制光标持续触发该表情图标时,判定为持续触发操作的终止。
11.根据权利要求1所述的一种即时通信中图标触发流媒体数据录制的方法,其特征在于:所述步骤3中流媒体录制的停止,是在所录制的流媒体数据为音频数据的情况下,在采集获得音频输入停止的情况下,将该停止音频输入的消息判定为录制结束的消息。
12.根据权利要求1所述的一种即时通信中图标触发流媒体数据录制的方法,其特征在于:所述步骤3中流媒体录制的停止,触发步骤4中即时通信消息的发送操作。
13.根据权利要求1所述的一种即时通信中图标触发流媒体数据录制的方法,其特征在于:所述步骤4中发送的即时通信消息在输出时,在联系人交互界面输出栏中首次接收并输出表情图标的情况下,触发播放针对该表情图标录制的流媒体数据。
14.根据权利要求13所述的一种即时通信中图标触发流媒体数据录制的方法,其特征在于:所述流媒体数据播放时开启相应的播放界面,播放界面中设置有播放该流媒体数据的操作控件。
15.根据权利要求13所述的一种即时通信中图标触发流媒体数据录制的方法,其特征在于:所述流媒体数据播放完毕后,关闭相应播放界面,对应表情图标在联系人交互界面输出栏中输出流媒体播放控件,当再次采集到该流媒体播放控件的触发消息后,播放针对该表情图标录制的流媒体数据。
16.根据权利要求1所述的一种即时通信中图标触发流媒体数据录制的方法,其特征在于:所述步骤4中发送的即时通信消息在输出时,在用户或联系人所在的交互界面输出栏,输出具有流媒体播放控件功能的表情图标,当采集到针对于该表情图标的触发消息后,播放针对该表情图标录制的流媒体数据。
17.根据权利要求1所述的一种即时通信中图标触发流媒体数据录制的方法,其特征在于:所述步骤4中发送的即时通信消息在输出时,在联系人交互界面输出栏中输出表情图标和流媒体播放控件,当采集到该流媒体播放控件的触发消息后,播放针对该表情图标录制的流媒体数据。
18.根据权利要求17所述的一种即时通信中图标触发流媒体数据录制的方法,其特征在于:所述表情图标和流媒体播放控件在输出时,包含以下两种位置关系,其一,流媒体播放控件位于表情图标一侧;
其二,表情图标位于流媒体播放控件内,显示输出时作为流媒体播放控件的组成部分。
19.根据权利要求18所述的一种即时通信中图标触发流媒体数据录制的方法,其特征在于:判定所采集的表情图标的尺寸是否大于所对应流媒体播放控件的尺寸;
然后,在大于该流媒体播放控件尺寸的情况下,将所采集的表情图标的尺寸进行缩小操作,缩小到该表情图标能够在流媒体播放控件不作尺寸改变的情况下进行嵌入操作,且该表情图标的尺寸不超出所在流媒体播放控件的边缘。
20.一种实施权利要求1所述方法的即时通信中图标触发流媒体数据录制的客户端,对应着发送方客户端,其特征在于该客户端包括如下结构:
持续触发检测单元,用以检测用户针对即时通信交互界面中表情图标的持续触发操作;
流媒体录制触发单元,用以触发即时通信客户端所在终端的流媒体录制功能;
触发终止检测单元,用以检测用户针对表情图标持续触发操作的终止,停止流媒体录制操作;
信息发送单元,用以将前述表情图标和录制的流媒体信息以即时通信消息的方式发送至即时通信交互界面对应联系人客户端。
21.根据权利要求20所述的一种即时通信中图标触发流媒体数据录制的客户端,其特征在于:所述的客户端还设置有流媒体输出单元,用以在接收到包含流媒体数据的表情图标后,开启相应的播放界面播放针对该表情图标录制的流媒体数据,以及在交互界面输出栏中输出相应的流媒体播放控件。
22.根据权利要求20所述的一种即时通信中图标触发流媒体数据录制的客户端,其特征在于:对应持续触发检测单元还设置有时间阈值设置模块,用以设定持续触发操作的时间阈值,以此作为持续触发操作的判定标准。
23.根据权利要求20所述的一种即时通信中图标触发流媒体数据录制的客户端,其特征在于:对应流媒体录制触发单元还设置有录制类型选择模块,用以在检测到用户针对表情图标的持续触发后,邻近表情图标生成包含有对应音频、视频和多媒体三种类型至少其二的选择控件的录制类型选择界面。
24.一种实施权利要求1所述方法的即时通信中图标触发流媒体数据录制的客户端,对应着接收方客户端,其特征在于该客户端包括如下结构:
数据接收单元,用以接收发送方客户端所发送的对应着表情图标录制流媒体数据的信息内容;
数据输出单元,用以在首次接收到前述信息内容后输出表情图标并播放所录制的流媒体数据,并对应着该流媒体数据生成并输出流媒体控件;
或者,输出具有流媒体控件功能的表情图标,其中该流媒体控件对应着前述的流媒体数据生成,在触发后播放该流媒体数据;
或者,输出表情图标及同一即时通信消息中的流媒体控件,该流媒体控件对应着前述流媒体数据生成,在触发后播放该流媒体数据。
即时通信中图标触发流媒体数据录制的方法及客户端\n技术领域\n[0001] 本发明属于通信、网络技术领域。\n背景技术\n[0002] 网络即时通信(IM)工具发展到今天,已成为用户普遍使用的通讯工具,逐渐成为网络用户日常生活中必不可少的一部分。即时通信工具不但在网络用户的工作中使用,同样也大量使用在网络用户的业余生活中,用户通过网络即时通信工具可以实现与联系人及时有效地沟通。\n[0003] 实际应用中,用户同联系人进行交流时,除去视频聊天的方式,交互信息中的附加信息多为表情图标或照片,形式单一,无法带给用户更好的使用体验。而发送音频、视频等多媒体数据信息时,除去视频聊天,只能采用文件传输的方式,无法针对特定的交互信息进行同步播放,而且需要发送的音频或视频等数据信息的录制操作需要额外开启相应的功能软件,再通过即时通信交互界面选择发送,操作较为繁琐。\n发明内容\n[0004] 本发明的目的在于,提供一种即时通信中图标触发流媒体数据录制的方法及客户端。利用本发明,用户在从交互通信界面中选取表情图标,即可启动相应的流媒体数据录制操作。\n[0005] 本发明所提供的一种即时通信中图标触发流媒体数据录制的方法,包括以下步骤:\n[0006] 步骤1,检测用户针对即时通信交互界面中表情图标的持续触发操作;\n[0007] 步骤2,触发即时通信客户端所在终端的流媒体录制功能,其中的流媒体数据是音频数据或者视频数据或者多媒体数据;\n[0008] 步骤3,检测用户针对表情图标持续触发操作的终止,停止流媒体录制操作;\n[0009] 步骤4,将前述表情图标和录制的流媒体信息以即时通信消息的方式发送至即时通信交互界面对应联系人客户端。\n[0010] 优选的,所述的表情图标是位于表情图标栏中的已有图标或交互界面输入栏中已输入的图标,其图标类型为具有图像显示功能的图片或动画数据或视频数据或多媒体数据。\n[0011] 优选的,所述即时通信客户端所在终端,为包含触摸屏的计算终端。\n[0012] 优选的,针对所述持续触发操作设置有持续时间阈值,当检测到用户通过触摸屏或控制光标触发表情图标的持续时间超过该持续时间阈值时,判定为用户对该表情图标进行持续触发操作。\n[0013] 优选的,所述的持续时间阈值在1-4秒钟之间。\n[0014] 优选的,当检测到用户对表情图标持续触发后,邻近表情图标生成录制类型选择界面,该选择界面中包含有对应音频、视频和多媒体三种类型至少其二的选择控件。\n[0015] 优选的,在利用触摸屏保持持续触摸的情况下,利用触摸路径从前述表情图标位置移动到前述选择控件的情况下,触发该选择控件所对应数据类型的录制操作。\n[0016] 优选的,通过拖拽表情图标至选择控件所在区域,触发针对该控件对应类型数据的录制操作。\n[0017] 优选的,所述的流媒体数据为音频信息。\n[0018] 优选的,在启动进行流媒体数据录制时,预先设置声音的录制模式以及触发的时间阈值;\n[0019] 在通过触摸屏以触摸的方式对前述图标进行持续触压的时间达到前述的时间阈值后,启动对音频数据的录制操作。\n[0020] 优选的,所述步骤2中流媒体录制功能,是通过即时通信客户端所在终端中的相应录制功能模块实现的。\n[0021] 优选的,当检测到用户停止通过触摸屏或控制光标持续触发该表情图标时,判定为持续触发操作的终止。\n[0022] 优选的,所述的录制结束,是在所录制的流媒体数据为音频数据的情况下,在采集获得音频输入停止的情况下,将该停止音频输入的消息判定为录制结束的消息。\n[0023] 优选的,所述步骤3中流媒体录制的停止,触发步骤4中即时通信消息的发送操作。\n[0024] 优选的,所述步骤4中发送的即时通信消息在输出时,在联系人交互界面输出栏中首次接收并输出表情图标的情况下,触发播放针对该表情图标录制的流媒体数据。\n[0025] 优选的,所述流媒体数据播放时开启相应的播放界面,播放界面中设置有播放该流媒体数据的操作控件。\n[0026] 优选的,所述流媒体数据播放完毕后,关闭相应播放界面,对应表情图标在联系人交互界面输出栏中输出流媒体播放控件,当再次采集到该流媒体播放控件的触发消息后,播放针对该表情图标录制的流媒体数据。\n[0027] 优选的,所述步骤4中发送的即时通信消息在输出时,在用户或联系人所在的交互界面输出栏,输出具有流媒体播放控件功能的表情图标,当采集到针对于该表情图标的触发消息后,播放针对该表情图标录制的流媒体数据。\n[0028] 优选的,所述步骤4中发送的即时通信消息在输出时,在联系人交互界面输出栏中输出表情图标和流媒体播放控件,当采集到该流媒体播放控件的触发消息后,播放针对该表情图标录制的流媒体数据。\n[0029] 优选的,所述表情图标和流媒体播放控件在输出时,包含以下两种位置关系:\n[0030] 其一,流媒体播放控件位于表情图标一侧;\n[0031] 其二,表情图标位于流媒体播放控件内,显示输出时作为流媒体播放控件的组成部分。\n[0032] 优选的,判定所采集的表情图标的尺寸是否大于所对应流媒体播放控件的尺寸;\n[0033] 然后,在大于该流媒体播放控件尺寸的情况下,将所采集的表情图标的尺寸进行缩小操作,缩小到该表情图标能够在流媒体播放控件不作尺寸改变的情况下进行嵌入操作,且该表情图标的尺寸不超出所在流媒体播放控件的边缘。\n[0034] 本发明还提供了一种即时通信中图标触发流媒体数据录制的客户端,该客户端对应着发送方客户端,包括如下组成部分:\n[0035] 持续触发检测单元,用以检测用户针对即时通信交互界面中表情图标的持续触发操作;\n[0036] 流媒体录制触发单元,用以触发即时通信客户端所在终端的流媒体录制功能;\n[0037] 触发终止检测单元,用以检测用户针对表情图标持续触发操作的终止,停止流媒体录制操作;\n[0038] 信息发送单元,用以将前述表情图标和录制的流媒体信息以即时通信消息的方式发送至即时通信交互界面对应联系人客户端。\n[0039] 优选的,所述的客户端还设置有流媒体输出单元,用以在接收到包含流媒体数据的表情图标后,开启相应的播放界面播放针对该表情图标录制的流媒体数据,以及在交互界面输出栏中输出相应的流媒体播放控件。\n[0040] 优选的,对应持续触发检测单元还设置有时间阈值设置模块,用以设定持续触发操作的时间阈值,以此作为持续触发操作的判定标准。\n[0041] 优选的,对应流媒体录制触发单元还设置有录制类型选择模块,用以在检测到用户针对表情图标的持续触发后,邻近表情图标生成包含有对应音频、视频和多媒体三种类型至少其二的选择控件的录制类型选择界面。\n[0042] 对应前述发送方客户端,本发明还提供了一种即时通信中图标触发流媒体数据录制的接收方客户端,所述客户端包括如下结构:\n[0043] 数据接收单元,用以接收发送方客户端所发送的对应着表情图标录制流媒体数据的信息内容;\n[0044] 数据输出单元,用以在首次接收到前述信息内容后输出表情图标并播放所录制的流媒体数据,并对应着该流媒体数据生成并输出流媒体控件;\n[0045] 或者,输出具有流媒体控件功能的表情图标,其中该流媒体控件对应着前述的流媒体数据生成,在触发后播放该流媒体数据;\n[0046] 或者,输出表情图标及同一即时通信消息中的流媒体控件,该流媒体控件对应着前述流媒体数据生成,在触发后播放该流媒体数据。\n附图说明\n[0047] 图1是本发明所述的即时通信中图标触发流媒体数据录制的方法流程图。\n[0048] 图2-a是本发明所述的触发图标时生成的录制类型选择界面示意图,其中录制类型选择界面围绕表情图标生成。\n[0049] 图2-b是本发明所述的触发图标时生成的录制类型选择界面示意图,其中录制类型选择界面邻近表情图标一侧生成。\n[0050] 图3-a是本发明所述的表情图标和流媒体播放控件在接收方即时通信交互界面输出时的位置关系示意图,其中流媒体播放控件与表情图标合二为一。\n[0051] 图3-b是本发明所述的表情图标和流媒体播放控件在接收方即时通信交互界面输出时的位置关系示意图,其中流媒体播放控件与表情图标为相互独立的个体。\n[0052] 图3-c是本发明所述的表情图标和流媒体播放控件在接收方即时通信交互界面输出时的位置关系示意图,其中表情图标作为流媒体播放控件的一个组成部分。\n[0053] 图4是本发明所述的即时通信中图标触发流媒体数据录制的发送方客户端结构框图。\n[0054] 图5是本发明所述的即时通信中图标触发流媒体数据录制的接收方客户端结构框图。\n具体实施方式\n[0055] 本发明的目的在于,提供一种即时通信中图标触发流媒体数据录制的方法及客户端。利用本发明,用户在从交互通信界面中选取表情图标时,即可启动相应的流媒体数据录制,并在数据录制完毕后将该流媒体与对应的表情图标一同作为即时通信消息发送至联系人客户端。一方面扩展了交互信息的数据形式,另一方面简化了用户的操作步骤,为用户带来更好的应用体验。\n[0056] 下面参照附图,结合具体实施例对本发明做进一步的说明。以下描述基于Windows操作系统为例,但本领域的技术人员应当明白本发明并不局限于此。\n[0057] 图1是本发明所述的即时通信中图标触发流媒体数据录制的方法流程图。参图中所示,本发明所提供的方法包括如下步骤:\n[0058] 步骤S101,检测用户针对即时通信交互界面中表情图标的持续触发操作。\n[0059] 本发明所述的即时通信客户端所在终端,为包含触摸屏的计算终端,该计算终端包括移动终端和计算机。但应理解该终端不局限于此,所在终端也可为包括诸如物理键盘、鼠标的计算终端,且通过前述装置可以控制计算终端用户界面中光标的操作。\n[0060] 本发明所述方法中的流媒体数据录制操作是通过图标进行触发的,所述图标即表情图标,是指位于即时通信交互界面表情图标栏中的已有图标或交互界面输入栏中已输入的图标,其图标类型包括图像格式类以及视频格式类。其中交互界面输入栏中已输入的表情图标可以是表情图标栏中的已有图标,也可以是表情图标栏中不存在,用户通过复制粘贴方式在交互界面输入栏中输入的图标。\n[0061] 在这一步骤中,检测用户针对即时通信交互界面中表情图标的持续触发操作。\n[0062] 所述持续触发操作是根据用户针对表情图标的触发持续时间进行判断的。首先预设持续时间阈值,当检测到用户通过触摸屏或控制光标触发表情图标的持续时间(连续,不间断的触发时间)超过该持续时间阈值时,判定为用户对该表情图标进行持续触发操作。\n[0063] 对应包含触摸屏的计算终端,通过计算终端中的相应模块检测用户的手指向下事件,确定用户对触摸屏是否发生接触,并将检测到的接触与触摸屏中显示的用户界面对象相对应,判断用户是否针对表情图标进行触发,并在触发开始时记录用户针对该表情图标触发持续时间,与预设的持续时间阈值进行循环比对,当该时间超过预设的持续时间阈值时,判定为用户对该表情图标进行持续触发操作。\n[0064] 对应包含物理键盘、鼠标的计算终端,以Windows操作系统为例,设置当前操作面板为对应的主窗口,捕获鼠标消息,并在主窗口实现针对鼠标消息的响应函数;利用Windows的钩子获取用户的鼠标左键Down消息,通过主窗口响应系统的鼠标消息,得到当前用户鼠标点击的位置数据,获取该位置数据所占用的矩形区域,利用相关API函数判断鼠标点击位置对应的相关内容,判断用户是否针对表情图标进行触发,并在触发开始时记录用户针对该表情图标触发持续时间,与预设的持续时间阈值进行循环比对,当该时间超过预设的持续时间阈值时,判定为用户对该表情图标进行持续触发操作。\n[0065] 本发明所述的持续时间阈值设置在1-4秒钟之间。\n[0066] 步骤S102,触发即时通信客户端所在终端的流媒体录制功能,其中流媒体数据是音频、视频、或者多媒体数据。\n[0067] 在这一步骤中,进行录制的流媒体数据包括三种数据类型,音频、视频、或者多媒体数据。因此当用户通过表情图标触发流媒体数据录制功能时,需要进一步确认录制的数据类型。\n[0068] 需要指出的是,这里所述的视频数据是指仅包含视频图像而不包含音频的数据类型。\n[0069] 为便于用户选择需要进行录制的数据类型,当检测到用户对表情图标持续触发后,在即时通信交互界面邻近该表情图标的位置生成录制类型选择界面,该选择界面中包含有对应音频、视频和多媒体三种类型至少其二的选择控件。\n[0070] 如图2-a、图2-b所示,作为举例而非限定,录制类型选择界面在邻近表情图标处有两种界面形式。其中图2-a表示的是录制类型选择界面200围绕表情图标100生成的示意图,从图中可以看出录制类型选择界面200位于表情图标100的上方,呈半圆环状围绕表情图标\n100。录制类型选择界面200根据提供的选择控件210的数量划分为三个部分,每一部分对应一种数据类型的选择控件210。图中以“S”“V”“M”分别标识了该选择控件210对应的数据类型,其中“S”对应音频数据,“V”对应视频数据,“M”对应多媒体数据。\n[0071] 图2-b表示的是当录制类型选择界面200邻近表情图标100一侧生成的示意图,从图中可以看出录制类型选择界面200位于表情图标100的右上方,界面呈矩形。录制类型选择界面200根据提供的选择控件210的数量划分为三个部分,每一部分对应一种数据类型的选择控件210。图中以“音频”“视频”“多媒体”分别标识了该选择控件210对应的数据类型。\n[0072] 当然这里的“S”、“V”、“M”和“音频”、“视频”、“多媒体”两种标识类型仅为举例,实际应用中可以采用容易辨识的符号和图像等形式进行标识。\n[0073] 进一步,在生成录制类型选择界面200后,在利用触摸屏保持持续触摸的情况下,用户利用触摸路径从前述表情图标位置移动到前述选择控件。计算终端从触摸屏表面接收接触数据,确定由一系列接触数据表示的接触点的移动(包括移动的大小和方向),当移动停止时将检测到的接触与触摸屏中显示的用户界面对象相对应,判断用户选择触发的选择控件210,触发该选择控件210所对应数据类型的录制操作。\n[0074] 如图2-a或图2-b所示,图中以虚线表示了用户利用触摸屏的触摸路径,箭头表示接触点移动的方向。图2-a中接触点移动至标识为“M”的选择控件210,由此触发针对多媒体数据类型的录制操作。图2-b中接触点的移动路径为由表情图标100移动至标识为“音频”的选择控件210所在的矩形区域,由此触发针对音频数据的录制操作。\n[0075] 特别地,针对触摸路径的移动还有另一种表现形式,即拖拽表情图标100至选择控件210所在区域,触发针对该控件对应类型数据的录制操作。\n[0076] 特别地,上述三种录制的数据类型中,在实际应用时优选为音频数据信息。为便于用户启动针对音频信息的录制操作,减少用户的操作步骤,本发明还提供了一种启动音频录制的方式,即预先设置声音的录制模式以及触发的时间阈值。使用时在通过触摸屏以触摸的方式对前述图标进行持续触压的时间达到前述的时间阈值后,启动对音频数据的录制操作。需要注意的是,为了避免针对音频录制启动持续触摸时间对原三种流媒体数据录制启动判定的干扰,这里设定的时间阈值需较持续时间阈值稍长。\n[0077] 例如,若持续时间阈值设定为2秒,则对应启动音频录制设定的时间阈值即可设定为4秒。即当用户针对某一表情图标持续触发的时间超过2秒时,生成相应的选择列表,若用户保持对该表情图标的触发不变,不进行拖动或移动操作,当持续触发的累计时间超过4秒时,自动触发针对音频的录制操作。\n[0078] 进一步,所述步骤S102中触发的流媒体录制功能,是通过即时通信客户端所在终端中的相应录制功能模块实现的,如终端上的麦克风,摄像头等功能模块。\n[0079] 步骤S103,检测用户针对表情图标持续触发操作的终止,停止流媒体录制操作。\n[0080] 在上一步骤中,触发了即时通信客户端所在终端开启相应的流媒体数据录制功能,当用户录制完毕需要的内容后,在这一步骤中,根据用户的操作触发终端停止相应的流媒体录制操作。\n[0081] 具体地,当检测到用户停止通过触摸屏或控制光标持续触发该表情图标时,判定为持续触发操作的终止。\n[0082] 对应包含触摸屏的计算终端,当计算终端中的相应模块检测到用户的手指向上事件时,确定用户中断对触摸屏的触发,即用户针对相应表情图标的持续触发操作的终止。并据此触发终端中流媒体录制操作的停止。\n[0083] 对应包含物理键盘、鼠标的计算终端,以Windows操作系统为例,当利用Windows的钩子获取到用户的鼠标左键up消息时,确定用户中断对触摸屏的触发,即用户针对相应表情图标的持续触发操作的终止。并向终端中已开启的相应流媒体录制功能模块发送停止录制的消息。\n[0084] 特别地,当所录制的流媒体数据为音频数据时,确认持续触发操作终止的方式还包括,音频输入停止的判定。具体操作时,为避免对用户进行音频输入中间隔时间的误判,预设一定的间隔时间阈值。当用户进行音频输入时,中途停顿的间隔时间超过前述的间隔时间阈值时即判定为音频输入的停止,由此确认持续触发操作的终止。\n[0085] 进一步,前述流媒体录制操作的停止,自动触发下一步骤中即时通信消息的发送操作,不再需要用户对即时通信交互界面中消息内容的发送确认,简化用户的操作步骤。\n[0086] 步骤S104,将表情图标和流媒体信息以即时通信消息的方式,发送至即时通信交互界面对应联系人客户端。\n[0087] 当步骤S103确认流媒体录制操作停止后,自动触发当前即时通信消息的发送。将用户选择的表情图标和针对该表情图标录制的流媒体信息以即时通信消息的方式,发送至联系人所在的即时通信客户端。\n[0088] 联系人所在客户端在接收到该包含流媒体数据的表情图标时,对应有三种输出方式,现详述如下:\n[0089] 方式一,在联系人交互界面输出栏中首次接收并输出表情图标的情况下,触发播放针对该表情图标录制的流媒体数据。\n[0090] 具体地,当联系人所在客户端首次接收到某一包含流媒体数据的表情图标时,在联系人与用户的即时通信交互界面输出栏中输出前述表情图标,并根据针对该表情图标录制的流媒体数据的数据类型,开启相应的播放界面,在界面中播放相应的流媒体数据。这一输出方式无需联系人启动,当表情图标输出的时候,同时开启流媒体数据的播放操作。该播放界面中设置有针对播放该流媒体数据的操作控件,如开启/停止、暂停和音量控制等,用户通过前述操作控件可以对流媒体数据的播放进行控制。\n[0091] 所述流媒体数据播放完毕后,关闭相应的播放界面,对应表情图标在联系人交互界面输出栏中输出流媒体播放控件,当再次采集到该流媒体播放控件的触发消息后,播放针对该表情图标录制的流媒体数据。\n[0092] 需要注意的是,这一方式强调在首次接收时自动启动,即当该消息在联系人后续重复读取的时候,不再自动启动相应流媒体数据的播放操作。\n[0093] 方式二,在联系人交互界面输出栏中输出表情图标和流媒体播放控件,当采集到该流媒体播放控件的触发消息后,播放针对该表情图标录制的流媒体数据。\n[0094] 这一方式可以针对联系人所在客户端首次接收到某一包含流媒体数据的表情图标的情况,也包含联系人在此之后重复读取该消息时的播放方式。\n[0095] 在这一方式中,即时通信消息中的内容既有表情图标,也包含对应录制内容的流媒体播放控件。实际应用时根据用户的主动触发进行播放操作。\n[0096] 具体地,针对前两种方式中交互界面输出栏中的表情图标和流媒体播放控件在输出时,包含以下两种位置关系,\n[0097] 其一,流媒体播放控件位于表情图标一侧;\n[0098] 流媒体播放控件与表情图标相互独立,作为同一条即时通信消息输出在交互界面输出栏中。如图3-b所示,这儿表示了本位置关系对应的一种输出实施例,作为举例而非限定,图中流媒体播放控件300位于表情图标100的右侧,二者显示为相互独立的个体,但该流媒体播放控件300所对应的流媒体数据内容是针对其左侧的表情图标100进行录制的。\n[0099] 其二,表情图标位于流媒体播放控件内,显示输出时作为流媒体播放控件的组成部分。\n[0100] 这种位置关系中,流媒体播放控件与表情图标作为一个整体,输出在交互界面输出栏内。如图3-c所示即为本位置关系对应的一种输出实施例,作为举例而非限定,图中表情图标100作为流媒体播放控件300的一个组成部分,位于流媒体播放控件300内部左侧,在表情图标100的右侧,设置有流媒体播放触发控件310,实际应用时,通过触发该流媒体播放触发控件310,触发相应流媒体数据的播放操作。在这种显示方式中,由双方的位置关系明确了该流媒体播放控件300所对应的流媒体数据内容是针对其内部的表情图标100进行录制的。\n[0101] 进一步,在实际操作中,将表情图标100设置于流媒体播放控件300内部时,需要根据双方的尺寸大小进行调整。\n[0102] 首先,判定所采集的表情图标的尺寸是否大于所对应流媒体播放控件的尺寸。\n[0103] 然后,在大于该流媒体播放控件尺寸的情况下,将所采集的表情图标的尺寸进行缩小操作,缩小到该表情图标能够在流媒体播放控件不作尺寸改变的情况下进行嵌入操作,且该表情图标的尺寸不超出所在流媒体播放控件的边缘。\n[0104] 由于表情图标尺寸的大小受到流媒体播放控件尺寸的限制,因此这种位置关系优选为针对表情图标栏中的已有表情图标。\n[0105] 方式三,在用户或联系人所在的交互界面输出栏,输出具有流媒体播放控件功能的表情图标,当采集到针对于该表情图标的触发消息后,播放针对该表情图标录制的流媒体数据。\n[0106] 这一方式可以针对联系人所在客户端首次接收到某一包含流媒体数据的表情图标的情况,也包含联系人在此之后重复读取该消息时的播放方式。\n[0107] 与前述两种方式相区别的是,前述两种方式中,无论表情图标与流媒体播放控件的位置关系如何,输出时始终分别包含相应的两个部分,表情图标并不具备触发流媒体数据播放的功能。在这一方式中,表情图标除显示该图标对应的信息内容外,还具有流媒体播放控件的功能,用户通过点击或者触摸该表情图标,即可触发相应流媒体数据的播放操作。\n如图3-a所示,图中流媒体播放控件300与表情图标100合二为一,流媒体播放控件300的上方显示为表情图标100,为表示该表情图标100包含有相应的流媒体播放触发功能,在表情图标100的右下角设置有一“ ”标识,用户通过点击或者触摸该表情图标100,即可触发相应流媒体数据的播放操作。\n[0108] 参图4所示,本图为本发明所述的一种即时通信中图标触发流媒体数据录制客户端的结构框图,该客户端对应着发送方客户端。该发送方客户端400包括有如下组成部分:\n[0109] 持续触发检测单元410,用以检测用户针对即时通信交互界面中表情图标的持续触发操作;\n[0110] 流媒体录制触发单元420,用以触发即时通信客户端所在终端的流媒体录制功能;\n[0111] 触发终止检测单元430,用以检测用户针对表情图标持续触发操作的终止,停止流媒体录制操作;\n[0112] 信息发送单元440,用以将前述表情图标和录制的流媒体信息以即时通信消息的方式发送至即时通信交互界面对应联系人客户端。\n[0113] 进一步,所述的客户端还设置有流媒体输出单元450,用以在接收到包含流媒体数据的表情图标后,开启相应的播放界面播放针对该表情图标录制的流媒体数据,以及在交互界面输出栏中输出相应的流媒体播放控件。\n[0114] 另外,对应持续触发检测单元410还设置有时间阈值设置模块411,用以设定持续触发操作的时间阈值,以此作为持续触发操作的判定标准。\n[0115] 对应流媒体录制触发单元420还设置有录制类型选择模块421,用以在检测到用户针对表情图标的持续触发后,邻近表情图标生成包含有对应音频、视频和多媒体三种类型至少其二的选择控件的录制类型选择界面。\n[0116] 针对本发明所述的即时通信中图标触发流媒体数据录制的实现过程,具体描述如下。首先,由时间阈值设置模块411预先设定持续触发操作的时间阈值。实际应用中,持续触发检测单元410检测用户通过触摸屏或控制光标触发表情图标的持续时间,当检测到该时间超过该持续时间阈值时,判定为用户对该表情图标进行持续触发操作,并据此启动流媒体录制触发单元420。\n[0117] 用户根据流媒体录制触发单元420中录制类型选择模块421生成录制类型选择界面,选择希望进行录制的数据类型。流媒体录制触发单元420根据用户选择的数据类型启动终端中相应的功能模块,进行流媒体的录制操作。\n[0118] 当触发终止检测单元430,检测到用户针对表情图标持续触发操作的终止时,停止流媒体的录制操作,由信息发送单元440,将前述表情图标和对应该表情图标录制的流媒体信息,以即时通信消息的方式发送至即时通信交互界面对应联系人客户端。\n[0119] 另一方面,当用户所在的发送方客户端400接收到来自联系人发送的包含流媒体数据的表情图标时,由流媒体输出单元450在接收到数据信息后,在用户对应联系人的即时通信交互界面中输出相应的流媒体播放控件,以及开启相应的播放界面播放针对该表情图标录制的流媒体数据。\n[0120] 由发送方客户端400录制并发送的数据消息在传递至联系人所在的接收方客户端后,由接收方客户端进行相应的输出以及数据播放操作,因此对应的接收方客户端应设置相应的数据处理单元。\n[0121] 在本发明中,对应前述发送方客户端400,还提供了一种接收方客户端500,其结构框图如图5所示。该接收方客户端500包括有如下组成部分:\n[0122] 数据接收单元510,用以接收发送方客户端所发送的对应着表情图标录制流媒体数据的信息内容;\n[0123] 数据输出单元520,用以在首次接收到前述信息内容后输出表情图标并播放所录制的流媒体数据,并对应着该流媒体数据生成并输出流媒体控件;\n[0124] 或者,输出具有流媒体控件功能的表情图标,其中该流媒体控件对应着前述的流媒体数据生成,在触发后播放该流媒体数据;\n[0125] 或者,输出表情图标及同一即时通信消息中的流媒体控件,该流媒体控件对应着前述流媒体数据生成,在触发后播放该流媒体数据。\n[0126] 实际应用中,首先发送方客户端400以即时通信消息的方式将包含流媒体数据的表情图标发送至接收方客户端500,由数据接收单元510对前述信息内容进行接收。然后,根据数据输出方式的不同,数据输出单元520对数据接收单元510所接收到的信息内容有不同的处理方式:\n[0127] 方式一,当接收方客户端500首次接收到该包含流媒体数据的表情图标时,在即时通信交互界面中输出表情图标,并开启相应的播放界面播放所录制的流媒体数据,并对应着该流媒体数据生成并输出流媒体控件;\n[0128] 方式二,在即时通信交互界面输出具有流媒体控件功能的表情图标,其中该流媒体控件对应着前述的流媒体数据生成,在采集到针对表情图标的触发后播放该流媒体数据;\n[0129] 方式三,在即时通信交互界面输出表情图标及同一即时通信消息中的流媒体控件,其中该流媒体控件对应着前述的流媒体数据生成,在采集到针对流媒体控件的触发后播放该流媒体数据。\n[0130] 在本发明中,所述搭载发起方即时通信工具的数字设备可以为计算机、移动电话或者PDA等通信设备。\n[0131] 以上是对本发明的描述而非限定,基于本发明思想的其它实施例,均在本发明的保护范围之中。
法律信息
- 2016-05-04
- 2013-06-05
实质审查的生效
IPC(主分类): H04L 12/58
专利申请号: 201210390842.3
申请日: 2012.10.12
- 2013-01-30
引用专利(该专利引用了哪些专利)
序号 | 公开(公告)号 | 公开(公告)日 | 申请日 | 专利名称 | 申请人 |
1
| |
2009-07-08
|
2008-12-19
| | |
2
| |
2007-11-21
|
2007-03-19
| | |
3
| |
2011-07-20
|
2011-02-21
| | |
4
| |
2010-02-03
|
2009-07-24
| | |
被引用专利(该专利被哪些专利引用)
序号 | 公开(公告)号 | 公开(公告)日 | 申请日 | 专利名称 | 申请人 | 该专利没有被任何外部专利所引用! |