由移动终端控制显示设备的显示的方法及其移动终端

1.一种通过移动终端控制显示设备的显示的方法，所述方法包括：
当执行与所述显示设备的连接时，发送与显示在所述移动终端上的第一内容相同的第二内容到所述显示设备；
接收对包括在被显示在所述移动终端上的第一内容中的多个对象中的一个对象的选择；和
确定所述移动终端的屏幕方向；
基于所确定的方向是垂直方向，发送关于与所选对象相应的第三内容的信息到所述显示设备以便填充所述显示设备上的空空间，第三内容将在空空间中显示，以致由所述显示设备一起显示与所选对象相应的第三内容和第二内容，
其中关于第三内容的信息包括第三内容的内容数据。
2.如权利要求1所述的方法，其中，接收对所述一个对象的选择包括接收用于指定所述显示设备上的第三内容的显示位置的输入。
3.如权利要求2所述的方法，其中，所述用于指定第三内容的显示位置的输入指示在其中生成根据触摸输入的拖放的方向。
4.如权利要求1到3中的一项所述的方法，还包括，当做出用于指定第三内容的显示位置的输入时，发送用于指定第三内容的显示位置的命令到所述显示设备以及通过移动所述显示设备中第二内容的显示位置将第三内容与第二内容一起显示。
5.如权利要求1到3中的一项所述的方法，其中，第二内容被移动到并且以与生成拖放的方向相反方向显示在屏幕的一部分中，并且沿生成拖放的方向在屏幕的一部分中显示第三内容。
6.如权利要求1到3中的一项所述的方法，其中，关于第三内容的信息包括第三内容的内容类型和用于接收第三内容的地址中的至少一个。
7.如权利要求6所述的方法，其中，所述内容类型指示根据第三内容的类型的网络内容、媒体内容和广告内容中的一个。
8.如权利要求1到3中的一项所述的方法，其中，基于实时流协议(RTSP) 发送第二内容。
9.如权利要求1到3中的一项所述的方法，其中，发送关于第三内容的信息到所述显示设备包括：
当选择了所述一个对象时，将组合的屏幕配置为在所述显示设备上一起显示第二内容和第三内容；和
发送关于组合的屏幕的信息到所述显示设备。
10.一种用于控制显示设备的显示的移动终端，包括：连接器，其执行与所述显示设备的连接；
触摸屏，其显示第一内容并且根据从包括在第一内容中的对象当中一个对象的选择来输出选择信号；和
控制器，其进行控制以使得与第一内容相同的第二内容通过所述连接器被发送到所述显示设备，并且进行控制以使得当从触摸屏传递根据对所述一个对象的选择的选择信号时，所述移动终端的屏幕方向被确定，并且基于所确定的方向是垂直方向，关于与所选对象相应的第三内容的信息被发送到所述显示设备以便填充所述显示设备上的空空间，第三内容将在空空间中显示，以致与所选对象相应的第三内容和第二内容由所述显示设备一起显示，
其中关于第三内容的信息包括第三内容的内容数据。
11.如权利要求10所述的移动终端，还包括：
网络浏览器模块，其提供显示网页的网络内容；和
数字生活网络联盟(DLNA)模块，其提供媒体内容。
12.如权利要求10或11所述的移动终端，其中，当存在通过所述触摸屏的、用于指定所述显示设备上的第三内容的显示位置的输入时，所述控制器进行控制以使得用于指定第三内容的显示位置的命令被发送到所述显示设备。
13.如权利要求12所述的移动终端，其中，所述用于指定第三内容的显示位置的输入指示在其中通过触摸屏生成根据触摸输入的拖放的方向。
14.如权利要求10到11中的一项所述的移动终端，其中，第二内容被移动到并且以与生成拖放的方向相反方向显示在屏幕的一部分中，并且沿生成拖放的方向在屏幕的一部分中显示第三内容。
15.如权利要求10到11中的一项所述的移动终端，其中，关于第三内容的信息包括第三内容的内容类型和用于接收第三内容的地址中的至少一个。

由移动终端控制显示设备的显示的方法及其移动终端\n技术领域\n[0001] 本发明一般地涉及用于控制移动终端中的显示的装置和方法，并且更加具体来说，涉及用于在具有输出图像到外部显示设备的功能的移动终端中控制在外部显示设备中的显示的装置和方法。\n背景技术\n[0002] 对于使用户能够在移动的同时观看数字广播的数字广播服务的兴趣随着数字广播和移动通信技术演进而提高。同时，广播服务的范例已经从在其中用户仅仅被动地观看广播的具有被动概念的广播服务变化为在其中用户识别关于在广播中显示的产品的费用并且在直接观看广播的同时购买该产品的具有主动概念的广播服务。\n[0003] 对于使用移动终端的数字多媒体广播(DMB)服务的兴趣也提高了。DMB服务克服在观看广播中的空间和时间限制，但是由于屏幕尺寸限制不适合于几个人同时观看的广播。\n因此，已经出现不断发布的具有输出信号到诸如电视这样的大尺寸显示设备的功能的移动终端。\n[0004] 当前具有电视(TV)输出功能的移动终端能够输出诸如通过移动终端的屏幕显示的广播之类的视频到外部显示设备。因此，用户能够通过输出从网络服务器下载的或相机拍摄的图像数据到外部显示设备来通过大尺寸屏幕观看广播。具有电视输出功能的高级移动终端的例子包括Wi-Fi显示器(Wi-Fi  Display，WFD)和Airplay镜像(airplay mirroring)。\n[0005] 例如，WFD指的是其中移动终端100的小尺寸屏幕与诸如TV 110之类的外部显示设备交互工作然后与移动终端100的屏幕相同的屏幕如图1所示的在电视上无线地显示的技术。当通过移动终端屏幕100执行用户输入时，当前屏幕切换到相应于用户输入的屏幕。TV \n110的屏幕切换到与移动终端100的屏幕相同的屏幕。\n发明内容\n[0006] 技术问题\n[0007] 但是，与移动终端屏幕上的图像相同的图像位于电视屏幕的中心。因此，虽然当移动终端的屏幕方向是水平的时与移动终端屏幕上的图像相同的图像在整个电视屏幕上显示，但是当屏幕方向是垂直的时，如图1中所示，除了电视屏幕的中心之外的其余部分保持空空间。也就是说，由于移动终端的屏幕尺寸与电视的屏幕尺寸之间的差，在电视屏幕上产生如图1所示的空空间。\n[0008] 因此，当前对于用户来说存在对能够当在外部显示设备上显示移动终端屏幕上的图像时控制外部显示设备的屏幕显示以使能用户与使用移动终端相比较接收更逼真有效的图像的需要。\n[0009] 技术方案\n[0010] 因此，本发明提供一种用于由移动终端控制外部显示设备的屏幕显示的装置和方法。\n[0011] 本发明还提供一种用于提供外部显示设备的有效屏幕显示的装置和方法。\n[0012] 根据本发明的一方面，由移动终端控制显示设备的显示的方法包括：当执行与显示设备的连接时，发送等于显示在移动终端上的第一内容的第二内容到显示设备，接收对于包括在显示在移动终端上的第一内容中的对象中的一个对象的选择，以及发送关于与所选对象相应的第三内容的信息到显示设备以使得与所选对象相应的第三内容和第二内容一起显示在显示设备。\n[0013] 根据本发明的另一方面，一种控制显示设备的显示的移动终端包括：连接器，用于执行与显示设备的连接；触摸屏，用于显示第一内容并且根据对于从包括在第一内容中的对象中一个对象的选择来输出选择信号；和控制器，用于控制以使得等于第一内容的第二内容通过连接器被发送到显示设备，以及控制以使得当从触摸屏传递根据所述一个对象的选择的选择信号时，关于与所选对象相应的第三内容的信息被发送到显示设备以使得与所选对象相应的第三内容和第二内容在显示设备上一起显示。\n附图说明\n[0014] 本发明的上述及其他方面、特征和优点将从以下结合附图的详细说明中变得更加明显，附图中：\n[0015] 图1示出当传统的移动终端的屏幕被镜像时的电视屏幕；\n[0016] 图2示出根据本发明的实施例的、第一设备与第二设备的内部框图；\n[0017] 图3示出根据本发明的第一实施例的、用于控制第二设备的屏幕显示的在第一设备与第二设备之间的操作；\n[0018] 图4示出用于描述图3的操作的方法的例子；\n[0019] 图5示出根据本发明的第二实施例的、用于控制第二设备的屏幕显示的在第一设备与第二设备之间的操作；\n[0020] 图6示出根据本发明的第三实施例的、用于控制第二设备的屏幕显示的在第一设备与第三设备之间的操作；\n[0021] 图7示出用于描述图6的操作的方法的例子；\n[0022] 图8示出根据本发明的第四实施例的、用于控制第二设备的屏幕显示的在第一设备与第四设备之间的操作；和\n[0023] 图9示出用于描述图8的操作的方法的例子。\n具体实施方式\n[0024] 最佳实施例\n[0025] 在下文中，将参照附图描述本发明的实施例。在以下的描述中，相同元件即使它们在不同的图中示出也将用相同的参考标记标明。在下面的本发明的描述中，为了清楚和简明起见省略了合并于此的已知功能和结构的具体描述。\n[0026] 本发明提供一种在移动终端中控制外部显示设备的屏幕显示的方法。为此，本发明包括这样的过程：控制以使得移动终端与相邻外部显示设备连接，图像数据被发送到外部显示设备以在外部显示设备上显示被显示在移动终端屏幕上的图像，以及在外部显示设备上显示的图像的位置被移动并且当包括在图像数据中的对于对象之一的选择命令在移动终端上输入时，将图像与对于选择命令的对象图像一起显示。因此，可以有效地控制外部显示设备的输出屏幕。\n[0027] 图2示出根据本发明的实施例的、第一设备与第二设备的内部框图。在图2中，第一设备200是支持图像查看功能的移动终端，诸如智能电话、移动电话或平板PC，第二设备230是具有比第一设备200的屏幕尺寸大的屏幕的外部显示设备，诸如电视。\n[0028] 第一设备200包括显示单元205、浏览器模块210、数字生活网络联盟(Digital Living Network Alliance，DLNA)模块215、Wi-Fi显示(WFD)连接器220、和控制器225。\n[0029] 显示单元205可以用液晶显示器(LCD)面板来实现，并且当LCD面板用触屏类型实现时操作为输入装置。显示单元205用来显示由用户输入的或提供给用户的信息，以及移动终端的各种类型的菜单信息。当显示单元205用触屏类型实现时，如果存在从用户输入的触摸，则输入信号被输出到控制器225。控制器225借助于通过触摸屏输入的信号来识别输入类型，并且例如，确定保持、拖、放。\n[0030] 当根据用户的请求操作因特网浏览器时，浏览器模块210访问通过网络服务器输入到因特网地址窗口的统一资源定位器(URL)信息，以根据接收到的分组来生成网页。网络浏览器模块210提供显示网页的网络内容给控制器225。\n[0031] DLNA模块215提供媒体内容给控制器225，以便以流类型发送诸如视频之类的媒体内容到第二设备230。DLNA模块215与第二设备230共享媒体内容，以使得用户连续地观看存储在第一设备200或第二设备230中的媒体内容。\n[0032] WFD连接器220搜索Wi-Fi Direct服务可用的相邻第二设备230。当发现第二设备\n230时，WFD连接器220用于通过与第二设备230交换设备能力的过程将第一设备200与第二设备230连接。\n[0033] 控制器225控制第一设备200内的基本操作。具体地说，控制器225进行控制以使得诸如来自网络浏览器模块210的网络内容或来自DLNA模块215的媒体内容之类的内容基于实时流协议(在下文中，称为RTSP)通过WFD连接器220被发送到第二设备230。\n[0034] 控制器225通过显示单元205确定来自用户的输入信号形式以根据所述确定控制第一设备200。例如，当用户输入用于包括在在显示单元205上显示的图像中的对象的选择命令时，控制器225控制网络浏览器模块210或DLNA模块215以使得关于所选对象的详细数据被显示。除此之外，控制器225发送当前显示的内容到第二设备230，并且内容的传送类型遵循流类型，因而其详细描述将从略。可以根据流类型发送实际内容，或者可替换地，仅仅可以发送用于接收内容的内容地址，然后第二设备230可以存取用于显示相同内容的内容地址。\n[0035] 在与当前显示的内容相同的内容被发送以便以流类型显示在第二设备230上之后，如果输入了对于包括在内容中的对象中的一个的选择命令，则关于所选对象的详细数据被发送到第二设备230。关于所选对象的详细数据基于RTSP被插入到参数中然后被发送。\n例如，关于所选对象的详细数据包括实际内容数据、用于接收内容数据的地址、显示位置和内容类型。\n[0036] 当用户用他/她的手指触摸通过网络浏览器发现的列表当中特定内容或网页并且然后执行向左的拖放时，第一设备200向第二设备230发送用于指令进行准备以使得特定内容或网页在第二设备230的屏幕的左边显示的信号。响应于该信号，显示在屏幕中心的内容移动以便在第二设备230的屏幕的左边显示特定内容或网页。\n[0037] 下面将详细地描述在第二设备230中执行的操作。\n[0038] 第二设备230包括显示单元235、WFD连接器240、内容类型处理器245、内容位置处理器250和控制器255。\n[0039] 控制器255接收与以流类型显示在第一设备200上的内容相同的内容，并且进行控制以使得在显示单元235上显示内容。当通过WFD连接器240接收到用于基于RTSP指定所选对象，即，所选择的内容的显示位置的命令时，控制器255响应于命令移动当前屏幕上的内容，以确保渲染所选内容的屏幕空间。当确保所述屏幕空间时，控制器255进行控制以使得所选内容与先前内容一起显示在显示单元235上。\n[0040] 具体地说，控制器255将屏幕划分为两个空间以同时显示当前内容和新选择的内容，并且进行控制以使得当前内容和新选择的内容分别布置在经划分的屏幕空间中。已经显示在中心的当前内容被布置在经划分的屏幕空间当中与所选内容的显示位置的对侧相应的屏幕空间中。\n[0041] 经划分的屏幕空间中的每一个的大小可以被不同地设置。例如，屏幕可以被划分以保持已经显示在屏幕中心的当前内容的显示放大率，并且在这种情况下，新选择的内容显示在除了显示当前内容的屏幕空间之外的剩余屏幕空间中。为了以相同大小显示当前内容和新选择的内容，屏幕可以被划分成具有相同大小的屏幕空间。划分用于显示内容的屏幕的方法不限制于此。\n[0042] 因此，显示单元235可以显示根据第一设备200中的对象选择而改变的图像，并且显示与通过第一设备200的显示单元205显示的图像相同的图像。\n[0043] 内容类型处理器245确定从第一设备200接收到的内容的类型并且将所述内容提供给控制器255。所述内容类型指的是诸如网络内容和媒体内容之类的内容的类型，并且例如，网络(web)内容可以被设置为“网络”，媒体内容可以被设置为“视频”，广告可以被设置为“广告视频”。\n[0044] 当内容地址被包括在关于所选对象的详细数据中时，内容位置处理器250访问与该内容地址相应的网络服务器，接收与所选对象相应的内容，并且将该内容提供给控制器\n255。\n[0045] 现在将参考图3描述根据本发明的第一实施例的、用于控制第二设备的屏幕显示的第一设备与第二设备之间的操作。在图3中，第一设备200是移动终端，第二设备230是电视。\n[0046] 参照图3，移动终端200在步骤300中执行用于寻找支持Wi-Fi Direct的相邻外部显示设备的设备发现。当电视230作为外部显示设备的示例被发现时，移动终端200在步骤\n305中设置与电视230的连接，并且在步骤310中交换能力并且执行协商。移动终端200在步骤315中设置用以发送命令的RTSP连接，然后在步骤320中通过RTSP播放命令将显示在移动终端200的屏幕上的内容直接发送到电视230。\n[0047] 当在步骤325中从电视230接收到响应时，移动终端200在步骤330中开始用于镜像的音频/视频(AV)流。因此，所述内容通过流类型被发送到电视230。因为基于普通Wi-Fi Direct技术执行在步骤300到330中连接移动终端200和电视230的过程，所以在本发明中将不对根据Wi-Fi Direct技术的连接过程进行详细描述。\n[0048] 当如步骤335中所示在移动终端200中开启网络浏览器时，用户在步骤340中从搜索列表中选择一个。当开始网络浏览器时，网络内容440在移动终端200中显示，并且当网络内容400通过流类型被提供给电视230时在电视230中显示相同的网络内容405，如图4中所示。\n[0049] 当用于指定电视230上的显示位置的命令在包括在内容400中的一个对象被用户选择时被输入时，移动终端200向电视230发送用于指定电视230上的显示位置的命令。例如，当用户在当用户用他/她的手指触摸包括在内容400中的一个对象时沿右方410执行拖放时，移动终端200根据拖放确定输入信号。因此，移动终端200在步骤345中发送RTSP设置参数到电视230，其中，所述设置参数包括指示沿其执行拖放的方向的方向信息。\n[0050] 当接收到RTSP设置参数时，电视230在步骤350中移动显示在中心的镜像屏幕，并且然后在步骤355中发送响应。为此，电视230分析包括在RTSP设置参数中的方向信息，并且然后向左移动镜像屏幕以便当拖放方向是右向时在右边显示用于所选对象的内容。\n[0051] 移动终端200当接收到响应时确定在电视230中确保的屏幕空间，并且从而在步骤\n360中通过使用RTSP设置参数发送与所选对象相应的内容信息到电视230。\n[0052] 例如，在图4中，电视230接收被设置为“网络”的内容类型和包括用于接收所选内容的内容地址的内容信息，其中，内容地址诸如http://xyz.com/news/20111022/headline.html。响应于接收，电视230在步骤365中操作浏览器，并且然后在步骤370中通过使用用于接收所选对象的内容的内容地址来访问网络服务器260。因此，电视230沿与用户的拖放的方向相反的向左的方向来移动已经在中心显示的镜像屏幕405，并且然后在左部分420中显示镜像屏幕405以及在右部分415中显示所选对象的内容。可替换地，可以以流类型将实际内容而不是内容地址作为内容信息来发送。\n[0053] 图5示出根据本发明的第二实施例的、在其中移动终端200组合屏幕并且发送经组合的屏幕的例子。因为图5的步骤500到540与图3的步骤300到340相同，所以这里将省去对其的详细说明。但是，在本发明的第二实施例中，当在步骤545中操作对于所选对象的内容时，移动终端200在步骤550中直接从网络服务器260接收所选对象的内容，在步骤555中配置通过组合所提供的内容和先前的内容生成的屏幕，以及在步骤560中直接发送关于组合的屏幕的信息到电视230。\n[0054] 图6示出了根据本发明的第三实施例的、用于控制第二设备的屏幕显示的在第一设备与第二设备之间的操作的例子。因为在图6的步骤600到630中执行的操作与在图3的步骤300到330中执行的操作相同，所以将省略其具体实施例。但是，在图6中，当在步骤635中运行内容应用时，移动终端200显示内容列表屏幕700，如图7中所示。当在选择了一个内容时由用户执行拖放710时，显示在电视230上的内容列表705移到右部分720，所选内容被显示在左部分715中。\n[0055] 在步骤660中发送的RTSP设置参数包含包括指示内容是媒体内容的被设置为“视频”的内容类型的内容信息，以及例如被设置为“rtp://192.168.1.32/dlna_contents/thumnail.avi”的内容地址。当接收到RTST设置参数时，电视230操作播放器在步骤665中执行所选内容，并且在步骤670中通过使用内容地址来访问网络服务器260以从网络服务器\n260接收内容。因此，内容列表显示在电视230的右屏幕部分720中，并且同时，通过播放器再现的内容在左屏幕部分715中输出。\n[0056] 图8示出根据本发明的第四实施例的、用于控制第二设备的屏幕显示的在第一设备与第二设备之间的操作。因为图8的步骤800到830的操作与在图3的步骤300到330的操作相同，所以将省略其具体实施例。但是，在图8中，移动终端200在步骤835中确定当前屏幕的显示方向。当屏幕方向是水平方向时，在电视230的屏幕上没有空空间。当屏幕方向是垂直方向时，在屏幕上中心两侧有空空间。当当前屏幕方向确定为垂直方向时，移动终端200在步骤840中发送包含关于将显示在空空间中的内容的信息的RTSP设置参数以便填充空空间。然后，电视230在步骤845中操作播放器，并且在步骤850中从移动终端200接收将在空空间中显示的广告。因此，电视230能够通过播放器再现广告，以使得诸如视频之类的广告能够被输出。\n[0057] 参照图9，与移动终端200的屏幕900相同的电视230的镜像屏幕位于电视230的中心部分906。在这种情况下，在除电视230的中心部分905外的其余屏幕的左部分和右部分中生成空空间。图9示出在镜像屏幕905的中心的两侧中一起显示广告屏幕910和915的例子。\n在这种情况下，包含在RTSP设置参数中的内容信息包含指示内容是广告的“广告视频”的内容类型。当移动终端200不直接提供广告时，内容信息可以包含用于接收广告的内容地址。\n[0058] 如上所述，根据本发明，用户能够通过将移动终端屏幕200上的图像镜像到电视\n230上来通过放大的屏幕观看移动终端屏幕200上的图像，并且还可以通过电视230观看在移动终端屏幕200上对于对象选择的图像以及先前的图像。\n[0059] 根据本发明，因为用户能够控制外部显示设备的屏幕显示，所以相比于使用移动终端，存在用户能够接收更生动且有效的图像的优点。根据接收镜像图像的设备的特征使用双屏幕具有优点，例如，在保持移动终端屏幕的同时通过外部显示设备的大尺寸屏幕，宽高比和网络屏幕预览以及内容预览变为可能。\n[0060] 而且，通过在设备屏幕的空空间中显示广告来使用外部显示设备作为新的业务模型具有优点。例如，可以通过对广告再现的次数进行计数来对向广告商收取广告费，并且通过出于广告移动终端产品的目的来使用广告而最大化广告效果。\n[0061] 虽然已经参照本发明的特定示范性实施例示出并且描述了本发明，但是本领域技术人员将理解的是，在形式和细节上可以在这里进行各种变化而不脱离如所附权利要求及其等效物所定义的本发明的精神和范围。因此，若干修改是可能的，而不脱离如所附权利要求所定义的本发明的要领。应当理解，所述修改归于本发明的技术思想和范围内。