双模多屏交互性

1.一种触敏输入和显示方法，包括：提供相邻的虚拟工作空间（50），当用图形方式表示时，所述工作空间（50）横跨至少第一屏幕（42）和第二屏幕（44），其中所述第一屏幕（42）和所述第二屏幕（44）中的每一个都包括至少一个软边缘部分（42d、44d）和至少一个硬边缘部分（42a、42b、42c、44a、44b、44c），其中硬边缘部分对应于所述虚拟工作空间（50）的边缘，并且其中所述第一屏幕（42）和所述第二屏幕（44）中的一个的软边缘部分对应于所述虚拟工作空间（50）的、从这一软边缘部分到所述第一屏幕和所述第二屏幕中的另一个的对应的软边缘部分的相邻连续性；以及
给用户提供与所述虚拟工作空间（50）的交互性以及控制数据在所述第一屏幕（42）和所述第二屏幕（44）上的显示，在由向所述第一屏幕和所述第二屏幕中的一个施加的用户输入产生的显示对象（S）的移动（M）之后并响应于所述移动，解析所述显示对象（S）的停留位置，所述停留位置是被解析的，以便所述显示对象（S）整体地显示在所述第一屏幕（42）上或所述第二屏幕（44）上，而不是部分地显示在所述第一屏幕（42）和所述第二屏幕（44）中的任一个上。
2.如权利要求1所述的方法，其特征在于，所述显示对象的所述移动是由向所述第一屏幕和所述第二屏幕中的一个施加的触摸输入产生的惯性移动，并且其中如果所述惯性移动具有足够的速度，则使所述惯性移动导致所述显示对象在所述第一屏幕和所述第二屏幕之间完全行进。
3.如权利要求2所述的方法，其特征在于，所述方法还包括：通过修改所述惯性移动的参数来避免所述显示对象的部分显示状况。
4.如权利要求3所述的方法，其特征在于，所述方法还包括：通过修改所述惯性移动的速度来避免所述显示对象的部分显示状况。
5.如权利要求3所述的方法，其特征在于，所述方法还包括：通过修改由所述惯性移动所产生的摩擦力来避免所述显示对象的部分显示状况。
6.如权利要求2所述的方法，其特征在于，如果所述惯性移动的速度不足以使所述显示对象在所述第一屏幕和所述第二屏幕之间完全移动，则使得在所述显示对象和所述第一屏幕和所述第二屏幕中的一个的边缘部分之间对惯性缓冲器交互进行显示。
7.如权利要求1所述的方法，其特征在于，所述第一屏幕和所述第二屏幕中的至少一个被配置成接收手触摸输入和笔触摸输入两者。
8.如权利要求1所述的方法，其特征在于，所述第一屏幕和所述第二屏幕中的至少一个是触敏显示屏，并且所述方法还包括：
基于由用户操纵的触摸屏笔与所述触敏显示屏的接触来接收并处理笔触摸输入；
基于所述用户的手与所述触敏显示屏的接触来接收并处理手触摸输入；以及
提供并显示触摸可操作标记菜单，所述标记菜单被配置成使用户能选择要响应于由所述触摸屏笔产生的笔触摸输入而执行的标记操作的类型。
9.如权利要求1所述的方法，其特征在于，所述第一屏幕和所述第二屏幕中的至少一个是触敏显示屏，并且所述方法还包括：
基于由用户操纵的触摸屏笔与所述触敏显示屏的接触来接收并处理笔触摸输入；
基于所述用户的手与所述触敏显示屏的接触来接收并处理手触摸输入；以及
动态地并有选择地屏蔽所述触敏显示屏的不同区域，以使得被屏蔽的区域不对所述笔触摸输入和所述手触摸输入中的一个作出响应，而对所述笔触摸输入和所述手触摸输入中的另一个作出响应。
10.一种触敏输入和显示系统，包括：
用于提供相邻的虚拟工作空间（50）的装置，当用图形方式表示时，所述工作空间（50）横跨至少第一屏幕（42）和第二屏幕（44），其中所述第一屏幕（42）和所述第二屏幕（44）中的每一个都包括至少一个软边缘部分（42d、44d）和至少一个硬边缘部分（42a、42b、42c、
44a、44b、44c），其中硬边缘部分对应于所述虚拟工作空间（50）的边缘，并且其中所述第一屏幕（42）和所述第二屏幕（44）中的一个的软边缘部分对应于所述虚拟工作空间（50）的、从这一软边缘部分到所述第一屏幕和所述第二屏幕中的另一个的对应的软边缘部分的相邻连续性；以及
用于给用户提供与所述虚拟工作空间（50）的交互性以及控制数据在所述第一屏幕（42）和所述第二屏幕（44）上的显示、在由向所述第一屏幕和所述第二屏幕中的一个施加的用户输入产生的显示对象（S）的移动（M）之后并响应于所述移动、解析所述显示对象（S）的停留位置的装置，所述停留位置是被解析的，以便所述显示对象（S）整体地显示在所述第一屏幕（42）上或所述第二屏幕（44）上，而不是部分地显示在所述第一屏幕（42）和所述第二屏幕（44）中的任一个上。

双模多屏交互性\n[0001] 背景\n[0002] 本公开涉及触敏显示器。触敏显示器越来越多地用于各种应用场合。以各种方式接收和处理触摸输入。存在用于对来自用户的手、来自触摸屏笔或类似工具的触摸作出响应的输入机制。\n[0003] 为触摸输入创建自然而直观的使用情况一直是设计挑战。现有的设备在它们接收触摸输入的方式方面常常是受限的，并且不灵活。在许多设备中，只允许一种类型的触摸输入，从而限制了功能。在其他情况下，由于故意的和非故意的触摸之间的糟糕区别，或者因为设备要求用户以不自然的或违反直觉的方式与它进行交互才能适当地解释触摸输入，界面的实用性被破坏。其他设备也受差的布局和/或非最佳设备姿势的困扰。一般而言，现有设备在它们利用可通过使用触敏显示器实现的各种优点方面受到限制。\n[0004] 概述\n[0005] 因此，一方面，本公开提供包括一个或多个触敏显示屏以及界面软件的触敏电子显示设备。触敏显示屏以及界面软件被配置成接收触摸输入，触摸输入可包括手触摸输入和/或来自笔或其他标记设备的触摸输入。在多屏工作空间的情况下，界面软件可用于允许结合第一屏幕进行输入以生成显示对象的惯性移动，该移动导致对象移动到并停留在另一个屏幕上。在允许不同类型的触摸输入的情况下(例如，手触摸输入以及笔触摸输入)，界面软件可以被配置成动态地屏蔽触敏显示器的区域，以区别或有选择地允许/拒绝不同类型的输入。\n[0006] 附图简述\n[0007] 图1是可以与本公开的显示系统和方法一起使用的示例性计算系统。\n[0008] 图2是根据本公开的相邻的虚拟工作空间的示意图，包括工作区跨多个屏幕的图示。\n[0009] 图3是根据本公开的电子显示设备，示出了此处所描述的显示系统和方法的示例。\n[0010] 图4是用于控制可移动对象的显示(特别是在单屏和多屏显示器上的惯性移动的示例性上下文中)的示例性方法的流程图。\n[0011] 图5描绘了触敏显示器的另一个示例，示出了双模笔触摸和手触摸操作，以及动态区域屏蔽的示例。\n[0012] 详细描述\n[0013] 本描述提供了电子显示器的输入和输出系统和方法，电子显示器在许多示例中被实现为触敏显示器。系统和方法通常结合计算系统20来实现，如图1所示。计算系统20可包括可操作地与显示器26耦合的逻辑子系统22和数据保存子系统24(例如，存储器和/或存储)。在此处所描述的许多设置中，显示器26将是触敏显示器，虽然可以理解，此处所描述的一些示例适用于其他类型的显示器。\n[0014] 数据保存子系统24通常保存用户界面程序或可由逻辑子系统22执行的其他指令，以提供用户交互性及显示器的其他输入和输出功能。\n[0015] 显示器和底层界面软件被配置成提供相邻的虚拟工作空间。工作空间类似于个人计算环境中的常常被称为“桌面”的东西。\n[0016] 有时，希望用图形方式表示带有多个屏幕的工作空间。例如，如图2所示，可以将工作空间30分成两半30a和30b，每一半都在单独的屏幕上显示(即，屏幕32和34)。\n[0017] 当工作空间横跨多个屏幕时，如在本示例中，每一个屏幕都可包括硬边缘或硬边缘部分，以及软边缘或软边缘部分。例如，边32a，32b以及32c(以及34a，34b以及34c)是硬边缘部分，因为它们定义工作空间30的边缘边界。另一方面，屏幕边缘32d和34d是软边缘，因为所表示的工作空间部分(即，工作空间半区30a和30b)延伸超出这些屏幕边缘。\n更具体而言，边缘32d和34d彼此对应，并定义半个工作空间30a和半个工作空间30b之间的相邻/连续变换。具体而言，如果单一像素对象跨屏幕32向右侧方向移动，则它在从屏幕32的软边缘32d消失之后将立即出现在屏幕34的最左边的边缘(软边缘34d)。换言之，就工作空间30的描绘而言，屏幕32上的像素的最右边列紧邻屏幕34上显示的像素的最左边列。\n[0018] 多屏工作空间可以以各种方式显示。例如，电子设备可以具有单一显示屏(或其一部分)，在其上面部分地表示工作空间。回头参考示例性工作空间30，在任何给定时间，只有一半(30a或30b)将对用户可见，而可以使用各种输入来使显示在两半工作空间之间切换。在另一示例中，电子设备将包括可以被用来显示整个工作空间的多个显示器。\n[0019] 具体参考图3，示出了具有多个显示屏的电子设备40的示例。所描绘的示例具有两个显示器42和44，但可以理解，本讨论还构想三个或更多显示器。在一个示例性配置中，以一种形状因子提供了设备，其中，两个屏幕可通过铰链折叠为闭合构造，类似于笔记本。\n实际上，在某些实施例和使用情况中，此处所描述的显示系统和方法可以被用来唯一地将诸如笔记本之类的纸基工具的优点与那些可通过数字显示技术获得的工具的优点组合。此外，此处所描述的示例还可以被配置成与各种不同的设备姿势一起使用，包括纵向、横向、读取、故事画板、并排、日志配置等等。\n[0020] 继续图3，并类似于前面的讨论，相邻的虚拟工作空间50横跨两个显示器/屏幕，部分50a和50b(工作空间的满屏)分别显示在显示器42和44上。如前所述，每一个屏幕都包括对应于工作空间50的边缘边界的硬边缘42a、42b和42c，以及44a、44b和44c。软边缘42d和44d彼此对应，并定义工作空间50跨两个屏幕的连续性。\n[0021] 在很多情况下，希望系统完全在一个屏幕或另一个屏幕上显示图形对象或其他材料。例如，对于与屏幕或工作空间相比较小的对象，常常希望避免跨两个屏幕地拆分材料。\n例如，参考显示屏44，用户被示为以4∶3的纵横比选定了内容(可选择的内容S)的相对较小的区域(例如，通过手对触摸屏笔设备52的操纵选定的裁剪的照片)。此外，示例示出了所选内容被从屏幕44上的第一位置移动到屏幕42上的新位置。在原始和重新定位的位置，材料在一个屏幕上整体地显示，旨在易读，易编辑等等。\n[0022] 此处所描述的界面软件可以特别配置有促进材料完全在多屏工作空间的一个屏幕上适当显示的功能。通常，界面软件和相关的方法响应于调用或请求图形物体被移到或显示在虚拟工作空间50上的特定位置的用户输入而操作。在图4上的82指出了输入，该图示出了用于控制输入以及材料在多屏工作空间设置中的显示的示例性方法80。\n[0023] 继续示例性方法80，该方法包括，在84，解析显示的对象的位置，以便它完全显示在一个屏幕上或另一个屏幕上，而不跨两个屏幕分开。在一个示例中，与导致显示对象跨工作空间(例如，工作空间50)惯性移动的用户输入一起执行该方法。用户输入可以是在其中一个屏幕上进行的向显示的对象提供速度的触摸输入。在这样的情况下，取决于给予显示对象的速度，该对象可以停在工作空间的另一个屏幕上的位置(例如，图3中的惯性运动M导致最初显示在显示器44上的可选择的源内容S越过软边缘44d和42d，并停留在工作空间50的在显示器42上示出的部分上)。换言之，根据此示例，如果惯性移动有足够的速度(即，足够快的速度，并在适当的方向)，则界面被配置成使惯性移动导致显示对象在第一屏幕和第二屏幕之间完全行进。\n[0024] 回头参考图4，具体参考解析步骤84，一般方法可包括计算显示对象的所请求的停留位置，如86所示。所请求的位置可以基于用户输入。例如，在惯性运动的情况下，该请求导致显示对象在特定方向上以特定速度移动。例如，触摸显示器常常允许用户用刷手势移动显示的对象，其中，用户拖动对象并在它仍在移动时释放，以便提供对象沿着虚拟工作空间模拟的惯性移动。模拟摩擦力，以便对象最终停留在一新位置。\n[0025] 在本示例中，被命令的惯性运动会导致对象(如果无约束的话)行进超出屏幕42和44中的一个的硬边缘。这样的请求会违反工作空间定义(即，它将导致对象移出工作空间)。因此，界面软件可以提供校正结果，其中，对象靠着硬边缘停留。分别在88和90示出了违反决定和校正。如果没有调用校正，则对象显示在所请求的位置，如在92所示。\n[0026] 在另一种情况下，输入可以导致生成显示的对象朝向其中一个屏幕的软边缘的惯性运动，与图3所示出的可选择的源内容的运动M的情况相同。在此情况下，计算所请求的静止位置可以想像地导致：(1)对象达不到软边缘，如此，完全保留在第一屏幕上；(2)对象停留，以便部分地显示或在两个屏幕上分开，也被称为“部分显示状况”；或(3)对象具有足够的速度以完全跨越软边缘，并完全停止移动以显示在两个屏幕中的另一个上。\n[0027] 关于上面的可能性(2)，界面软件可以被配置成将此视为对工作空间屏幕显示规则的违反(边缘违反或部分显示状况)。具体而言，如上文所描述的，相对较小的对象不跨屏幕分开是所希望的。如此，例如，可以定义工作空间规则，以便对于小于预定阈值的对象，可能性(2)是要求对于对象的停留位置进行校正的边缘违反。\n[0028] 可以以各种方式配置系统和方法，以校正和避免部分显示状况或其他不允许的边缘条件。例如，补救可以依赖于被禁止的状况是否涉及硬边缘还是软边缘。由于硬边缘问题通常涉及会导致移动的对象移出工作空间的惯性运动，校正通常涉及将对象定位在对象本来可能离开工作空间的位置或其附近。一个替代方案是简单地将对象定位在与硬边缘接触的离开点。可另选地，可以显示惯性缓冲器交互，其中，对象看起来似乎碰撞硬边缘，所产生的停留位置位于与硬边缘接触的点，或者稍微与接触点隔开(例如，类似于台球与台球桌的边缘减震垫的交互)。\n[0029] 在软边缘的情况下，补救可以依赖于各种因素，如速度和/或对象的最初计算出的停留位置。为避免部分显示状况，可以与图形对象在虚拟工作空间中的惯性移动一起使用下列各项中的一个或多个：(1)在对象停在其中它覆盖软屏幕边缘的被禁止状况之后，界面软件立即导致对象被轻推并重新定位以便完全显示在与相关软边缘紧相邻的屏幕中的一个上；(2)当计算出未修改的速度将产生部分显示状况时，可以立即增大或减小诸如对象的速度之类的惯性运动参数；和/或(3)在确定未修改的摩擦力将产生部分显示状况时，可以增大或减小诸如虚拟工作空间的表面摩擦力或阻尼之类的惯性运动参数。如果惯性运动速度不足以使对象在屏幕之间完全移动，则还能够在软边缘处采用惯性缓冲器交互。例如，如果速度太慢以使得无法携带对象跨越虚拟工作空间中的软边缘变换，则软边缘可以充当缓冲器以将对象保留在第一屏幕上。\n[0030] 如在别处所描述的，一些实现将涉及能够接收笔触摸输入(例如，从触摸屏笔或类似的工具)和来自用户的手(通常是手指)的触摸输入的相对大号的触敏显示器(或多个显示器)。在此及其他环境中，期望提供区分同时的输入和/或拒绝非故意的并且不对应于所需系统命令的触摸接触的能力。\n[0031] 因此，本系统和方法也可以用于控制触敏显示器以有选择地并且动态地控制触摸显示器的不同区域的响应性。在许多示例中，使用屏蔽来区别并选择触摸输入的类型。例如，可以允许手触摸输入，而阻止笔触摸输入，或者，反之亦然。\n[0032] 在第一示例中，在显示器的动态选定的区域中实现对所有触摸输入，或特定类型的触摸输入的拒绝。此外，根据情况或响应于其他输入或参数，被屏蔽的特定区域可以变化。一种替代方案是基于预期用户行为来执行屏蔽。例如，如果应用程序被配置成在特定位置在特定时间接收来自触摸屏笔的笔输入，则可以屏蔽相邻区域，以防止基于用户的手掌或握住触摸屏笔的手的其他部分对系统的非故意的命令。\n[0033] 可另选地，屏蔽可以基于对笔行为或其他状况的实时检测，而并非基于预期行为。\n例如，界面可以被配置成假设具有小于阈值的直径或尺寸的触摸输入是笔输入，然后，相应地在相邻区屏蔽以防止手掌停放或对输入的其他不想要的解释。此外，还可以基于用户的用手习惯(即，右撇子或左撇子)，确定被屏蔽的区域，以便不会不必要地禁用显示器的其中可能发生故意触摸输入的部分(例如，利用用户的另一只手)。\n[0034] 图5还示出和解释了动态屏蔽功能。具体而言，触敏显示屏100一般能够通过其整个表面来接收手触摸和笔触摸输入。例如，如屏幕的左下部分所示，可以使用用户的手来提供触摸输入，以拖动和控制内容102的页面的滚动。也可以使用手触摸输入来定位和有选择地激活标记菜单104。这些只是示例；可以使用手触摸输入来提供其他功能。\n[0035] 另外，如所示，触敏显示器被配置成从触摸屏笔或类似的工具106接收触摸输入。\n在所描绘的示例中，由用户的右手操纵触摸屏笔106，以绘制自由形态的线。可以通过接收笔触摸输入，来执行各种其他功能，包括绘制直线，裁剪，选择等等。在一种类别的示例中，标记菜单104被配置成使用户能从与笔输入相关联的各种工具或功能中选择。例如，一种选择将导致笔输入命令绘制直线，而另一种选择可以导致笔输入命令裁剪选择功能。标记菜单104可以是触摸-选择径向饼式菜单，该菜单对径向触摸手势作出响应以选择要执行的标记操作类型。\n[0036] 可以根据各种逻辑和/或使用情况，动态地进行动态屏蔽。在一个示例中，可以对于手触摸输入禁用整个屏幕(即，只允许笔输入)，但对于标记菜单104除外。在另一种情况下，手触摸输入和笔触摸输入都将被允许，但是，除在屏幕的特定区域(例如，屏幕的一边的滚动条)之外，将拒绝手触摸输入。\n[0037] 在另一种类别的示例中，一般准许笔触摸和手触摸输入但是，将在施加笔输入过程中动态地施加约束。一种替代方案是在检测到笔触摸输入时屏蔽整个显示器。这样的检测可以由具有小于阈值的直径或其他尺寸的触摸输入触发或以此为条件，从而支持这样的假设：输入对应于笔工具，而不是通常由于手触摸而产生的较大的接触区域。这样的屏蔽可能是所期望的，例如，以便在接收到笔触摸输入时，如在绘制直线的过程中，禁用滚动。\n[0038] 继续上面的示例，在检测到笔输入时，可以改为在笔输入区域附近的区域108中动态地执行屏蔽，以便拒绝手掌停放或握住笔工具的手的某些部分的其他接触。可以基于用户的已知的用手习惯，和/或基于如预先基于平均的手大小或其他信息确定的预测的手停放区域，来选择屏蔽的区域。作为对上面的屏蔽的补充或替换，对笔触摸输入的检测可能导致禁用除用于控制标记菜单104的手触摸输入之外的所有手触摸输入。现在将参考图3描述其他标记菜单功能。\n[0039] 再一次参考图3，此处所描述的系统和方法可以与标记菜单110一起提供改进的功能。图形还示出了可以通过对手触和笔触摸输入作出响应的界面来获取的特定优点。一开始，值得注意的是，可以有选择地将标记菜单110定位在触敏显示器上的所需位置。具体而言，本示例示出了响应于拖动/擦抹手触摸手势重新定位标记菜单110，以便为所选内容S腾出空间，所选内容S被示为沿着虚拟工作空间50从屏幕44移动到屏幕42。\n[0040] 除了可通过手触摸输入或其他输入来移动之外，可以致动标记菜单110，以导致所选工具的功能的选择性变化。在一种实现中，通过触摸标记菜单110的中心“软按钮”112，执行这种修改致动。例如，如果通过对标记菜单110的径向手势选择了直线工具，软按钮可以潜在地被用来约束直线以拟合诸如0，±45或±90度之类的多个预设角中的一个。在另一示例中，软按钮可以被用来改变被标记的线的宽度。在再一个示例中(在图3中描绘)，软按钮可以被用来迫使裁剪工具在当选择用于裁剪的矩形区域时维持所希望的纵横比。\n[0041] 此外，还应该理解，可以使用除所描述的标记菜单以外的触摸可操作的工具，以向所描述的系统和方法提供进一步的功能。在很多情况下，并类似于带有标记菜单的上面的示例中的一个，可以使用这些额外的触摸可操作的工具来改变触摸屏笔设备的操作。例如，一个这样的工具是虚拟标尺，可以通过来自用户的手的触摸输入，对其进行定位以及以别的方式对其进行操纵。可以使用虚拟标尺来促进直线绘制和/或执行其他操作。\n[0042] 可以理解，此处所公开的示例方法可以与各种系统配置一起使用。这些方法可表示诸如事件驱动、中断驱动、多任务、多线程等不同的的处理策略中的一个或多个。如此，所公开的进程步骤(操作、功能和/或动作)可以表示被编程到系统中的计算机可读存储介质中的代码。可以理解，在某些实施例中，在不偏离本公开的范围的情况下，可以省略此处所描述的和/或所示出的一些进程步骤。同样，过程步骤的所指示的顺序不是达成预期的结果所必需的，而是为说明和描述的方便而提供的。取决于所使用的特定策略，可以反复地执行所示出的动作、功能或操作中的一个或多个。\n[0043] 最后，应该理解，此处所描述的系统和方法在本质上示例性的，且这些具体实施例或示例不是限制性的，因为多个变体也是可以的。因此，本公开包括此处所公开的各种系统和方法的所有新颖和非显而易见的组合和子组合，以及其任何和全部等效物。