菜单显示系统及方法

1、一种菜单显示系统，其特点是：
在显示屏的左右两端或其中一端沿垂直方向显示一组选择项的装置，及
响应对所述选择项的选择并沿着从被选择项邻近处延伸的一线显示与该被选项相关的一组选择项的装置。
2、如权利要求1提出的一种菜单显示系统，其特点在于选择所述一组选择项的显示位置的装置。
3、如权利要求2提出的一种菜单显示系统，其特点在于所述从被选选择项邻近处延伸的一线是沿对角线向下延伸的。
4、如权利要求3提出的一种菜单显示系统，其特点在于所述从被选选择项邻近处延伸的一线是沿对角线向上凸起的弧线。
5、一种菜单显示方法，其特点在于下述步骤：
在显示屏左右两端或其中一端沿垂直方向显示一组选择项，及
响应对所述选择项的选择，沿着从该被选选择项邻近处延伸的一线显示与该被选项相关的一组选择项。
6、在一个可由计算机执行的计算机程序产品中，一个用于菜单显示的计算机程序产品，它使所述计算机执行的步骤有如下特点：
在显示屏左右两端或其中一端沿垂直方向显示一组选择项，及
响应对所述选择项的选择，沿着从该被选选择项邻近处延伸的一线显示与该被选项相关的一组选择项。
7、一个计算机交互系统，其特点是：
一个显示设备，
复盖在所述显示设备上的一块透明输入板，及
在显示屏上左右两端或其中一端沿垂直方向显示一组选择项的装置。
8、一个计算机交互系统，其特点是：
输入/输出装置，包括显示功能和用于响应接触以输入坐标位置的坐标输入功能，及
在所述输入/输出装置的左右两端或其中一端沿垂直方向显示一组选择项的装置。

本发明是关于一个计算机系统的用户介面，特别是在使用透明输入板（transparent    tablet）和液晶显示的集成I/O（输入/输出）设备或类似设备的显示屏上提供一种有效的菜单处理。\n传统的计算机用户交互技术主要是在位映象（bit    map）显示器和鼠标器（或输入板）基础上发展起来的，并且是在假定整个屏幕基本上可以看见的情况下为用户操作而设计的。用户交互作用的一个典型实例是使用菜单。在这种方法中对诸如命令等的各种选择被显示在一个位映象显示器上，而且是用一指点设备（例如鼠标器）来进行输入。有一种如图1所示的下拉菜单，这里的菜单是分层次的，以改善其可用性。在这一菜单系统中，菜单栏（bar）通常位于显示器或窗口的上部，各项目横向排列，而下拉菜单则垂直显示。由于在使用鼠标器和位映射显示器的系统中用户一般是从顶到底扫描荧屏，所以在菜单栏和下拉菜单之间作这种安排是很有效的。\n当今，由于传感器和液晶技术的进步，一种使用透明板和液晶显示器的集成I/O设备近来已经传播开，正在代替位映象显示器和鼠标器。这种设备的特点在于当前在显示屏上的一项能被直接操作（被 显示项的位置与被操作对象重合）。然而，直接使用传统的下拉式菜单系统有如下问题：\n（1）菜单栏上位于持笔手臂一侧的菜单项被遮盖（见图2）。\n（2）当下拉菜单项正被沿向下方向选择时，它们也被手遮盖，尽管第一项能被看到（见图3）。\n附带说明，与本发明有关的专利对比文件包括已公布但未审查的专利申请254233/1987和205722/1988号公报。虽然这些的目的是要改进传统的菜单栏和下拉菜单配置，但菜单栏是横向安排在荧屏顶部，因此它们与本发明不同。此外，对角线显示下拉菜单的一种方法公布于IBM技术公报（IBM    Technical    Disclosure    Bulletin）第32卷第8期370-372页，1990年1月，但在该方法中的菜单栏也是横向排列在荧屏顶部的。\n再有，在一个用户友好的用户介面中，代表各种应用的图符可以是垂直排列的，例如在显示屏的右端（IBM    AIX    Next    Step    Environment/6000，SC23-2357，2-29页），但这是要显示频繁使用的那些应用，以便易于理解，因而没有考虑用笔输入。再有，在这种介面中只是由选择某一图符来启动一个应用，并不进一步显示一个下拉菜单或类似的其他菜单。\n本发明是考虑到上述情况而完成的，本发明的目的是提供一种用户介面技术，即使用于笔输入它也不会造成操作性能的降低。\n在本发明中，菜单栏是垂直排列在屏面（或窗口）的右端或左端， 最好是在用户的优势手臂一侧，而传统的菜单栏是横向排列在屏面（或窗口）的顶部。更可取的是，所提供的下拉部分呈弧形以考虑到腕部的运动。（见图4）。在下文中给出的描述是针对使用右手的用户，而对于用左手的用户而言，要把右和左对调。在使用前要标定下拉角，因为下拉角依赖于诸如用左手还是用右手、手的大小、上臂的长度、以及工作空间位置（特别是到椅背中心的角度）等因素。此外，为了避免从菜单栏到由左至右书写字符（之间）的连续操作过程中浪费空间，菜单栏各项的内容可以以某一角度显示（菜单栏的内容可以用图符代表）。\n现在用对象的能见性（visibility）来检验本发明。当用户用笔在屏面上指点时，手臂是从屏面的右下方到左上方放置的。在横向排列在屏面或窗口顶部的传统菜单栏的情况下，当某一项被选择时，其相邻项便被手遮盖，如图3所示。然而在本发明中，所有各项均显示出来而不受遮盖。\n再有，以手的操作性能的观点来检验本发明。在传统的垂直排列下拉菜单情况下，当一个较下部的项目被选择的，手臂要移动一个大范围，或者手腕被迫不自然地运动，因而不能说其操作性能是好的。与此相反，在本发明中，一个不施加不自然力的运动能选择到所有的菜单项。\n〔实施例〕\n现在参考附图描述本发明的一个实施例。\n图1用于解释传统的下拉菜单系统;\n图2用于解释传统的下拉菜单系统;\n图3用于解释传统的下拉菜单系统;\n图4用于解释本发明的概况;\n图5用于解释本发明的概况;\n图6用于解释本发明的概况;\n图7用于解释本发明实施例的概况;\n图8用于解释本发明实施例概况;\n图9用于解释本发明实施例概况;\n图10用于解释本发明实施例概况;\n图11显示出本发明实施例的整体配置;\n图12显示出本发明实施例的主要部分;\n图13更详细地显示出本发明实施例主要部分的一部分;\n图14是解释本发明实施例操作的流程图;\n图15是解释本发明实施例操作的流程图;\n图16是解释本发明实施例操作的流程图;\n图17是解释本发明实施例操作的流程图。\n附带说明，对传统的菜单系统新增加标定功能并对菜单栏子系统和下拉子系统稍加修改，即能构成本实施例。\n标定功能（calibration    function）\n由于用笔追踪下拉菜单而又不引起不自然力的轨迹决定于个 人，所以对每个个人进行标定是至关重要的。首先，如图7所示使每个人在屏面上指定一个点。然后，使手腕指出一个它能运动到那里而又不引起不自然力的端点，并将笔尖经过的轨迹拟合成弧线，从而得到菜单沿其显示的一条弧线。\n菜单栏子系统\n将当前的菜单栏子系统中偏移量计算中的X和Y坐标互换，便能容易地实现这一子系统。然而，由于考虑到菜单栏的每一项的长度（通常1到2个字）与手腕回旋半径相比足够短的，故倾斜角将是常数。\n下拉菜单子系统\n在传统的垂直排列菜单系统中，在已经造成第一项之后，当造成下一项时只是对其末端增加一个垂直偏移量（见图9）。与此相反，在本发明的菜单系统中，下一项的位置是根据图8所示标定数据按图10所示方法确定的。这种方法能容易地加到现有菜单系统中。\n下面将详细描述上面提到的描定功能和对菜单栏子系统及下拉子系统的修改。\n图11从总体上给出本实施例的系统配置，其中，该系统由个人计算机1、操作系统2及用户介面管理系统3组成。个人计算机1例如是IBM日本公司的PS/55（PS/55是美国国际商用机器公司的商标），它由处理器4、液晶显示设备5、透明板6a和笔6b组成。操作系统2例如是IBM日本公司的AIX    PS/2（AIX和PS/2是美 国国际商用机器公司的商标）。这个操作系统2包括窗口系统7，它管理向液晶显示设备5的输出及来自透明板6a的输入。用户介面管理系统3完成对输入和输出的复杂处理过程，例如菜单处理，并在这一系统中执行数据接收和传送给菜单的显示/选择/应用程序。\n图12说明了图11所示用户介面管理系统3和窗口系统7之间的数据接收与传送。在图12中，用户介面管理系统3有事件处理器10以及窗口管理器8和菜单管理系统9。事件处理器接收来自窗口系统7的事件信息，并将其传送给窗口管理器8和菜单处理系统9。窗口处理器8根据该事件信息修改窗口的位置或大小。菜单处理系统9适用于根据事件信息来执行图14至图17所示处理例程（routine）（下文将描述），而且它还有菜单栏信息管理部分11、下拉信息管理部分12及标定信息管理部分13。这些信息管理部分11、12、及13将在下文中描述。\n利用这种配置，用户事先完成标定，并且应用程序记录下菜单数据。然后，当用户使用笔66在透明输入板6a上给出一个指示时，操作系统2上的窗口系统7响应用户指示产生事件信息，并将该事件信息送到用户介面管理系统3。用户介面管理系统3根据该事件信息向菜单处理系统9提供执行显示与选择菜单的指令，于是菜单处理系统9通过窗口系统7再次在液晶显示设备5上显示菜单用于来自下一个事件的项目选择。当确定了菜单选择时，先前显示的菜单被抹掉，所选择的数据被传送给应用程序。\n图13进一步描绘图12所示菜单处理系统9的配置。在图13中，菜单处理系统9有菜单栏信息管理部分11、下拉信息管理部分12及标定信息管理部分13。菜单栏信息管理部分11包括构成菜单栏所有各项的显示信息（显示字符串、颜色、字型、显示图符数据、大小（宽度、高度）等）、位置信息（显示每一项的起点位置坐标）、倾斜角、以及指向下拉信息的索引（index）。下拉信息管理部分12包括构成下拉菜单所有各项的显示信息（显示字符串、颜色、字型、大小（宽度、高度）等）、以及当实际选定某项时要向应用程序传送的应用数据。标定信息管理部分13包括基于用户手腕摆动的弧线信息（从笔尖所在位置看到的对应弧线的中心坐标）。\n现在描述本实施例的操作。\n为了解释该菜单系统的使用，将依次描述这样一些阶段。它们是：（1）标定进程，（2）由应用程序初始化，及（3）交互菜单。这三个处理过程之间的转换通常由操作系统2或其他独立的应用软件来完成。\n（1）标定进程\n标定进程是提取用户手腕摆动诸要素信息并将其处理成能为前述描定信息管理部分13所处理的形式。标定过程根据图14来实现，有如下述。用户首先告知系统他将执行一次标定（执行标定软件）。系统重新向用户提供一个标定窗口并等待输入（步骤S1）。当窗口系统7通告用户已将笔6b的尖落入窗口内（透明板6a已感知坐标 并同时确认笔尖已与透明板6a接触）时，便启动标定数据采样（步骤S2）。如果用户即使稍微移动笔尖，窗口系统7便将笔尖数据送到菜单处理系统9。虽然菜单处理系统9向用户提供回送显示，但在用户笔尖移动一个固定距离之前它不承认一个新点的输入，而且只有当笔尖运动等于或超过那个距离，它才承认笔尖为一新点，并将该点坐标存入系统中（步骤S3）。采样将重复进行，直至笔尖从透明板6a脱离（步骤S4）。结果，得到了用户笔尖运动的点串数据。\n然后，利用所得到数据串的两个端点和中间点，将点串拟合成一个弧。拟合方法如图8所示。由此得到的弧线数据（Cx，Cy，Cr）有区别地重迭显示在先前回送并显示的用户笔尖轨迹上（例如，用不同颜色重迭显示）（步骤S5）。如果用户对拟合结果不满意，可重复这些步骤（步骤S6）。将最后得到的弧线数据（Cx-Xo，Cy-Yo）传送给标定管理部分13，标定处理便告结束（步骤S7）。然而，（Xo，Yo）代表笔尖数第一点的坐标值。附带说明，由于用右手和用左手的差别显示在Cx的符号中（对于用右手，Cx＞＝0，对于用左手，Cx＜0），故不需要专门的分支处理。\n（2）由应用程序初始化\n这种初始化的执行方式与传统的菜单系统（例如IBM日本公司的AIX窗口或PS/2显示管理器）类似。首先，应用程序完成设置构成菜单栏信息管理部分11的菜单栏的所有各项的显示信息（显示字符串、颜色、字型、显示图符数据等）、构成下拉信息管理部分12的下 拉菜单的下拉的所有各项的显示信息（显示字符串、颜色、字型、大小（宽度、高度）等）、以及当实际选定时要提供给应用程序的应用数据。\n然后，利用来自菜单栏信息管理部分11每一项的显示信息的字符串长度和字型信息，得到并设置其大小（宽度、高度）（例如，如果使用IBM日本公司的AIX    PS/2作为操作系统2，用所述公司的AIX窗口作为窗口系统7，该系统能被允许使用那些信息完成这种计算）。再有，根据这种信息，能按图15所示过程完成位置信息（显示每一项用的起点位置坐标）和倾斜角的计算。\n首先，根据应用程序所需窗口大小、当前能得到的屏面大小、及用户所需窗口大小计算出菜单栏所能得到的区域（MB-Width，MBHeight）（步骤S11）。其次，只对有字符型显示信息的那些项计算出宽度最大值（WidthMax）。类似地计算出高度最大值（HeightMax）（步骤S12）。如果这个值（Width    Max）小于前面说明的MBWidth，则设置缺省（default）倾斜角;否则根据\nMBWidth＝HeightMax＊sin（θ）+WidthMax＊cos（θ）（步骤S13）来计算θ角，并将该值与系统中先前具有的最大倾斜角值进行比较，取其较小者设置为倾斜角（步骤S14）。然后，利用这个值依次确定各项的位置。首先，根据下述公式计算第一项的位置（Y-坐标）：\nY＝HeightMax＊cos（θ）+WidthMax＊sin（θ）\n（步骤S15）。\n然后，对包括第二项在内的其后各项，由对前一个Y坐标依次增加\ndy＝HeightMax＊cos（θ）\n来确定（步骤S16、S17）。对所有各项设置固定值\nX＝HeightMax＊sin（θ）\n作为X-坐标（步骤S16、S17）。最后，设置从菜单栏信息管理部分11内的索引中的每个菜单栏项所指向的下拉信息管理部分12的索引，并以此结束由应用程序进行的初始化。\n（3）交互菜单处理\n菜单处理流程示于图16。菜单处理系统9首先使用菜单栏信息管理部分11的数据在应用程序指定的窗口内显示菜单栏（步骤S21）。由于在先前的初始化时已经设置了显示每一项所需的全部信息，故在此处不需要任何特殊的计算或类似的处理。为显示一个字符串所要求的只是恰好包围该字符串的一个串框（string    box）的左下端点是代表每项的位置坐标信息的，并且是以倾斜角所指定的角度为倾斜度进行显示的。对于图符或类似物，它们可以不倾斜地显示。当从窗口系统7发出一个串件指出用户已将笔尖在某一项上按动的时候，根据笔尖的坐标，检索所指点的那一项，于是流程进入下拉处理（步骤S22）。\n下拉处理也是以下拉菜单显示开始。首先，利用菜单栏中被选项相对应的下拉信息管理部分12的索引，得到下拉管理信息（步骤S23）。然后，利用这一信息以及标定信息和被选下拉项的坐标值，显 示出该下拉项（步骤S24）。下面将在图17中描述确定下拉项显示位置的方法。这里也与上述采单栏的情况类似，根据笔尖坐标事件确定哪一项已被选定（步骤S25），并将对应于该特定项的应用数据发送给应用程序（步骤S26）。最后，从屏面上抹掉下拉项（步骤S27），并以此结束菜单处理。此外，如果在下拉项显示区之外发生一个菜单选择事件，则认为菜单处理已被取消，于是处理过程转向步骤6（步骤S28）。\n现在利用图17来描述先前描述过的确定下拉项显示位置的方法。首先，以下述方式确定包围第一项字符串的串框右上角点的坐标（步骤S31）。\nXs＝菜单栏区左端的X坐标值\nYs＝所选下拉项的Y坐标值\n然后，为其后的计算初步计算出下列值（步骤S32）：\nPx＝Xs+（Cx-Xo）\nPy＝Ys+（Cy-Yo）\n这里（Cx-Xo）和（Cy-Yo）是先前描述的标定数据。对于第二项或其后的某一项（第i+1项），其坐标按下述方式用前面的坐标值（Xi，Yi）及（Px，Py）循环计算出来（步骤S33）：\nXi+1＝Xi-（Px-Xi）/（Py-Yi）＊（第i项显示的高度）\nYi+1＝Yi+（第i项显示的高度）\n通过对其余所有项依次进行这一计算，便能确定全部显示位置。\n本发明不规定为局限于上述实施例，而是可以有各种修改。例如，如果笔带有一个按钮，那么在本发明中也能采用笔按钮作为选择触发器或用于指定选择或取消选择，就象在已有菜单系统中那样。再有，可以根据需要显示垂直菜单栏，或者可以有选择地显示垂直菜单栏和传统的横向菜单栏。此外，它还允许在使用位映象显示器和鼠标器的标准系统中显示垂直菜单栏。再有，本发明不仅能应用于个人计算机，也能应用于诸如工作站和远程终端等交互系统。\n如上所述，根据本发明，能在屏面左端或右端显示一个菜单栏，这样，可以在显示设备的屏面上提供一块图形输入板，即使当用笔直接接触该板来实现输入时也能避免菜单栏被手遮盖所造成的不便。\n1：个人计算机\n2：操作系统\n3：用户介面管理系统\n5：液晶显示设备\n6a：透明板\n66：笔\n7：窗口系统\n8：窗口管理器\n9：菜单处理系统\n10：事件处理器\n11：菜单栏信息管理部分\n12：下拉信息管理部分\n13：标定信息管理部分