手语翻译系统、手语翻译装置及手语翻译方法

暂无

手语翻译系统、手语翻译装置及手语翻译方法
技术领域
[0001] 本发明涉及一种手语翻译系统、手语翻译装置及手语翻译方法。
背景技术
[0002] 通常正常人与聋哑人士沟通时需要学习一套手语，手语的学习需要花费相当大的精力及相当长的时间。另外，大多数手语的表达方式因国籍或地区的不同而不同，故不同国籍或地区的聋哑人士相互进行交流也存在沟通的问题。
发明内容
[0003] 鉴于以上内容，有必要提供一种可对手语进行识别并将手语所表达的意思转换为文字或语音信息的手语翻译系统、手语翻译装置及手语翻译方法。
[0004] 一种手语翻译系统，包括：
[0005] 一存储单元，用于存储标准手语的三维模型及与标准手语的三维模型对应的文字信息；
[0006] 一三维模型建立模块，用于根据由一深度摄像机对手势进行拍摄得到的图像及拍摄场景内各点与深度摄像机之间的距离信息建立该手势的三维模型；
[0007] 一转换模块，用于根据该存储单元中的标准手语的三维模型将得到的手势的三维模型转换为对应的标准手语的三维模型；及
[0008] 一手语翻译模块，用于根据该转换模块得到的标准手语的三维模型及该存储单元中的文字信息将由该转换模块得到的标准手语的三维模型转换为对应的文字信息，该对应的文字信息通过一第一输出单元进行显示。
[0009] 一种手语翻译装置，包括：
[0010] 一深度摄像机，用于拍摄交流者进行手语表达时所作出的手势并得到手势的图像及被摄场景内各点与深度摄像机之间的距离信息；
[0011] 一手语翻译系统，该手语翻译系统内存储有标准手语的三维模型及与标准手语的三维模型对应的文字信息，该手语翻译系统用于根据由深度摄像机所得到的图像及距离信息得到手势的三维模型，并将得到的手势的三维模型根据存储的标准手语的三维模型转换为对应的标准手语的三维模型，还根据存储的标准手语的三维模型及其对应的文字信息将标准手语的三维模型转换为对应的文字信息；及
[0012] 至少一输出单元，用于输出该手语翻译系统的文字信息。
[0013] 一种手语翻译方法，包括以下步骤：
[0014] 根据由一深度摄像机对手势进行拍摄得到的图像及拍摄场景内各点与深度摄像机之间的距离信息建立该手势的三维模型；
[0015] 将得到的手势的三维模型转换为对应的标准手语的三维模型；
[0016] 将标准手语的三维模型转换为对应的文字信息；以及
[0017] 输出该文字信息。
[0018] 上述手语翻译系统、手语翻译装置及手语翻译方法通过对深度摄像机得到的手势的图像及距离信息建立手势的三维模型，之后通过转换模块将得到的手势的三维模型转换为对应的标准手语的三维模型，该手语翻译模块将标准手语的三维模型转换为对应的文字信息，该输出单元输出文字信息，从而对手语进行识别并将手语所表达的意思转换为对应的文字或语音信息，方便与聋哑人士进行交流。
附图说明
[0019] 图1是本发明手语翻译装置的较佳实施方式的方框图。
[0020] 图2是本发明手语翻译装置的立体图。
[0021] 图3是图2中手语翻译装置的反面示意图。
[0022] 图4是本发明手语翻译装置的另一较佳实施方式的立体图。
[0023] 图5是本发明手语翻译方法的较佳实施方式的流程图。
[0024] 主要元件符号说明
[0025]
深度摄像机 10
手语翻译系统 20
三维模型建立模块 230
转换模块 21
手语体系设定模块 22
手语体系识别模块 23
手语翻译模块 24
文字转语音模块 25
按键 26
存储单元 27
第一输出单元 42
第二输出单元 44
掌上型装置 100
眼镜 200
显示屏 46
耳机 48
镜框 210
镜架 220
[0026] 如下具体实施方式将结合上述附图进一步说明本发明。
具体实施方式
[0027] 下面结合附图及较佳实施方式对本发明作进一步详细描述：
[0028] 请参考图1，本发明手语翻译装置的较佳实施方式包括一深度摄像机（Depth-sensing Camera）10、一手语翻译系统20、若干按键26、一第一输出单元42及一第二输出单元44。该手语翻译装置可对手语进行识别并将手语所表达的意思转换为文字或语音信息。
[0029] 该深度摄像机10用于拍摄交流者进行手语表达时所作出的手势以及得到场景内每一点与该深度摄像机10之间的距离信息。本实施方式中，该深度摄像机10可为一TOF（Time-of-flight）摄像机。该TOF摄像机在拍摄手势时将发射一定波长的信号，当信号遇到拍摄场景内的物体时即会反射至TOF摄像机，信号发射与接收之间的时间差即表示了物体与TOF摄像机之间的距离信息，因此该TOF摄像机即可得到场景内每一点与TOF摄像机之间的距离信息。
[0030] 请参考图2及图3，本发明手语翻译装置可以为一掌上型装置100。此时该第一输出单元42为一显示屏46，该第二输出单元44为一耳机48或一喇叭，该显示屏46及若干按键26均设置于该掌上型装置100的正面，该耳机48从该掌上型装置100的侧面接出，该手语翻译系统20为设置于该掌上型装置100的内部的一内存中的软件系统，该深度摄像机
10设置于该掌上型装置100的反面。
[0031] 请参考图4，本发明手语翻译装置也可以为一头戴式装置，如一眼镜200。此时该第一输出单元42为两显示屏46，该第二输出单元44为一耳机48。该两显示屏46设置于该眼镜200的两镜框210中，该耳机48从该眼镜的镜架220中接出，该手语翻译系统20为设置于该眼镜的镜架220的内部的一内存中的软件系统，该深度摄像机10设置于该眼镜200的两镜框210之间的镜架上。
[0032] 请再次参考图1，该手语翻译系统20包括一三维模型建立模块230、一转换模块
21、一手语体系设定模块22、一手语体系识别模块23、一手语翻译模块24、一文字转语音模块25及一存储单元27。
[0033] 该三维模型建立模块230用于根据得到的场景内各点与深度摄像机10之间的距离信息建立场景的立体模型。本实施方式中，利用得到的场景内各点到深度摄像机10之间的距离信息即可得到一曲面，该曲面即可被当作是场景的立体模型。之后，该三维模型建立模块230还可对得到的立体模型进行处理，以抹除背景等区域，从而得到手势的三维模型。
[0034] 该存储单元27存储有不同体系的标准手语的三维模型、每一三维模型所代表的文字信息及与文字信息对应的语音信息。该标准手语的体系可以为“词汇型手语”或“拼字型手语”，而“词汇型手语”或“拼字型手语”又因国籍或地区的不同而分为不同的体系，如该存储单元27中存储有中国的“词汇型手语”体系所对应的标准手语的三维模型及其所代表的文字信息及与文字信息对应的语音信息、中国的“拼字型手语”体系所对应的标准手语的三维模型及其所代表的文字信息及与文字信息对应的语音信息、美国的“词汇型手语”体系所对应的标准手语的三维模型及其所代表的文字信息及与文字信息对应的语音信息、美国的“拼字型手语”体系所对应的标准手语的三维模型及其所代表的文字信息及与文字信息对应的语音信息等。
[0035] 该手语体系设定模块22及按键26用于设定该手语翻译装置的手语体系。当使用者按压一按键26时，该手语体系设定模块22即对应设定该手语翻译装置的手语体系。如使用者需要翻译的手语体系为中国的“词汇型手语”时，使用者按压一对应的按键26，该手语体系设定模块22即设定该手语翻译装置的手语体系为中国的“词汇型手语”；当使用者需要翻译的手势为美国的“拼字型手语”时，则按压另一按键26，该手语体系设定模块22即设定该手语翻译装置的手语体系为美国的“拼字型手语”。
[0036] 当使用者未设定该手语翻译系统的手语体系时，该手语体系识别模块23可根据交流者已做出的手势判断交流者使用的手语体系，从而对应设定该手语翻译装置的手语体系。如交流者已作出的手势与存储于存储单元27中的中国的“词汇型手语”体系所对应的标准手语的三维模型相同时，则该手语体系识别模块23判断交流者使用的手语体系为中国的“词汇型手语”并设定该手语翻译装置的手语体系为中国的“词汇型手语”。
[0037] 该手语翻译系统20的转换模块21根据该三维模型建立模块230所得到的手势的三维模型与存储于该存储单元27中对应手语体系内的标准手语的三维模型将该三维模型建立模块230所得到的手势的三维模型转换为对应的标准手语的三维模型。
[0038] 该手语翻译模块24根据该转换模块21转换得到的标准手语的三维模型得到存储于该存储单元27内与该标准手语的三维模型对应的文字信息，从而将三维模型建立模块
230所得到的手语的三维模型转换为对应的文字信息。
[0039] 该文字转语音模块25根据该手语翻译模块24转换得到的文字信息得到存储于该存储单元27内部的与该文字信息对应的语音信息，从而将该深度摄像机10所拍摄得到的手势转换为对应的语音信息。
[0040] 该第一输出单元42用于显示该手语翻译模块24输出的文字信息，该第二输出单元44用于发出该文字转语音模块25输出的语音信息。
[0041] 可以理解的是，在手语体系识别模块23根据交流者已做出的手势判断交流者使用的手语体系，从而对应设定该手语翻译装置的手语体系的过程中，当交流者作出第一个手势时，该第一个手势可能与存储于存储单元27内的多个手语体系的标准手语的三维模型相同，此时，该手语翻译模块24及文字转语音模块25则会得到多个对应的文字信息及语音信息，该文字信息及语音信息将分别从第一输出单元42及第二输出单元44输出。直到交流者所做出的手势仅与某一手语体系的标准手语相同时，该手语体系识别模块23方设定该手语翻译装置的手语体系。
[0042] 请再次参考图2，当使用者使用一外观为掌上型装置100的手语翻译装置进行美国的“拼字型手语”翻译时，该手语翻译装置首先通过人工设定或自动设定的方式将手语体系定为美国的“拼字型手语”。此时该掌上型装置100的显示屏46上显示“US”，表示国家或地区为美国。
[0043] 该手语翻译装置的深度摄像机10拍摄一交流者做出的手势，该手语翻译系统20的三维模型建立模块230即根据深度摄像机10所得到的信息建立一三维模型，该转换模块
21根据得到的手势的三维模型与存储于该存储单元27中的美国“拼字型手语”体系中的标准手语的三维模型，从而将该手势的三维模型转换为对应的标准手语的三维模型。该手语翻译模块24将该转换模块21转换的标准手语的三维模型转换为与该标准手语的三维模型对应的文字信息“L”，并在该掌上型装置100的显示屏46上显示字母“L”。该文字转语音模块25将该文字信息“L”转换为字母“L”的英文发音并通过该掌上型装置100的耳机48发声。
[0044] 请参考图5，本发明手语翻译方法的较佳实施方式包括以下步骤。
[0045] 步骤S1：使用者判断是否需要人工设定手语翻译装置的手语体系。若需要人工设定手语体系则进入S2，否则进入S3。
[0046] 步骤S2：使用者按压一按键26以设定该手语翻译装置的手语体系，之后执行步骤S3。
[0047] 步骤S3：该深度摄像机10拍摄交流者做出的手势。
[0048] 步骤S4：该三维模型建立模块230根据深度摄像机10所得到的信息建立场景的三维模型，并对得到的三维模型进行处理以得到手势的三维模型。
[0049] 步骤S5：判断是否已进行人工设定手语体系。若已进行人工设定手语体系则进入S7，否则进入S6。
[0050] 步骤S6：该手语翻译系统20的手语体系识别模块23根据交流者已做出的手势判断交流者使用的手语体系自动设定该手语翻译装置的手语体系，之后执行步骤S7。本实施方式中，若交流者已作出的手势与存储于存储单元27中的一手语体系所对应的标准手语的三维模型相同时，则该手语体系识别模块23判断交流者使用的手语体为该手语体系并自动设定该手语翻译装置的手语体系为该手语体系。
[0051] 步骤S7：该手语翻译系统20的转换模块21将该三维模型建立模块230所得到的手势的三维模型转换为对应的标准手语的三维模型。
[0052] 步骤S8：该手语翻译系统20的手语翻译模块24将得到的标准手语的三维模型转换为对应的文字信息。
[0053] 步骤S9：该第一输出单元42显示文字信息，同时该手语翻译系统20的文字转语音模块25将文字信息转换为对应的语音信息，该第二输出单元44发出语音信息。
[0054] 上述手语翻译系统20、手语翻译装置及手语翻译方法通过该深度摄像机10拍摄交流者作出的手势，并由三维模型建立模块230建立手势的三维模型。之后，该手语翻译系统20的转换模块21将得到的手势的三维模型转换为对应的标准手语的三维模型，该手语体系识别模块23及手语体系设定模块22设定手语体系，该手语翻译模块24将该标准手语的三维模型转换为对应的文字信息，该文字转语音模块25将该文字信息转换为对应的语音信息，该第一输出单元42显示该文字信息或该第二输出单元44发出语音信息，从而对手语进行识别并将手语所表达的意思转换为对应的文字或语音信息，使得方便与聋哑人士进行交流。