Kinectを使ったリアルタイム手話翻訳システム 30
ストーリー by hylom
これはそれなりに実現できそうな気がするが 部門より
これはそれなりに実現できそうな気がするが 部門より
あるAnonymous Coward 曰く、
Microsoft ResearchでKinectを利用したリアルタイム手話通訳システムが開発されているそうだ（The Next Web、本家/.） 。
Kinectが手話をキャプチャし、パターン認識と機械学習によって通訳するというこのシステムは会話の双方向通訳が可能であり、例えば聾者の手話と健常者の発話による会話をリアルタイムで通訳することが可能とのこと。この場合手話は文字およびレンダリングされた音声に、また健常者の発話は手話へと翻訳される。
現在中国語手話で構築されているというこのシステムは画期的かつ非常に有用であるが、4000あるといわれる中国語の手話単語のうち300語しかまだ登録されていないとのこと。一つの単語のパターン認識を確立するのに5人の手話者が必要であることから時間がかかっているようで、完成にはまだ程遠いという。
開発にあたっては「データグローブ」やWebカメラが試されたが、その中でKinectが最適であるとして採用されたという。耳の不自由な人は中国で2000万人、世界では3.6億人いると見られている。他言語の手話同士の通訳も可能というこのシステム、実用化が期待されている。
手話ができるひとはキーボードも打てそう (スコア:2)
筆記具やITのような道具がない場合でも会話をするための物かなと思うのですが（ちがうのかな）
タイピングが苦手で手話のほうが得意という人もいるとは思うけど、
一般的に手話のほうがタイピングよりも早く入力できるのだろうか。
難聴者以外でも入力方法として有効なものだったりするのでしょうか。
個別の文字入力と違って、ある程度用意された単語類に限られるから早いのかな…。
Re:手話ができるひとはキーボードも打てそう (スコア:2)
Re: (スコア:0)
タッチタイピングできないの? 全盲の人ってどうやってタイプしてると思う?
# できないのでAC
Re: (スコア:0)
確かに話す側は相手の顔を見られるけど、聞く側(見る側？)は顔は見られないよね。
そう考えると手話って、コミュニケーションツールとしては、一方通行な側面があるのかも。
手話での会話をしたことがないから想像でしかないけど。
それとも慣れると、顔見ながら、視界の端の手の形を認識して会話できるとか
手の形の作り方が雑とか丁寧とかで、語調の強さ見たいのを読み取れるとか、できるんだろうか？
Re: (スコア:0)
どっちかに苦労を強いるのはバリアフリーではない。
Re:手話ができるひとはキーボードも打てそう (スコア:1)
以前、似たようなものを思いついたのですが（思いつきレベルです）、
筆談すりゃいいじゃんと思ってそこから先は考えませんでした。
母国語が違う（中国語という単一言語はない？）、ITリテラシーがあまり高くなく翻訳ソフトを使えないケースが考えられる場合は有用なのかなと。
#存在自体がホラー
Re: (スコア:0)
発話障害の方と健常者の会話、と考えると便利そうです。
動画を参照すると、手話→Kinect→音声出力、となっているのでディスプレイではなくお互いを見て会話できそうなんですよね。
聴覚障害の方との場合は……フレキシブル・ディスプレイでも胸に貼りますか。
Re: (スコア:0)
中国語入力ってややこしいイメージしか無いから
＞手話の方がタイピングよりも早く入力できる
ってのは そうかも と、思ってしまった。
あと、何種類かある中国語の入力方法が、
http://ja.wikipedia.org/wiki/Category:%E4%B8%AD%E5%9B%BD%E8%AA%9E%E5%8... [wikipedia.org]
どれだけ統一されてるかって問題もあるのかな？
Re: (スコア:0)
手話が優れているのは、水中でも、ガラス越しでも、轟音が鳴り響くライブ会場の端から端でも、望遠鏡越しでも、授業中・会議中でも、見えさえすれば伝えられるという点です。つまり、これらの環境で入力することができるのです。ダイバーが水中でスマホの小さいカメラを通してツイートするなんてことも可能になるでしよぉね。
また、手話入力を拡張すれば、マイノリティ・リポートでトム・クルーズがやっていたアレにも一歩近づくことでしよぉ。(・∀・)
手話って日本国内でも方言がすごいと (スコア:1)
30年前くらいの永六輔のエッセイで読んだんだけど、いまはどうなの？
NHKで手話ニュース流しているくらいだから、標準語化はしたのかな。
海外の言語との共通性ってどうなんだろう。
そもそも、ジェスチャで表現するから、共通語彙は多そうだけど。
#でも、「自分」を示すジェスチャとして、「鼻を指差す」ってのは日本文化依存らしいが。
Re:手話って日本国内でも方言がすごいと (スコア:1)
「せつない」、とか、「しんしんと雪が降る」とか、方言というより日本語特有の表現があるということなのでしょうかね？
---------------------------- うちの猫は、ながぬこ
Re:手話って日本国内でも方言がすごいと (スコア:1)
擬音語って日本では普通だけど海外だとあまりないとかで「(玉子が)トロトロの親子丼」という説明が全然理解されないというのをこないだ妄想ニホン料理でやってた。
Re: (スコア:0)
日本語は擬音・擬態語が多くて、代わりに動祠が少ない言語ですもんね、o
Re:手話って日本国内でも方言がすごいと (スコア:1)
日本国内にも、少なくとも二通りありますね。日本語を逐語訳したもの（日本語対応手話）と、日本語とは全く違う（手話として都合の良い）体系のもの（日本手話）。 (・∀・)
Re:手話って日本国内でも方言がすごいと (スコア:1)
>そもそも、ジェスチャで表現するから、共通語彙は多そうだけど。
ジェスチャーって国が違えば表現内容がらりと変わるんじゃなかったっけ。
どっかの国の公共の場でひっくり返したピースをするとエライことになるという話を聞いたことあったけど詳細は定かでは非ず。
日本での「こっち来い」という手招きも全然違う意味になる国もあったはず。
Re: (スコア:0)
例えばどこの国でもあるであろう「川」という単語を日本の手話でどう表現するのかというのを見るとわかるのですが、ジェスチャで表現するから海外の手話と共通語彙が多いということはないです。(日本では3本の指を立てて縦に動かすことで 漢字の3本線の川を作って表現 [weblio.jp]します。アメリカではRを表す指文字＋WAVE[波]の単語 [signingsavvy.com]などで表すようです。)
日本の手話と言っ
Re: (スコア:0)
こないだ、東京都杉並区の広報番組で「スマートフォン」「ツイッター」「フェイスブック」という（新しいと思われる）手話単語が紹介されてました。この手の新語は地域によって独自に作られるでしょうから、方言になりやすいのかもしれません。もしかしたら、紹介されていた三つの単語も、同区近郊でしか通じないかもしれません。少なくとも、この広報番組を受信できない地域で通じるかどうかは怪しいだろう、とは言えそうです。
Re: (スコア:0)
> 「スマートフォン」「ツイッター」「フェイスブック」
どういう手話かが気になるわけですが
勝手に想像してみる。
スマホ： 左手に持って、スワイプするふり
ツイッタ：小鳥がさえずるまね
FB:顔＋本
Re: (スコア:0)
ツイッターは 口元で、指文字の「つ」だったと思います。
フェイスブックは、「騙す」+「本」 だたり？(^∇^)
国によって手話が違う (スコア:1)
そうするとむろみさんがオープニングで見せてた指文字も本来の人魚の指文字にしたら全然違うんだろうな。
＃言葉の方は日本語を解する人には日本語に、英語を解する人には英語に、両方解する人には聞き様によってどちらにも聞こえるらしいけど。
らじゃったのだ
そういう副次的な使い道はいいんで (スコア:0)
いい加減、本筋であるゲームソフトに貢献していただきたいんですが…。
なんか、PS3を何十台と繋げて簡易スパコンにしたりするのと同じ香りがするんですよね。
「ゲーム以外にもこんな使い方が！」的な意味で。
Re: (スコア:0)
Kinectは桁違いに安価な単なる空間把握センサと高性能マイクアレイとしてもはやゲーム関係無い所で色々使われてるのでマウスやキーボードと同じものと思った方が良いですよ。
MSRって昔からCV関連やってますし。
Re: (スコア:0)
いえ、ぶっちゃけ全然使われてないです。
指標としてGoogleTrends眺めてると分かりますが、発売された2011年末頃をピークに
なだらかに下降線をたどっています。
商用レベルで採用されたという記事も他に探してみましたが、
国内ではこれ [nikkei.com]くらいしか見つかりませんでした。
amazonの技術系の関連書籍も20冊前後と、発売から2年目にしてはかなり寂しい状態です。
Re: (スコア:0)
何処かのNUI関連の研究室に所属でしょうか？
色々使われてるのは大学や会社の研究室とかそっち方面で一般人には触れない位置ですよ。
今回発表したMSRもMSの開発研究する組織です。
キーボードやマウスといったデバイスのカテゴリにKinectが居る。
キーボードやマウスの使われ方に苦情付けても不毛なだけです。
それにKinectで完結せずKinectから入力された奥行情報をどう調理するかがメインなのでKinect関連書籍が少ないのは当たり前です。
OpenCVやWebカメラの技術本が少ないと言ってるのと同じで、良い「道具の使い方マニュアル」が一冊有れば事足りる。
# もっと言えばSDK付属ドキュメントで十分足りるし、CVを実装するならKinectはオマケな本になる。
Re: (スコア:0)
色々使われてるのは大学や会社の研究室とかそっち方面で一般人には触れない位置ですよ。
発売から2年以上経過しているのに、未だに「研究」レベルなんですよね…。
キーボードやマウスといったデバイスのカテゴリにKinectが居る。
当初の「旧来のコントローラに代わるゲーム機の次世代インターフェース」が失敗したからやむなく路線変更しただけかと。
そもそも、全身を動かす事が前提の入力システム自体、非常に限られた用途しかありませんし。
勿論、キネクトが高度な技術が盛り込まれたガジェットである事までは否定はしません。
しかしだからといってそれが世に普及するとは限らないわけです。
実用レベルに達した物の少なさがそれを物語っています。
Re: (スコア:0)
Excel を表計算以外の用途で使うみたい？いや、それよりは真っ当ですよねっ。
Re:そういう副次的な使い道はいいんで (スコア:1)
こんなやつ？http://planet.xrea.jp/tips/013.html [planet.xrea.jp]
Re: (スコア:0)
最近聞かないなと思っていたがまだあったのか･･･(2007だけど)
Excelは昔からイースターエッグがあるような気がする
Re: (スコア:0)
ま、そゆのもそですけど、Excel を方眼紙として使ったりすることを考えてました。
手話へ翻訳とな？ (スコア:0)
同時通訳としての機能なんだから、文字に変換して表示したほうがいいんでないの？
技術的チャレンジとしてはアリと思うけど。