パスワードを忘れた？ アカウント作成
Close
13763022 story
サイエンス

Googleがオープンソースで公開したAI技術「BERT」の読解力は人間を上回った？ 139

ストーリー by hylom
意外と早かったですね 部門より
あるAnonymous Coward曰く、

Googleが開発している自然言語処理のための人工知能技術「BERT」が最近オープンソースで公開された。この技術を使って読解力テストを解かせたところ、人間よりも高いスコアが出たという（Google AI Blog、VentureBeat、OSS×Cloud、Togetterまとめ）。

なおとばっちりで、2016年に「AIは読解力に限界がある」としてプロジェクトを終了した東ロボ君（過去記事）が叩かれている模様である。

テスト結果の数値では、たとえばWikipediaの記事を元に質問に回答させるようなテストでは93.2％の精度で正しい回答ができたという。これは、同じテストを人間に対して実施した場合の正答率よりも高いという。

この議論は賞味期限が切れたので、アーカイブ化されています。 新たにコメントを付けることはできません。

Googleがオープンソースで公開したAI技術「BERT」の読解力は人間を上回った？ More

  • 次は (スコア:2)

    by kmra (33703) on 2018年11月07日 22時45分 (#3511907) 日記

    人工知能の学習方法が進化して人間を超えたのなら次は人間の知能の学習方法に進んで欲しい

    ただ、この方法で人間が学習した結果「おめでとう。あなたはBERT(2018年)と同レベルになりました」といわれたらつらい

    • Re:次は (スコア:1)

      by Anonymous Coward on 2018年11月07日 23時34分 (#3511928)

      「日本昔話をギャル語に訳した [youtube.com]」とか見ても解るけど、言葉は常に変化し続けるし、業界独自表現や方言もある。

      常に変化するものを対象とするなら、AIも常に学習させ続ける必要がある訳だけど、言語からでも
      ・時代毎の差分を抽出できると、面白い分析結果が得られそう
      ・時代を経ても変わらない本質を抽出できると、世界共通の人間の本質に迫れるかも（機械で哲学できるかも）
      とか期待しちゃうな。

      シェア
      親コメント

    • Re:次は (スコア:1)

      by Anonymous Coward on 2018年11月09日 3時59分 (#3512670)

      語句間の法則性を効率よく見つけ出す技術のうち、TPUの性能を引き出せそうな手法がわかった、というだけのことなので、まだ人間の知能にかかわってこない段階の話です。
      最適な組み合わせの語句を探しているだけとも言えますので、この技術を人間と比べるのはかわいそうですよ。

      ＃根本的な妙案ではない気がする

      シェア
      親コメント

  • 新聞のラテ欄を縦読み (スコア:2)

    by tamaco (19059) on 2018年11月08日 1時43分 (#3511973)

    新聞のラテ欄を縦読み [naver.jp]ぐらいは、作成・読解共にAIの方がすぐにうまくなりそう

  • 「お前は何を言っているんだ」的な文章や、「行間」の多いハイコンテクスト文章を読ませたら、分かりやすくローコンテクストに書き下してくれるAIも近いかな。

    • Re:行間を読んでくれるAIも近いな (スコア:1)

      by Anonymous Coward on 2018年11月07日 19時43分 (#3511775)

      「〜という皮肉にマジレスしようとしていますがよろしいですか？」

      シェア
      親コメント

    • Re:行間を読んでくれるAIも近いな (スコア:1)

      by Anonymous Coward on 2018年11月07日 20時25分 (#3511810)

      ハイコンテクストの文章を人並みに理解させるのは将来においても難しいだろう、
      というのが、東ロボ君の新井紀子教授の見解。
      ハイコンテクストの文章でも、このままアルゴリズムやマシンパワーが改善されれば人並みに理解させることが出来るだろう、
      というのが、Togetterまとめとかで新井紀子教授に色々言ってる方々の見解。

      個人的見解で言えば、新井紀子教授の見解に「部分的に」賛成。
      ハイコンテクストに備わっている文化的側面を汎的に解くための、何らかの（アルゴリズムというより）方法論が足りてない。

      // そんなに遠くない将来に方法論が解決されるんじゃないかな＿。

      シェア
      親コメント

      • > ハイコンテクストの文章を人並みに理解させるのは将来においても難しいだろう、
        > というのが、東ロボ君の新井紀子教授の見解。

        むしろ「人並み」の定義が問題でしょう。
        様々なコンテキストに一つの学習結果で適用させるのはこんなんだろうけど、
        そもそもそんなことできる人間もいないわけで、

        その分野について何も知らない一般の人の反応と同じレベルの
        応答ができれば、チューリングテストをパスしていて、「人間並の知能」
        があると定義するしかないと思うけどな。

        シェア
        親コメント

    • Re: (スコア:0)

      by Anonymous Coward
      校正と校閲をしてくれるAIも欲しい。

  • うーん (スコア:1)

    by Anonymous Coward on 2018年11月07日 19時06分 (#3511734)

    Wikipediaを参照して質問に答えるっていう状況はディープラーニング的な不確実なアプローチじゃなくて、Cyc的にWikipedia自体が機械可読なドキュメントとする方が正しいよな。
    もちろん誰もが機械可読なドキュメントを書けるわけじゃないから、自然言語から機械可読なドキュメントを生成して、それから「～はこういう意味ですか？」「英語で書くとこうですか？」みたいな選択式で中間言語的な機械可読な意味明瞭なロケール非依存な記述を生成すると。
    そういうアプローチはやっぱり難しいのかな。難しいだろうなぁ。

    いやもちろんこのAIは十二分に便利だし、Googleが必要とする状況には適してるんだけど。

    • Re: (スコア:0)

      by Anonymous Coward

      大抵の機械化できる情報はWikidataとかから持ってきてるんだろうから、誰でも答えることはできそう。

  • 東ロボの時点で人間超えはしてる (スコア:1)

    by Anonymous Coward on 2018年11月07日 20時28分 (#3511815)

    ていうか東ロボだってMARCHに合格できる成績は出してるんだから、人間を上回ってるとは言えるんだけどな
    新井教授が無理だと言ってるのはより高度な読解力を必要とするものであって

    そのへんを分かっていないのか意図的に無視してるのかわからんけど、異常な情熱を持って叩いてる人が多い印象

  • なーんだ (スコア:1)

    by the.ACount (31144) on 2018年11月08日 13時45分 (#3512268)

    テストの成績かよ。
    読解力じゃないじゃん。

    --
    the.ACount

  • AIが進歩しても人間にしかできない仕事は残る (スコア:0)

    by Anonymous Coward on 2018年11月07日 19時02分 (#3511731)

    ただし残るのは誰でもできる肉体労働ばかりである、なぜなら哺乳類の歴史は数億年、人類文明の歴史は1万年そこら、論理代数学の歴史は高々数百年で、
    哺乳類の技術水準よりも人類文明の技術水準に追いつくほうが先だからである、とは長年言われてきたけども、人類文明のheadに急速に近づいてきてるな

    • 最終的にうんこ製造が人の最も高度な能力ですた、ってことが判明したらどうするよ俺ら

      シェア
      親コメント

    • Re: (スコア:0)

      by Anonymous Coward

      人間という一生命体がたかが数億年の進化で獲得したものだけが、物事を理解する唯一の方法と考えるのはおこがましいとは思わんかね。

  • 日本語は世界一の難解言語やからな (スコア:0)

    by Anonymous Coward on 2018年11月07日 19時09分 (#3511740)

    コンピューターにとっても難しかろう

    • Re:日本語は世界一の難解言語やからな (スコア:1)

      by Anonymous Coward on 2018年11月07日 19時21分 (#3511753)

      世界一の難解言語には同意できないが日本語は難しい部類だと思う、英日日英機械翻訳も最近はかなり精度が上がってるけど初歩的な文でもオカシイこと多いし
      あと音声認識も実用レベルに達していない、例えばyoutubeの自動字幕は英語ならかなり正しく認識してるけど日本語は全然ダメかなり明確なしゃべり方でもダメ
      でも日常会話を習得するのは簡単な方らしい、助詞さえ正しければ文法滅茶苦茶でも意味が取れるし使ってる音の周波数が狭いから発音も英語圏の人なら楽
      それに会話なら漢字必要ないからね

      シェア
      親コメント

    • Re: (スコア:0)

      by Anonymous Coward

      やたらと省略が多くて、一般常識でフレームを埋める必要性が高いからな。

    • Re: (スコア:0)

      by Anonymous Coward

      他の言語の単語や表現をそのまま取り入れて複雑化しているのはどの言語でも同じなのに、なんで日本語だけ叩かれるんですかねぇ

      • Re:日本語は世界一の難解言語やからな (スコア:4, おもしろおかしい)

        by Anonymous Coward on 2018年11月07日 19時42分 (#3511773)

        他の言語の単語や表現をそのまま取り入れて複雑化しているのはどの言語でも同じなのに、なんで日本語だけ叩かれるんですかねぇ

        『金星（まあず）』

        まず、漢字という輸入表意文字をつかって、輸入表意文字を変形させて独自表音文字を作り出して、
        しかも発音の仕方がかならず母音を主とする
        外来語でも必ず母音主体の発音になる。＞まくどなるど　（ a u o a u o)

        そして、漢字という輸入表意文字を使って、全く異なる概念の読み方を宛てる。
        こうなると日本人にも読めない。しかも、担当教師が読めないとモンスターペアレントがぶち切れる

        英語話者は、発音を聞いてこの子の名前がMars由来だとは思わないだろう。
        そして漢字表記が金星（Venus)だと知ってさらに混乱するだろう。
        我々とおなじように

        シェア
        親コメント

      • Re: (スコア:0)

        by Anonymous Coward

        ワタナベとサイトウだけで何種類あると思ってんだよ

        • Re:日本語は世界一の難解言語やからな (スコア:1)

          by Anonymous Coward on 2018年11月07日 21時07分 (#3511844)

          ただのJohnという単語でもジョン、ジョーン、ジャン、ジャーン、ヨーン、ヨンと読めるし、
          無理やり英語ではJohnと表記していても、ヨハネとかフアンとかヨハンとか、出身地や宗教や方言や時代によって不規則な法則読みがあったりするので、一発で正確に読み書きができない。
          全世界の読み書きが混ってるんだから難解なのは英語でも変わらんぞ。

          シェア
          親コメント

    • 「この時の著者の気持ちを書きなさい」
      なんて、絶対にAIに解けないと思うんだけど、どうなんだろうね。
      日本以外には、そんな問題出す国は無いのかな？

      # 「締め切りぎびしー」とか「腹減ったー」とか答えたら、AIさんに馬鹿にしたことを謝りたいと思う。

  • さっき外国人社員から話しかけられてGoogleさんに仲介をお願いしたけどダメだった

typodupeerror

長期的な見通しやビジョンはあえて持たないようにしてる -- Linus Torvalds