パスワードを忘れた? アカウント作成
13763022 story
サイエンス

Googleがオープンソースで公開したAI技術「BERT」の読解力は人間を上回った? 138

ストーリー by hylom
意外と早かったですね 部門より
あるAnonymous Coward曰く、

Googleが開発している自然言語処理のための人工知能技術「BERT」が最近オープンソースで公開された。この技術を使って読解力テストを解かせたところ、人間よりも高いスコアが出たという(Google AI BlogVentureBeatOSS×CloudTogetterまとめ)。

なおとばっちりで、2016年に「AIは読解力に限界がある」としてプロジェクトを終了した東ロボ君(過去記事)が叩かれている模様である。

テスト結果の数値では、たとえばWikipediaの記事を元に質問に回答させるようなテストでは93.2%の精度で正しい回答ができたという。これは、同じテストを人間に対して実施した場合の正答率よりも高いという。

  • by kmra (33703) on 2018年11月07日 22時45分 (#3511907) 日記

    人工知能の学習方法が進化して人間を超えたのなら次は人間の知能の学習方法に進んで欲しい

    ただ、この方法で人間が学習した結果「おめでとう。あなたはBERT(2018年)と同レベルになりました」といわれたらつらい

    ここに返信
    • by Anonymous Coward on 2018年11月07日 23時34分 (#3511928)

      日本昔話をギャル語に訳した [youtube.com]」とか見ても解るけど、言葉は常に変化し続けるし、業界独自表現や方言もある。

      常に変化するものを対象とするなら、AIも常に学習させ続ける必要がある訳だけど、言語からでも
      ・時代毎の差分を抽出できると、面白い分析結果が得られそう
      ・時代を経ても変わらない本質を抽出できると、世界共通の人間の本質に迫れるかも(機械で哲学できるかも)
      とか期待しちゃうな。

  • by tamaco (19059) on 2018年11月08日 1時43分 (#3511973)

    新聞のラテ欄を縦読み [naver.jp]ぐらいは、作成・読解共にAIの方がすぐにうまくなりそう

    ここに返信
  • 「お前は何を言っているんだ」的な文章や、「行間」の多いハイコンテクスト文章を読ませたら、分かりやすくローコンテクストに書き下してくれるAIも近いかな。

    ここに返信
    • by Anonymous Coward on 2018年11月07日 19時43分 (#3511775)

      「〜という皮肉にマジレスしようとしていますがよろしいですか?」

    • by Anonymous Coward on 2018年11月07日 20時25分 (#3511810)

      ハイコンテクストの文章を人並みに理解させるのは将来においても難しいだろう、
      というのが、東ロボ君の新井紀子教授の見解。
      ハイコンテクストの文章でも、このままアルゴリズムやマシンパワーが改善されれば人並みに理解させることが出来るだろう、
      というのが、Togetterまとめとかで新井紀子教授に色々言ってる方々の見解。

      個人的見解で言えば、新井紀子教授の見解に「部分的に」賛成。
      ハイコンテクストに備わっている文化的側面を汎的に解くための、何らかの(アルゴリズムというより)方法論が足りてない。

      // そんなに遠くない将来に方法論が解決されるんじゃないかな_。

      • > ハイコンテクストの文章を人並みに理解させるのは将来においても難しいだろう、
        > というのが、東ロボ君の新井紀子教授の見解。

        むしろ「人並み」の定義が問題でしょう。
        様々なコンテキストに一つの学習結果で適用させるのはこんなんだろうけど、
        そもそもそんなことできる人間もいないわけで、

        その分野について何も知らない一般の人の反応と同じレベルの
        応答ができれば、チューリングテストをパスしていて、「人間並の知能」
        があると定義するしかないと思うけどな。

    • by Anonymous Coward
      校正と校閲をしてくれるAIも欲しい。
  • by Anonymous Coward on 2018年11月07日 20時28分 (#3511815)

    ていうか東ロボだってMARCHに合格できる成績は出してるんだから、人間を上回ってるとは言えるんだけどな
    新井教授が無理だと言ってるのはより高度な読解力を必要とするものであって

    そのへんを分かっていないのか意図的に無視してるのかわからんけど、異常な情熱を持って叩いてる人が多い印象

    ここに返信
  • by the.ACount (31144) on 2018年11月08日 13時45分 (#3512268)

    テストの成績かよ。
    読解力じゃないじゃん。

    --
    the.ACount
    ここに返信
  • by Anonymous Coward on 2018年11月07日 19時02分 (#3511731)

    ただし残るのは誰でもできる肉体労働ばかりである、なぜなら哺乳類の歴史は数億年、人類文明の歴史は1万年そこら、論理代数学の歴史は高々数百年で、
    哺乳類の技術水準よりも人類文明の技術水準に追いつくほうが先だからである、とは長年言われてきたけども、人類文明のheadに急速に近づいてきてるな

    ここに返信
  • by Anonymous Coward on 2018年11月07日 19時06分 (#3511734)

    Wikipediaを参照して質問に答えるっていう状況はディープラーニング的な不確実なアプローチじゃなくて、Cyc的にWikipedia自体が機械可読なドキュメントとする方が正しいよな。
    もちろん誰もが機械可読なドキュメントを書けるわけじゃないから、自然言語から機械可読なドキュメントを生成して、それから「~はこういう意味ですか?」「英語で書くとこうですか?」みたいな選択式で中間言語的な機械可読な意味明瞭なロケール非依存な記述を生成すると。
    そういうアプローチはやっぱり難しいのかな。難しいだろうなぁ。

    いやもちろんこのAIは十二分に便利だし、Googleが必要とする状況には適してるんだけど。

    ここに返信
    • by Anonymous Coward

      大抵の機械化できる情報はWikidataとかから持ってきてるんだろうから、誰でも答えることはできそう。

  • by Anonymous Coward on 2018年11月07日 19時09分 (#3511740)

    コンピューターにとっても難しかろう

    ここに返信
    • by Anonymous Coward

      やたらと省略が多くて、一般常識でフレームを埋める必要性が高いからな。

    • by Anonymous Coward

      他の言語の単語や表現をそのまま取り入れて複雑化しているのはどの言語でも同じなのに、なんで日本語だけ叩かれるんですかねぇ

      • by Anonymous Coward on 2018年11月07日 19時42分 (#3511773)

        他の言語の単語や表現をそのまま取り入れて複雑化しているのはどの言語でも同じなのに、なんで日本語だけ叩かれるんですかねぇ

        『金星(まあず)』

        まず、漢字という輸入表意文字をつかって、輸入表意文字を変形させて独自表音文字を作り出して、
        しかも発音の仕方がかならず母音を主とする
        外来語でも必ず母音主体の発音になる。>まくどなるど ( a u o a u o)

        そして、漢字という輸入表意文字を使って、全く異なる概念の読み方を宛てる。
        こうなると日本人にも読めない。しかも、担当教師が読めないとモンスターペアレントがぶち切れる

        英語話者は、発音を聞いてこの子の名前がMars由来だとは思わないだろう。
        そして漢字表記が金星(Venus)だと知ってさらに混乱するだろう。
        我々とおなじように

        • by Anonymous Coward

          その程度の複雑さはAIにはどうということはない。Alpha GoからAlpha Zeroになった経緯を見りゃわかるだろ。むしろ問題はデジタル後進国すぎてAIに読ませる文献が足りない点にある。

      • by Anonymous Coward

        ワタナベとサイトウだけで何種類あると思ってんだよ

        • by Anonymous Coward on 2018年11月07日 21時07分 (#3511844)

          ただのJohnという単語でもジョン、ジョーン、ジャン、ジャーン、ヨーン、ヨンと読めるし、
          無理やり英語ではJohnと表記していても、ヨハネとかフアンとかヨハンとか、出身地や宗教や方言や時代によって不規則な法則読みがあったりするので、一発で正確に読み書きができない。
          全世界の読み書きが混ってるんだから難解なのは英語でも変わらんぞ。

    • by Anonymous Coward

      世界一の難解言語には同意できないが日本語は難しい部類だと思う、英日日英機械翻訳も最近はかなり精度が上がってるけど初歩的な文でもオカシイこと多いし
      あと音声認識も実用レベルに達していない、例えばyoutubeの自動字幕は英語ならかなり正しく認識してるけど日本語は全然ダメかなり明確なしゃべり方でもダメ
      でも日常会話を習得するのは簡単な方らしい、助詞さえ正しければ文法滅茶苦茶でも意味が取れるし使ってる音の周波数が狭いから発音も英語圏の人なら楽
      それに会話なら漢字必要ないからね

    • 「この時の著者の気持ちを書きなさい」
      なんて、絶対にAIに解けないと思うんだけど、どうなんだろうね。
      日本以外には、そんな問題出す国は無いのかな?

      # 「締め切りぎびしー」とか「腹減ったー」とか答えたら、AIさんに馬鹿にしたことを謝りたいと思う。

  • さっき外国人社員から話しかけられてGoogleさんに仲介をお願いしたけどダメだった

    ここに返信
typodupeerror

最初のバージョンは常に打ち捨てられる。

読み込み中...