パスワードを忘れた? アカウント作成
14208370 story
人工知能

耳の画像から顔を推定する試み 37

ストーリー by hylom
耳と顔にそんなに相関があるのだろうか 部門より

Anonymous Coward曰く、

AIを使って耳の画像から本人がどんな顔をしているかを推定する、「Ear2Face」という手法が発表された(論文)。

先行研究としてすでに、声から顔を推定するSpeech2Faceが知られている。

もしかすると、他にも思いもよらぬ情報から当人の顔面を推定できるのかもしれない。

  • いや、格闘技やってる人とか変わりまくってるやん。

    かく言う私もヘルメットで左耳だけ多少変形している。

    「柔道やってたん?」って聞かれて、そういえば変形してるって気がついた。

    ここに返信
  • うちの芸能事務所の応募生、みんな可愛いけど長髪ばかりね。

    この子たちの耳が見たいわ。耳を見せて頂戴!

    ここに返信
  • by ukenerai (36532) on 2020年06月11日 14時13分 (#3831318) 日記

    サンプル収集とテストには東宝の怪獣映画を使い、正答率100%を達成しました。

    ここに返信
    • by Anonymous Coward

      一部のシルエットで怪獣を当てるあれですか。

  • 論文をざっと読んでいるところなのですが
    この論文はデータ処理で何らかのミスをしているか,データを捏造している可能性があると思います.
    https://arxiv.org/pdf/2006.01943.pdf [arxiv.org]

    例えば図4ですが,耳の画像だけから,メガネの有無,髭の有無まで,推定できています.ありえません.

    なぜなら,メガネの有無は個人の選択の結果なので,耳の形からそれらが予想できるとは考えづらいからです.
    予想できる可能性としては,例えば耳の画像に少しだけメガネのツルが映っていたのかもしれませんが,画像をみた限りツルは見当たりませんでした.
    別の可能性としては例えば乱視などは遺伝する場合もあるので,視力と耳の形には相関があるかも知れません.その場合は耳の形から視力だけなら予想できるかも知れません.
    しかしメガネを使う使わないかは別問題です.コンタクト,レーシック,メガネなどの選択肢からその人がどれを選ぶかまでを耳の形から予想できるとは到底思えません.

    髭も同じです.耳の形からその人が髭を剃るか剃らないからは分からないはずです.わかるならそれだけで論文になります.イグノーベル賞がもらえるかも知れません.

    まだ論文をちゃんと読み終えてないので断言はできませんが,この話は
    例えば訓練データの一部が性能評価用のテストデータに混入していてる(またはその方法で結果を捏造している)可能性を疑ったほうが良いかと思います.

    ここに返信
    • by 90 (35300) on 2020年06月11日 18時11分 (#3831491) 日記

      あんまり詳しくない分野でいきなり”捏造”とか言っちゃうと、つまずいた時のリカバリが難しくないですか?

      • by Anonymous Coward

        あんまり詳しくないけど、GANだの機械学習による画像生成だのは
        捏造と表現されていまいそうだとも思うます

        意図した通りに動いて捏造とは!

    • もう少し調べてみましたので一応続報を書いておきます

      1) この論文は現在査読中の論文で,専門家が内容を精査している段階

      2) twitter 上でも,私と同じ意見の人が多数居る

      https://twitter.com/KevinSimler/status/1268563257016475648 [twitter.com]

      一部引用すると
      > Frankly a little hard to believe that it works this well....

      > it must be overfitting or something??

      > (un)fortunately, this is overfitted into absolute non-generalizability, intentionally or not. backgrounds, glasses, haircuts. most probably leaky train/test split.

      という感じです

      3) 論文の著者自身もこの点は認めている

      https://github.com/yamand16/ear2face [github.com]

      > Discussion
      > - Dataset bias

      ここで反論の準備をするようです

      ということで私の現時点の考えをまとめると
      - この論文はこのままではrejectされる可能性がある.理由は評価実験が正しく実施されてないから.
      -- 評価実験をやり直して(データセットを数百倍に増やした再実験をして),論文を修正すれば accept されるかもしれない.
      - いずれにせよ査読結果が出るまで待つしかない
      となります

    • by Anonymous Coward

      メガネは耳にかけるからそれに関連した特有の変形があるのかもしれないですね

    • by Anonymous Coward

      耳の画像だけから,メガネの有無,髭の有無まで,推定できています.

      その推定はしていません。耳画像の入力から顔画像を生成したら、眼鏡をかけていたり髭を生やしたりの顔があった,というだけです。
      学習データセットの画像が眼鏡をかけていたり髭を生やしたりの顔があるので,そうした「アーティファクト」があってもそこそこの精度で再現できているよね,というのが著者の主張。

      訓練データの一部が性能評価用のテストデータに混入していてる

      図4については,左6列で示される結果はそのようなものだと明記されています。

      • by Anonymous Coward

        >> 訓練データの一部が性能評価用のテストデータに混入していてる
        > 図4については,左6列で示される結果はそのようなものだと明記されています。

        ちなみに、あなたはどう思いましたか?著者の主張を受け入れることはできますか?

        私は受け入れることができませんでした

        • by Anonymous Coward

          それは「私は荒らしです」って自己紹介でいいのかな

        • by Anonymous Coward

          あなたが受け入れることができなかった著者の主張とは、具体的にどの部分ですか?

          「耳の画像から眼鏡とか髭まで推定できる」わけがないというのには同意しますが,これは著者の主張ではありません。

          限られたデータセットで学習も検証もおこなっているので,過学習が起こっている可能性は高いと思います。これはピアレビューでも指摘されるはずです。

    • by Anonymous Coward

      学習データが
      眼鏡をかけている顔→耳の画像
      であれば
      耳の画像から顔を推定したときに眼鏡をかけている可能性もあるのでは

      それはミスでも捏造でもなく
      「顔を推定する」という言葉の解釈の違い

  • by Anonymous Coward on 2020年06月11日 13時36分 (#3831300)

    私の耳の形はかなりキモいんですが、顔もキモいのでしょうか。
    顔は耳ほどではないと思ってたんですがショックです。

    ここに返信
    • by Anonymous Coward

      柔道家みたいな顔を推測されるんだろうか

      • by Anonymous Coward
        耳で人生が見えるみたいな、プロファイリングはあるかな
        P.S.
        4月配属の人の隣接部署の人の顔はマスクで認識できていない。
        目、耳、声を使えば想像できるのか、、がんばってみる
  • by Anonymous Coward on 2020年06月11日 13時38分 (#3831303)

    耳が4個ある猫耳少女の画像を読み込んだらどうなりますか?

    ここに返信
    • by minet (45149) on 2020年06月11日 18時40分 (#3831515) 日記

      アンテナ耳を見せたらどうなるんだろう

    • by Anonymous Coward

      「銀河ヒッチハイク・ガイド」のザフォド・ビーブルブロックスのように
      顔が二つあるという結果を出すんではないでしょうか?

      #小説では左右、映画では上下だったはず

      • by Anonymous Coward

        そういえば、ピアスンのパペッティアって、耳はどこにあるんだっけ?

        脳は首の付け根で、目は両手で、指は唇だというのは書いてたと思うが、
        耳に関してどこだったか思い出せない。脳の両脇くらいかなあ?

        カールビンソンのチカちゃんは肘だっけ。

    • by Anonymous Coward

      しまじろうの耳 [google.com]はどこだろう。

      • by Anonymous Coward

        頭の横、耳の下に当ててる電話機はきっと骨伝導なんだよ

  • by Anonymous Coward on 2020年06月11日 13時44分 (#3831310)

    Speech2Faceを見てみたが
    https://gigazine.net/news/20190612-ai-generate-face-from-voice/ [gigazine.net]

    > 人種・性別・年齢などは合致しているように見えます。
    という程度

    耳の形も、人種・性別といったことで形に相関はあるだろうから、そういうことかな。
    要は、俺らが想像するような意味での「耳から顔を推定」するような話ではない。

    ここに返信
    • by Anonymous Coward

      人種はなんとなく分化の過程で差が出てきてそうだから推定できるかも?とは思うが、
      性別・年齢で法則性のある違いがあったのに驚きだわ。肌の色や質も使ってんのかな。

  • by Anonymous Coward on 2020年06月11日 13時46分 (#3831311)

    そのうち手相から顔を推定することもできるようになりそう

    ここに返信
    • by Anonymous Coward

      以前に警察のお世話になった人なら指紋から顔だけでなく氏名や年齢も検索できたはず < それは推定とは違う

      • そこで指紋を分類・分析して、犯罪傾向の高い指紋の持ち主を予防拘禁する、と。

        • by Anonymous Coward

          マジレスすると、犯罪者でない人の指紋も収集しないと、傾向が決められないだろう。

          スマホから密かに収集されてたりして。しかしこれは、スマホ持ち主の犯罪歴と紐づかないし・・・

          • by Anonymous Coward

            泥棒に入られたら、住人も指紋取られるので、犯罪者でない人の指紋も収集はしてますね。保存してるかどうかは知りませんが、たぶんしてるんじゃないかって妄想してます。

    • by Anonymous Coward

      薬指の長さとテストステロンの関係が見つかっているので、手から顔の推定がある程度出来てもおかしくない気はしますね

    • by Anonymous Coward

      ホームズでも耳の形で血縁かどうか分かるみたいなシーンがあったみたいだけど、
      さすがにこれはオカルトだなあと思った覚えが 。

  • by Anonymous Coward on 2020年06月11日 14時47分 (#3831346)

    ということは、耳から本来の顔を推定して、それと実際の顔を比較して整形手術の有無を判断する・・・・ってのが可能?
    #合わせて耳も整形してたらわからんだろうが

    ここに返信
  • by Anonymous Coward on 2020年06月11日 14時54分 (#3831351)

    北の将軍様で何枚か試してみてよ

    ここに返信
  • by Anonymous Coward on 2020年06月11日 14時59分 (#3831352)

    耳なし芳一 < 好きで失くした訳ちゃうわっ!

    ここに返信
  • by Anonymous Coward on 2020年06月11日 20時55分 (#3831592)

    耳の形状を送信して最適な設定にするという話があった気がするが
    顔のデータを送っているようなものだったりする可能性も?

    # まあ耳は変形するからねえ

    ここに返信
typodupeerror

計算機科学者とは、壊れていないものを修理する人々のことである

読み込み中...