耳の画像から顔を推定する試み 37
ストーリー by hylom
耳と顔にそんなに相関があるのだろうか 部門より
耳と顔にそんなに相関があるのだろうか 部門より
Anonymous Coward曰く、
AIを使って耳の画像から本人がどんな顔をしているかを推定する、「Ear2Face」という手法が発表された（論文）。
先行研究としてすでに、声から顔を推定するSpeech2Faceが知られている。
もしかすると、他にも思いもよらぬ情報から当人の顔面を推定できるのかもしれない。
Anonymous Coward曰く、
AIを使って耳の画像から本人がどんな顔をしているかを推定する、「Ear2Face」という手法が発表された（論文）。
先行研究としてすでに、声から顔を推定するSpeech2Faceが知られている。
もしかすると、他にも思いもよらぬ情報から当人の顔面を推定できるのかもしれない。
「毎々お世話になっております。仕様書を頂きたく。」「拝承」 -- ある会社の日常
耳の形は変わらない？ (スコア:2)
いや、格闘技やってる人とか変わりまくってるやん。
かく言う私もヘルメットで左耳だけ多少変形している。
「柔道やってたん？」って聞かれて、そういえば変形してるって気がついた。
その子の耳が見たいわ！ (スコア:1)
うちの芸能事務所の応募生、みんな可愛いけど長髪ばかりね。
この子たちの耳が見たいわ。耳を見せて頂戴！
Re:その子の耳が見たいわ！ (スコア:1)
イヤー
サンプル (スコア:1)
サンプル収集とテストには東宝の怪獣映画を使い、正答率100%を達成しました。
-- う～ん、バッドノウハウ？
Re: (スコア:0)
一部のシルエットで怪獣を当てるあれですか。
信じられない (スコア:1)
論文をざっと読んでいるところなのですが
この論文はデータ処理で何らかのミスをしているか，データを捏造している可能性があると思います．
https://arxiv.org/pdf/2006.01943.pdf [arxiv.org]
例えば図4ですが，耳の画像だけから，メガネの有無，髭の有無まで，推定できています．ありえません．
なぜなら，メガネの有無は個人の選択の結果なので，耳の形からそれらが予想できるとは考えづらいからです．
予想できる可能性としては，例えば耳の画像に少しだけメガネのツルが映っていたのかもしれませんが，画像をみた限りツルは見当たりませんでした．
別の可能性としては例えば乱視などは遺伝する場合もあるので，視力と耳の形には相関があるかも知れません．その場合は耳の形から視力だけなら予想できるかも知れません．
しかしメガネを使う使わないかは別問題です．コンタクト，レーシック，メガネなどの選択肢からその人がどれを選ぶかまでを耳の形から予想できるとは到底思えません．
髭も同じです．耳の形からその人が髭を剃るか剃らないからは分からないはずです．わかるならそれだけで論文になります．イグノーベル賞がもらえるかも知れません．
まだ論文をちゃんと読み終えてないので断言はできませんが，この話は
例えば訓練データの一部が性能評価用のテストデータに混入していてる(またはその方法で結果を捏造している)可能性を疑ったほうが良いかと思います．
Re:信じられない (スコア:2)
あんまり詳しくない分野でいきなり”捏造”とか言っちゃうと、つまずいた時のリカバリが難しくないですか?
Re: (スコア:0)
あんまり詳しくないけど、GANだの機械学習による画像生成だのは
捏造と表現されていまいそうだとも思うます
意図した通りに動いて捏造とは！
Re:信じられない (スコア:1)
もう少し調べてみましたので一応続報を書いておきます
1) この論文は現在査読中の論文で，専門家が内容を精査している段階
2) twitter 上でも，私と同じ意見の人が多数居る
https://twitter.com/KevinSimler/status/1268563257016475648 [twitter.com]
一部引用すると
> Frankly a little hard to believe that it works this well....
> it must be overfitting or something??
> (un)fortunately, this is overfitted into absolute non-generalizability, intentionally or not. backgrounds, glasses, haircuts. most probably leaky train/test split.
という感じです
3) 論文の著者自身もこの点は認めている
https://github.com/yamand16/ear2face [github.com]
> Discussion
> - Dataset bias
ここで反論の準備をするようです
ということで私の現時点の考えをまとめると
- この論文はこのままではrejectされる可能性がある．理由は評価実験が正しく実施されてないから．
-- 評価実験をやり直して(データセットを数百倍に増やした再実験をして)，論文を修正すれば accept されるかもしれない．
- いずれにせよ査読結果が出るまで待つしかない
となります
Re: (スコア:0)
メガネは耳にかけるからそれに関連した特有の変形があるのかもしれないですね
Re: (スコア:0)
その推定はしていません。耳画像の入力から顔画像を生成したら、眼鏡をかけていたり髭を生やしたりの顔があった，というだけです。
学習データセットの画像が眼鏡をかけていたり髭を生やしたりの顔があるので，そうした「アーティファクト」があってもそこそこの精度で再現できているよね，というのが著者の主張。
図４については，左６列で示される結果はそのようなものだと明記されています。
Re: (スコア:0)
>> 訓練データの一部が性能評価用のテストデータに混入していてる
> 図４については，左６列で示される結果はそのようなものだと明記されています。
ちなみに、あなたはどう思いましたか？著者の主張を受け入れることはできますか？
私は受け入れることができませんでした
Re: (スコア:0)
それは「私は荒らしです」って自己紹介でいいのかな
Re: (スコア:0)
あなたが受け入れることができなかった著者の主張とは、具体的にどの部分ですか？
「耳の画像から眼鏡とか髭まで推定できる」わけがないというのには同意しますが，これは著者の主張ではありません。
限られたデータセットで学習も検証もおこなっているので，過学習が起こっている可能性は高いと思います。これはピアレビューでも指摘されるはずです。
Re: (スコア:0)
学習データが
眼鏡をかけている顔→耳の画像
であれば
耳の画像から顔を推定したときに眼鏡をかけている可能性もあるのでは
それはミスでも捏造でもなく
「顔を推定する」という言葉の解釈の違い
奇形耳 (スコア:0)
私の耳の形はかなりキモいんですが、顔もキモいのでしょうか。
顔は耳ほどではないと思ってたんですがショックです。
餃子耳 (スコア:0)
柔道家みたいな顔を推測されるんだろうか
Re: (スコア:0)
P.S.
4月配属の人の隣接部署の人の顔はマスクで認識できていない。
目、耳、声を使えば想像できるのか、、がんばってみる
先生！ (スコア:0)
耳が4個ある猫耳少女の画像を読み込んだらどうなりますか？
Re:先生！ (スコア:1)
アンテナ耳を見せたらどうなるんだろう
Re: (スコア:0)
「銀河ヒッチハイク・ガイド」のザフォド・ビーブルブロックスのように
顔が二つあるという結果を出すんではないでしょうか？
＃小説では左右、映画では上下だったはず
Re: (スコア:0)
そういえば、ピアスンのパペッティアって、耳はどこにあるんだっけ？
脳は首の付け根で、目は両手で、指は唇だというのは書いてたと思うが、
耳に関してどこだったか思い出せない。脳の両脇くらいかなあ？
カールビンソンのチカちゃんは肘だっけ。
Re: (スコア:0)
しまじろうの耳 [google.com]はどこだろう。
Re: (スコア:0)
頭の横、耳の下に当ててる電話機はきっと骨伝導なんだよ
Speech2Face (スコア:0)
Speech2Faceを見てみたが
https://gigazine.net/news/20190612-ai-generate-face-from-voice/ [gigazine.net]
＞ 人種・性別・年齢などは合致しているように見えます。
という程度
耳の形も、人種・性別といったことで形に相関はあるだろうから、そういうことかな。
要は、俺らが想像するような意味での「耳から顔を推定」するような話ではない。
Re: (スコア:0)
人種はなんとなく分化の過程で差が出てきてそうだから推定できるかも？とは思うが、
性別・年齢で法則性のある違いがあったのに驚きだわ。肌の色や質も使ってんのかな。
科学を進めるとオカルトになっていく (スコア:0)
そのうち手相から顔を推定することもできるようになりそう
Re: (スコア:0)
以前に警察のお世話になった人なら指紋から顔だけでなく氏名や年齢も検索できたはず ＜ それは推定とは違う
クレッチマー (Re:科学を進めるとオカルトになっていく) (スコア:0)
そこで指紋を分類・分析して、犯罪傾向の高い指紋の持ち主を予防拘禁する、と。
Re: (スコア:0)
マジレスすると、犯罪者でない人の指紋も収集しないと、傾向が決められないだろう。
スマホから密かに収集されてたりして。しかしこれは、スマホ持ち主の犯罪歴と紐づかないし・・・
Re: (スコア:0)
泥棒に入られたら、住人も指紋取られるので、犯罪者でない人の指紋も収集はしてますね。保存してるかどうかは知りませんが、たぶんしてるんじゃないかって妄想してます。
Re: (スコア:0)
薬指の長さとテストステロンの関係が見つかっているので、手から顔の推定がある程度出来てもおかしくない気はしますね
Re: (スコア:0)
ホームズでも耳の形で血縁かどうか分かるみたいなシーンがあったみたいだけど、
さすがにこれはオカルトだなあと思った覚えが 。
ということは。 (スコア:0)
ということは、耳から本来の顔を推定して、それと実際の顔を比較して整形手術の有無を判断する・・・・ってのが可能？
＃合わせて耳も整形してたらわからんだろうが
へー (スコア:0)
北の将軍様で何枚か試してみてよ
対策済み (スコア:0)
耳なし芳一 ＜ 好きで失くした訳ちゃうわっ！
PS5での3D音響のために (スコア:0)
耳の形状を送信して最適な設定にするという話があった気がするが
顔のデータを送っているようなものだったりする可能性も？
# まあ耳は変形するからねえ