- バイアスの含まれる学習データ
- 臨機応変な対応ができない
- ＡＩは言われたとおりのことをする
- いちばんラクな局所最適解を探す悪魔
- 禁じ手を平気で使う
- YouTubeの報酬関数の欠陥
- 人間から学習するアルゴリズムもバイアスからは逃れられない
- データセット汚染により、ＡＩに敵対的攻撃をしかける
- 「マスター指紋」
- 当たり前のものを見落とす
- フィードバック・ループ
バイアスの含まれる学習データ
男性っぽい名前が書かれた履歴書のほうが、女性っぽい名前やマイノリティっぽい名前が書かれた履歴書よりも、面接までこぎ着ける可能性が高くなる。
（略）
ある問題を解決するためのAIを設計していたつもりなのに、知らず知らずのうちにまったく別の問題を解決するようトレーニングしてしまった結果、お粗末なAIプログラムや有害なAIプログラムを設計してしまうケースは意外に多いのだ。
[トレーニング・データの腫瘍の隣に、大きさがわかるよう定規が並べてあったため]
定規を皮膚がんと認識するようになったAIを覚えているだろうか？健康な細胞とがん細胞の細かなちがいを見分けるのはたいへんなので、AIはずるをして、写真のなかに定規を探すほうがよっぽど手っ取り早いと気づいたのだった。
求職者を審査するAIに、バイアスの含まれる学習データを与えれば（略）“最良”な候補者の予測精度を高める便利な近道をAIに与えてしまうことになる。白人の優遇だ。そのほうが候補者の言葉遣いの微妙なニュアンスを分析するよりもずっと簡単なのだ。
臨機応変な対応ができない
彼らが避けようとしたバイアスのひとつは、視覚的プライミング効果と呼ばれるものだった。どういうことかというと、ある画像について質問する人間は、答えが「はい」になるような質問をする傾向がある。トラが見当たらない画像について「トラはいますか？」とたずねる人はめったにない。その結果、そうしたデータに基づいてトレーニングを受けたAIは、ほとんどの質問に対する答えが「はい」だと学習してしまう。あるケースでは（略）「○○はいますか？」という質問に「はい」と答えれば、87%の確率で正解することに気づいた。
（略）
Visual Chatbotのもっとも面白いクセのひとつは、キリンが何頭いるかとたずねられると、どういうわけかほとんど毎回、1頭以上の数を答えるというものだ。会議中の人々の写真とか、波に乗っているサーファーの写真については、比較的正確に答えられるのだが、キリンの数についてたずねられたとたん、馬脚を現わしてしまう。ほぼどんな画像についても、なぜかキリンが1頭や4頭、ひどいときには「数えきれないほどたくさん」いると答えるのだ。
その原因は？ データセットの収集中に質問をした人間は、正解がゼロなのに、「キリンは何頭いますか？」とたずねることがめったになかった。それもそのはずだ。ふつうの会話では、キリンが1頭もいないことがわかりきっているのに、突然キリンの数をたずねたりはしない。その結果、Visual Chatbotは、礼儀正しい人間どうしの一般的な会話に対しては対応する準備ができていたが、いもしないキリンの数をたずねてくる変わった人間にうまく対応する準備はできていなかった。
ふつうの人間どうしのふつうの会話に基づいてトレーニングされると、AIは臨機応変な対応ができなくなる。Visual Chatbotに青いリンゴを見せ、「このリンゴは何色？」という質問をすると、「赤」や「黄色」のようなふつうのリンゴの色が返ってくる。Visual Chatbotは、物体の色の認識方法を学習する代わりに(これは厄介な作業だ)、「このリンゴは何色？」という質問への答えが十中八九「赤」であるという事実を学んだわけだ。
（略）
Visual Chatbotは、写真が明らかに白黒ではないのに、「○○は何色？」という質問に対して、「白黒なのでわかりません」と答えるテクニックを身につけた。「女性の帽子は何色？」とかいう質問に、「女性の足が見えないのでわかりません」と答えることもある。混乱のもっともらしい言い訳を並べるのだが、完全に文脈をまちがえている。ただし、Visual Chatbotが全般的な困惑を表わすことは絶対にない。学習材料となった人間が困惑していなかったからだ。『スター・ウォーズ』に登場する球体ロボットBB-8の写真を見せると、Visual Chatbotは犬だと断言し、それが犬だという前提で質問に答えはじめる。つまり、知ったかぶりをするわけだ。
ＡＩは言われたとおりのことをする
前に、競馬の儲けを最大化するニューラル・ネットワークを構築しようとしたことがある。そうしてわかった最善の戦略は……いっさい賭けないことだったんだ。
（略）
ロボットを壁に衝突しないよう進化させようとしたら……
1) ロボットは身動きひとつしないよう進化し、確かに壁に衝突しなくなった
2)そこで移動の機能を追加すると、ロボットはその場をぐるぐる回転しはじめた
3)そこで横方向の移動の機能を追加すると、ロボットは小さな円を描きはじめた
4)以下同様、
いちばんラクな局所最適解を探す悪魔
AIはそれで人間の望みどおりに問題が解決するかどうかなんておかまいなしに、何がなんでもその目標を達成しようと突き進む。
この問題に関して、AIを扱うプログラマーたちは今や達観の域にまで達している。
「AIは人間の設定した報酬をわざと曲解し、いちばんラクな局所最適解を探そうとする悪魔なのだと思うようにしている。
（略）
仮想的なロボット犬に歩行のトレーニングを行うと、犬たちは地面を這いつくばったり、後ろ脚を十字に組んだまま奇妙な腕立て伏せを行ったり、挙げ句の果てにはシミュレーション世界の物理法則をハッキングして空中浮遊したりした。
（略）
クリスピンのロボットは、歩行だけはどうしてもしようとしてくれなかった。そこで、彼は報酬関数を見直し、その場で足踏みするのを禁止するための「タップダンス・ペナルティ」や、いわゆる空中浮遊の問題を防ぐための「接地ボーナス」を導入した。すると、ロボット犬は地面をしっちゃかめっちゃかに走り回りはじめた。続いて、彼は体を地面から離すことへの報酬を設けた。ロボット犬がお尻を空中に持ち上げたまま足を引きずって歩くようになると、こんどは体を水平に保つことへの報酬を設けた。後ろ脚を十字に組んだまま歩くのを防ぐため[……、と延々いたちごっこが続いた。]
禁じ手を平気で使う
そのアルゴリズムは、テトリスをプレイしはじめると、画面の最上段近くまでめちゃくちゃにブロックを積み上げていった（略）。そして、あと１個ブロックを置くとゲームオーバーになることに気づくと、あろうことかポーズ・ボタンを押し、そこでゲームを永久久に停止させた。
実際、機械学習アルゴリズムは、人間がはっきりと禁止しないかぎり、「悪いことが起こらないようにゲームを停止する」「面のいちばん最初の安全な場所にとどまりつづける」「2面で死なないように1面の最後でわざと死ぬ」といった禁じ手を平気で使う。まるでなんでも言葉どおりに受け取る子どもがゲームをプレイしているみたいだ。ライフをなるべく温存するよう教えられなければ、AIは死ぬのが悪いことだと理解できない。
（略）
ある研究者がトレーニングしたスーパーマリオAIは、1 - 2面まで順調にクリアしたのだが、1-3面が始まるとすぐに穴に飛びこみ、命を失った。なぜか? そのプログラマーは考えた末、こう結論づけた。命を落とさないようはっきりと教えられていなかったそのAIは、自分が悪いことをしたとは思ってもいなかった。死ぬとその面のスタート地点まで戻されるのだが、死んだ地点はスタート地点からそう離れていなかったので、死んで何が悪いのかわからなかったのだが。
YouTubeの報酬関数の欠陥
YouTubeは、ユーザーにオススメの動画を提案するAIの報酬関数に何度も改良を重ねてきた。2012年、YouTubeは従来のアルゴリズムに問題が見つかったと報告した。従来のアルゴリズムはとにかく再生回数を最大化することを目指していたので、コンテンツの制作者たちは、人々が実際に見たくなる動画ではなく、魅力的なプレビュー用のサムネイル画像をつくることばかりに躍起になった。たとえ動画がプレビューの内容とちがうことに気づき、視聴者がすぐに去っていったとしても、再生は再生だ。そこでYouTubeは、より長く視聴してもらえる動画が提案されるよう、アルゴリズムの報酬関数を改良すると発表した。
（略）
ところが、2018年、YouTubeの新しい報酬関数にも問題が発覚した。実は、視聴時間が長ければ長いほど、視聴者が提案された動画に満足しているとはかぎらない。むしろ、ショックや怒りのせいで、動画から目を離せなくなっているケースが多かったのだ。 YouTubeのアルゴリズムは、不快な動画、陰謀説の動画、ヘイト動画をますます提案するようになっていた。
人間から学習するアルゴリズムもバイアスからは逃れられない
アルゴリズムは最適な判断を教えてくれるわけではなくて、人間の行動を予測することを学んでいるだけだ。人間にはバイアスがあるので、人間がバイアスを見つけて除去しようと細心の注意を払わないかぎり、人間から学習するアルゴリズムもバイアスからは逃れられない。
AIを使って実世界の問題を解決するときは、AIが予測しようとしている内容によくよく注意しなければならない。予測的警備(predictive policing)と呼ばれるアルゴリズムは、過去の警察の記録を調べ、将来的に犯罪が記録される場所とタイミングを予測しようとする。このアルゴリズムがある地域での犯罪発生を予測したら、警察は犯罪を未然に防ぐため、または少なくとも犯罪発生時にすぐ駆けつけられるようにするため、その地域に派遣する警官を増やすことができる。ただし、このアルゴリズムが予測しているのは、もっとも多くの犯罪が発生する場所ではなく、もっとも多くの犯罪が発見される場所だ。特定の地域に多くの警官が派遣されれば、警備の手薄な地域よりも多くの犯罪が発見されるのは当然だろう。事件を目撃したり、職務質問したりする警官が増えるわけだから。そして、ある地域で発見される犯罪が増えると、警察はもっと多くの警官をそこへ派遣するかもしれない。この問題は過剰警備と呼ばれ、犯罪の報告数がうなぎのぼりに増えていくという一種のフィードバック・ループを引き起こすことがある。犯罪の報告のしかたになんらかの人種差別がからんでいる場合、問題はいっそう複雑になる。警察が特定の人種の人々を優先的に職務質問または逮捕すれば、その地域は過剰警備の状態に陥るだろう。ここに予測的警備アルゴリズムが加わると、問題は悪化する一方かもしれない。特に、AIのトレーニングに使われたデータに、警察が逮捕ノルマを満たすために無実の人々の家にドラッグを忍ばせたりした記録が含まれていたとしたら、それこそ大問題だ。
データセット汚染により、ＡＩに敵対的攻撃をしかける
マサチューセッツ工科大学(MIT)の学生からなるAI研究グループLabSixの研究者たちは、ニューラル・ネットワークの内部接続に通じていなくても、敵対的攻撃を設計できるということを発見した。試行錯誤の手法を使えば、アルゴリズムの下す最終判断だけがわかっていて、試行の回数が制限されているとしても(この場合は10万回)、ニューラル・ネットワークを欺くことができる。彼らは画像を操作するだけで、Googleの画像認識ツールをだまし、スキーヤーの写真を犬の写真と思いこませることに成功した。
いったいどうやって？彼らは犬の写真から始めて、AIが犬だと認識している度合いに影響を及ぼさないように注意をしながら、一部のピクセルをスキーヤーの写真のピクセルへとひとつずつ置き換えていった。人間が同じことをされれば、一定の時点を過ぎたところで、犬の写真にスキーヤーの写真が重なっているように感じるだろう。しばらくして、ほとんどのピクセルが変更されると、人間の目にはスキーヤーだけが見え、犬はまったく見えなくなる。ところが、驚いたことに、人間なら一目でスキーヤーの写真だと思うくらい多くのピクセルが置き換えられたあとでも、AIはまだそれを犬の写真だと信じて疑わなかった。AIは一部の決定的なピクセルだけに基づいて判断を下していたようだ。人間にはそのピクセルの役割はうかがい知ることはできないけれど……。（略）
では、だれにもアルゴリズムをいじらせたり、コードを見せたりしなければ、あなたのアルゴリズムを確実に敵対的攻撃から守れるのだろうか？そんなことはない。実は、アルゴリズムのトレーニング材料となったデータセットさえわかっていれば、やっぱり攻撃は不可能ではないのだ。これから説明するように、こうした潜在的な脆弱性は、医療画像認識や指紋スキャンなどへの実用化の際に浮き彫りとなる。
いちばんの問題は、フリーで使えて、画像認識アルゴリズムのトレーニングに使えるほど巨大な画像データセットというのが、世界でも数えるほどしかなく、現実問題として多くの企業や研究グループが共通のものを利用しているという点だ。これらのデータセットにはそれぞれ問題がある。たとえば、ImageNetには126種類の犬の画像があるけれど、ウマやキリンの画像はないし、人間はほとんどが白人だ。でも、フリーなので重宝されている。あるAIを標的にして設計された敵対的攻撃は、たぶん同じ画像データセットから学習したほかのAIにも有効だろう。重要なのは、AIの細かい設計方法ではなく、むしろトレーニング・データのようだ。つまり、あなたのAIのコード自体を秘匿しておいたとしても、十分な時間とコストをかけて自分専用のデータセットを構築しないかぎり、ハッカーがあなたのAIをだます敵対的攻撃を設計できる可能性は残っているわけだ。
公開のデータセットを汚染させることにより、独自の敵対的攻撃をしかけることもできるかもしれない。たとえば、マルウェア対策AIのトレーニングのため、人々からマルウェアのサンプルを募っている公開データセットがある。しかし、2018年に発表された論文によると、ハッカーがこうしたマルウェア・データセットに一定量(データセットのわずか30%を破損させるのに十分な量)のサンプルを提出すれば、そのデータセットに基づいてトレーニングされたAIを破綻させる敵対的攻撃を設計できるのだという。
アルゴリズム自体の設計よりもトレーニング・データのほうがアルゴリズムの成功にとってずっと重要な理由はよくわかっていない。
「マスター指紋」
もうひとつ、敵対的攻撃の影響を特に受けやすい分野は、指紋の読み取りだ。ニューヨーク大学タンドン工科校とミシガン州立大学のチームは、敵対的攻撃を使って「マスター指紋」と呼ばれるものを設計できることを証明した。このたったひとつのマスター指紋は、ある低セキュリティの指紋リーダーにおいて、指紋全体の77%になりすますことができた。また、高セキュリティの指紋リーダーや、ほかのデータセットでトレーニングされた市販の指紋リーダーなど、当時の大部分を占める指紋リーダーもだますことができた。おまけに、ノイズやゆがみを含むほかのなりすまし画像とはちがって、マスター指紋はごくふつうの指紋のように見えるので、なりすましを検出するのが難しかった。
当たり前のものを見落とす
水玉模様のあるヒツジや、側面にトラクターの絵が描かれたヒツジを見たAIは、ヒツジを見たとは報告するけれど、異状を知らせたりはしない。頭がふたつあるヒツジ形の椅子、脚や目玉が多すぎるヒツジを見たとしても、アルゴリズムはただヒツジを見たと報告するだけだ。なぜAIはこうした異状をスルーしてしまうのだろう？
（略）
画像認識アルゴリズムは、めちゃくちゃにシャッフルされた画像を識別するのがとても得意なのだ。たとえば、フラミンゴの画像をいったんバラバラにして適当に並べ直すと、人間にはもはやフラミンゴに見えなくなる。でも、AIは問題なくフラミンゴと認識するかもしれない。目、くちばし、足さえ見えれば、位置関係がめちゃくちゃでも問題ない。AIは特徴どうしの関係性ではなく、特徴そのものを探しているだけなのだ。言い換えれば、こうしたAIはバッグ・オブ・フィーチャーズ・モデル (bag-of-features model)[訳注/画像を局所的な特徴の集合体とみなし、各々の特徴の現われる頻度によって画像を認識する手法]と同じように機能しているということだ。理論上、小さな特徴だけでなく大きな形状を認識できるAIでさえ、単純なバッグ・オブ・フィーチャーズ・モデルのように機能していることが多いようだ。フラミンゴの目が足首にくっついていたり、くちばしが数メートル先に転がったりしていても、AIの目には異状と映らない。
（略）
たとえば、ある研究者グループは、人間の助けをより多く盛りこむことにより、画像認識アルゴリズムのパフォーマンスを改善しようとした。ある写真を「犬」と単純にラベルづけするのではなく、画像内で実際に犬がいる部分を人間がクリックし、特にその部分に着目するようAIをプログラミングしたのだ。（略）
[だが]認識精度はむしろずっと悪くなる。もっと厄介なことに、その正確な理由は定かではない。画像認識アルゴリズムが何を手がかりにして画像を識別するのかがまだよくわかっていないからかもしれないし、画像をクリックした人が、アルゴリズムの用いる犬の認識方法を理解していなくて、実際にアルゴリズムが識別に用いる部分ではなく、自分が重要だと思った部分(目、鼻、口など)をクリックしてしまったからかもしれない。そこで、研究者たちはAI自身が重視している箇所を確かめるため、画像のどの部分を見たときにAIのニューロンが活性化するかを調べてみた。その結果、AIは犬の境界や写真の背景を指し示すことが多かった。
フィードバック・ループ
とても単純なフィードバック・ループの実例がある。2011年、マイケル・アイゼンという生物学者は、自身の研究室の同僚がネットでショウジョウバエに関する本を購入しようとしたときに、ある怪奇現象に気づいた。その本は絶版ではあったものの、入手困難というほどではなく、Amazonで中古本が35ドル前後で売られていた。ところが、2冊の新品の本には、なんと173万45ドル91セントと219万8177ドル 95セント(プラス3ドル99セントの送料)という値がつけられていた。翌日、アイゼンが再び確認すると、価格は両方とも280万ドル近くまで吊り上がっていた。その後の数日間で、あるパターンが浮かび上がった。朝、安いほうの本を売り出している会社が、高いほうの本の価格のきっかり0.9983倍になるよう値上げする。午後、高いほうの本の価格が、安いほうの本の価格のきっかり1.270589倍まで値上がりする。どうやら、両社ともアルゴリズムを使って本の価格を設定していたようだ。片方の会社は、最安値の状態を保ちつつ、なるべく高い価格をつけたかったのだろう。では、高いほうの価格で本を売っていた会社の動機とはなんだったのか？アイゼンは、その会社のレビューのスコアがとても高かったことから、それをウリにして他社よりもほんの少し高い価格で本を売ろうとしているのではないかと考えた。そして、注文が入ったら、安いほうの会社から本を仕入れて顧客に発送し、差額をポケットに入れるのだろう。1週間近くがたつと、どんどんせり上がっていた価格は通常どおりに戻った。どこかの人間が問題に気づき、訂正したにちがいない。とはいえ、企業はアルゴリズムによる自動的な値づけを年じゅう用いている。わたしもAmazonで塗り絵の本が1冊2999ドルで売られているのをこの目で見たことがある。
つまり、これらの本の価格は、単純なルールベース・プログラムが生み出したものだった。しかし、機械学習アルゴリズムは、もっと面白く斬新な方法で問題を引き起こすこともある。ある2018年の論文で、こんな事実が証明された。先ほどのAmazonの値づけの例と似たような状況に置かれたふたつの機械学習アルゴリズムが、利益が最大になる価格を設定するという課題を与えられると、非常にずる賢い方法で共謀するようになるというのだ。共謀するよう教えられたり、お互いに示しあわせたりしなくても、お互いの価格を観察するだけで、どういうわけか価格協定を結んでしまう。この現象は、実在の価格シナリオではなく、今のところシミュレーション内でしか実証されていないけれど、オンライン価格の大部分が自律的なAIによって設定されているといわれている昨今、不正な価格協定が広まるのは心配だ。みんなが協力して高値をつければ、利益が上がるので、共謀は売り手にとってはいいことずくめだけれど、消費者にとっては最悪だ。たとえそうしようと思わなくても、売り手が意図的にすれば違法なことをAIにやらせてしまう可能性はある。
