システム・エラー社会 「最適化」至上主義の罠

測定可能ならば意味があるとは限らない

テクノロジストは常に定量化可能な測定基準を探し求める。(略)

社会科学者と同様、進捗状況を評価するための具体的指標、「代替的指標」 を必要とする。こうして(略)測定が可能で定量化が容易な事柄への偏向が生じる。しかしシンプルな測定基準にこだわると、本当に重要な目標から大きく遠ざかってしまう。

(略)

実際には評価に値する解決に向けた進歩がなくても、良い目的のための解決に取り組んでいるような錯覚に簡単に陥ってしまう。

 代替的指標で厄介なのは、測定可能ならば意味があるとテクノロジストが思い込むことで(略)

最もわかりやすいのはフェイスブックの変遷についてのエピソードだろう。フェイスブックは、人々にコミュニティを構築する力を与え、世界の絆を強めることを大きなミッションとして掲げている。ところが、広告とビジネスプラットフォームを扱う部門の責任者だったアンドリュー・ボスワースが二〇一六年に(略)ミッションの成果を評価するために採用した測定基準は、プラットフォームのユーザーの増加数だけだった。(略)

人々をつなげることをミッションに掲げたフェイスブックは、その達成のために、友人の輪に取り込まれるユーザーベースの拡大という単純化されたタスクに専念した。

(略)

論議を呼んだ戦略を、ボスワースは以下のように列挙した。「不審な連絡先でも常にインポートを実行する。曖昧な言語でも友人による検索を可能にする。いつか中国に進出するときに必要なことを実践する(略)

誰かがいじめに遭って、命を落とすかもしれない。我々のツールを使ったテロリストの攻撃で、誰かが死ぬかもしれない」。この文書がすっぱ抜かれると、マーク・ザッカーバーグは激怒した。ボスワースは謝罪して、議論のきっかけを作りたかっただけだと弁明した。

テクノロジー国家の統治形態

[シリコンバレーの大物たちが集って、テクノロジーの進歩の最大化を目的とした国家について論議]

皆さんはどこか適当な島を見つけ、そこに建設すればよいと真っ先に考えるかもしれないが、島では、科学の発見の最適化が難しい。インフラの整備も困難だ。(略)

[島以外の]良い場所には先住者がいる。だから最初に直面する問題は、先住者の処遇だ。そして我々は、金を払って出て行ってもらうのがベストのアプローチだという結論に達した。

 会話は続き、科学技術の進歩の最大化に貢献する小さな国民国家の創造を巡って大いに盛り上がった。ここでロブは手を上げ、つぎのように発言した。「ところで、この国は民主国家ですか。統治構造はどうなりますか」。すると、すぐにこんな答えが返ってきた。「民主国家だって?まさか。科学の最適化は、優秀なテクノクラートに任せなければいけない。民主主義はのろすぎて、科学の足手まといにしかならない」

目標設定の過剰投与が組織におよぼす副作用

カスタマーサービスの改善を考えたすえ、カスタマーサービス担当者がコールセンターへの電話に応じるまでの平均時間を監視するシステムを導入した。割り出された平均時間は、担当者が見える場所に表示された。すると電話がいつまでも鳴り続けると、担当者はとりあえず応答し、「ただいま電話は混み合っております。のちほどおかけください」と言い始めた。おかげで、測定可能な応答までの平均時間は大きく減少したが、測定することができない顧客の苛立ちは増えてしまった。

 リサ・オルドネスらは「ゴールは加熱する:目標設定の過剰投与が組織におよぼす副作用」という論文のなかで、つぎのように説明している。目標設定に依存しすぎると、個人も組織も狭い目標ばかりに集中するので、他の重要な事柄について考えられなくなる。実際のところ製品をつくりあげる際には、両方のバランスをとらなければならない。近視眼的な見方からは、ありとあらゆる悪い結果が生み出される。目標の要求に応えるため、必要以上にリスクを冒し、倫理にもとる行動が増えてしまう。 狭い目標に専念すると、長期的には組織の文化が蝕まれる可能性がある。

(略)

この論文には具体例が満載されているが、なかでも最も有名なのはフォード・ピントの悲劇だろう。(略)

 

CEOのリー・アイアコッカは、「重量が二〇〇〇ポンド未満、価格が二〇〇〇ドル未満の」新車の生産に関する大胆な目標を具体的に発表し、新車の発売開始は一九七〇年に定められた。この納期は絶対に動かせない状況で、目標達成のプロセスは進められた。そのため、様々な立場の管理職が新車――フォード・ピント――の開発を遅らせないことを優先し、安全点検が行なわれなくても見て見ぬふりをした。安全点検が省略された個所のひとつが後部車軸の後ろにある燃料タンクで、クラッシャブルゾーン[衝喫時に潰れることでエネルギーを吸収し、人や機械を保護する]から一〇インチも離れていなかった。(略)

フォードは最終段階で[衝突時の発火の]危険を発見したものの、経営陣は目標達成にこだわり続けた。そのため設計の欠陥を修正する代わりに、ピントの炎上(五三人の死者と、多くの負傷者を出した) に関する訴訟の費用を計算し、設計の変更にかかる費用を下回ることを確認した。このケースでは、大胆かつ具体的な目標 (市場投入までのスピード、燃費、コスト)は達成されたが、数値化されない重要な特性(安全、倫理的行動、会社の評判)が犠牲にされてしまった。

 

市場から政治へ

 今日のテクノロジー企業は、市場から政治へと活動の場を積極的に広げている。規制を求める声が高まると、企業は対抗策としてロビー活動を展開し、広報活動で世論を動かし、立法府の議員とじかに関わって立法行為に影響をおよぼすようになった。エンジニアは資本家になっただけでなく、今度は自分たちを制約する法律の制定に関与するまでになった。

(略)

 二〇〇八年、生体認証情報プライバシー法(BIPA)がイリノイ州議会で可決された。この画期的な法律は、指紋や顔の形状(個人写真から推定できる)など生体認証データの収集や利用を制限するものだ。 生体認証データを収集した企業は、ユーザーからの承諾書の提出を義務付けられた。 違反すれば、一人当たり一〇〇〇ドルから五〇〇〇ドルの高額の罰金が科せられる。

 二〇一五年、フェイスブックはこの法律のもとで訴訟を起こされた。(略)

何十億ドルもの賠償金の支払いにつながりかねない裁判に巻き込まれているとき、フェイスブックは法律そのものの変更を画策した。BIPAを導入した州議会上院議員テリー・リンクその人の手によって、ユーザーの同意を義務付けられるデータから写真の情報を外す修正案が提出されたのだ。この修正案が可決されれば、フェイスブックに訴訟を起こす根拠は消滅する。しかしプライバシー権利擁護団体だけでなく、州司法長官からも強硬に反対され、修正案は最終的に撤回された。

(略)

 最終的に訴訟は示談となり、二〇二〇年初めには、フェイスブックは五億五〇〇〇万ドルの和解金の支払いに合意した。これはかなり大きな金額のような印象を受けるが、実際には四七〇億ドルの賠償金を支払う可能性があったのだから、大幅な値引きだ。裁判長も同感で、こう問いかけたと報じられた。「五億五〇〇〇万ドルと言えば大金だが、この場合には本当に大金だろうか」。すると裁判長の懸念に対応し、フェイスブックは和解金を六億五〇〇〇万ドルまで引き上げ、全世界を対象に顔認証をオプトイン方式にしてデフォルトで提供する形に変更した。二〇二一年二月、和解案は最終的に受諾された。もちろん、罰金が本当に大金なのかという裁判官の問いかけは正しかった。二〇二〇年の最初の三か月間だけでも、フェイスブックの収益は一七〇億ドルを上回ったのだ。罰金を支払いながらでも、通常通り事業を続けることなどわけもなく、ロビー活動や選挙献金にも困らなかった。

(略)

ジョージタウン大学プライバシー&テクノロジーセンターの設立者アルバロ・ベドヤは、BIPA訴訟の継続中にフェイスブックは「我々を訴えようとしても無理だ。どうしても訴えるつもりなら、法律を変えるまでだ」という姿勢で臨んだと、ある記者に語った。二〇一九年九月にザッカーバーグが首都ワシントンを訪れ、議員たちと非公開の会議を重ねたのも驚くことではない。(略)

こうして公の議論の場が排除され、監視の目が行き届かない秘密の会議において、企業のエグゼクティブは立法府の議員に対して自分たちのビジネスに都合の良い政策を作らせるように圧力をかけたり、自分たちは「自己規制」できるから、新たな規制など不要だと主張することができるのだ。

破壊的イノベーションVS民主主義

 数年前、シリコンバレーではよくあるディナーの席で、リード・ホフマンが(略)以下のように率直に語った。もしもあなたがテクノロジー企業のCEOならば、一番の関心事は競争相手だ。テクノロジー企業のビッグファイブ(略)は、優秀な人材を巡って激しく争い、気を抜いたらすぐに倒されることを肝に銘じている。フェイスブックが新社屋に引っ越したとき、マーク・ザッカーバーグはかつての住人だったサン・マイクロシステムズ社の看板をエントランスに残した。有力企業の運命のはかなさを社員に思い知らせるためだ。

 市場における、ある企業の地位が盤石に見えても、中国のビッグ・テックは猛烈な勢いで成長している。 インテルの元CEOのアンディ・グローブが、著書に『パラノイアだけが生き残る』というタイトルを付けたのも、もっともな理由があったからだ。これだけ不安定な世界では、政府に規制される可能性を恐れている余裕はなく、どの会社のCEOも、とにかくイノベーションを継続することを目標に掲げるのだとホフマンは説いている。

 政府が果たすべき役割の重要性をホフマンは信じているが、テクノロジー分野の同業者の驚くほど多くが彼とは違う意見を持っている。最適化のマインドセットと利潤追求という動機が結びついた結果、市場における政治や政府の役割にしばしばリバタリアン的なアプローチで臨むのである。市民の要求や優先事項に対応するための法律の制定に注力している政府は、制約を受けずに進行するイノベーションの速いペースについていくのが難しい。ピーター・ティール(略)によれば、技術革新の勢いが衰えるとすれば政府に責任があり、そのような危険は回避する必要がある。

 こうしたステレオタイプシリコンバレーに限られたものではない。リバタリアン的傾向は、ジョン・ペリー・バーロウによる一九九六年の「サイバースペース独立宣言」にも、カウンターカルチャーにルーツをもつ、一九七〇年代から八〇年代の多くのコンピュータ愛好家にも見られるものだ。しかし今日では、この傾向が広く普及した。スタンフォードは最近、テクノロジー業界のリーダーのリバタリアン的傾向に関して体系的な調査を行ない、その結果をまとめた。それによると、彼らは社会に関しては進歩的、経済に関しては保守的な見解を併せ持ち、規制に対して一般の富豪よりもさらに敵対的だ。

(略)
「もしもアメリカ政府が干渉してきたら……中国にやられる」。中国がテクノロジーを支配する未来など想像するだけでも恐ろしいので、政府による規制監督を積極的に支持する人たちもおとなしくなる。

 こうした反政府的な考え方は、だれかをどこかに置き去りにしていないだろうか?

(略)

 民主政治が何らかの役割を演じられないとしたら、その代わりにテクノロジストは何を好むのだろう。ひょっとしたらマーク・ザッカーバーグローマ皇帝への執着は、手がかりになるかもしれない(略)

プラトンが理想の国家君主として紹介した哲人王には歴史を超越した魅力があり、いまや新しい世代は独自の形でこの概念を取り入れている。ここでは哲学者ではなくテクノロジストが、テクノクラシーの支配者として君臨する。彼らは正しい事柄に促されて行動し、純粋な目的を持ち、他のみんなに邪魔されないかぎり驚くべき社会的成果を達成できる。

 しかしこうした統治形態を、私たちは積極的に受け入れられるだろうか。 受け入れられない場合、テクノロジーの自由な発展を犠牲にしてでも、民主主義がイノベーションを監視する状況を受け入れる覚悟ができているだろうか。

イノベーションと規制の対立は新しいものではない

商用電信は一八三九年にイギリスで始まり、一八五〇年代にはアメリカで競争の激しい業界となった。複数のキャリア(回線業者)が同一区域でのサービスを競い合った。(略)

ただし、この新しいビジネスは利益が少なかった。特に問題なのは、システム全体が統合されなかったため、顧客基盤を拡大するには、どのキャリアもそれぞれインフラに投資する必要があることだった。こうした問題を解消するため、アメリカではキャリアの統合が進み、一八六〇年代末までにはウェスタンユニオンが長距離電信サービスを独占するプロバイダーになった。 連邦政府ウェスタンユニオンの力を抑え込むため早くから暫定措置を講じてきたが、実際のところ法律の効果は限定的で、同社の支配的立場を弱めるために積極的に行動する意欲は見られなかった。

(略)

一九世紀後半を通じてウェスタンユニオンは「独占価格を請求し、ニュース速報事業を独占する企業 (AP通信)をサポートし、好ましくない顧客を差別するだけの力を持っていた」。そして市場支配力を通じて巨大な政治権力を手に入れ、ニュース速報を利用できる立場をちらつかせて脅したりすかしたりすることで、政治家の行動に干渉するまでになった。議会がようやく本格的に動き出し(略)

適正価格でサービスを提供することを義務付けたのは一九一〇年のことである。 (略)問題が最初に表面化してからほぼ五〇年後、立法府の議員はようやくゲームに参加したのだ。

(略)

 こうして議会は大きな勝利を収めたが、技術がどんどん変化すると、政府は新たな展開に追いつけずに苦労した。一九一〇年代には電話が電信から完全に主役の座を奪い、長距離通信市場ではAT&Tが有利な立場を確保した。AT&Tは各地域電話会社を買収して足元を固め、競争相手との相互接続を拒んだ。一九一三年、連邦政府独占禁止法違反の訴訟を起こされそうになると、長距離電話システムへの地域電話会社の接続を許可することだけは認めた。(略)

連邦政府が規制を抜本的に見直すまでには二〇年ちかくの歳月を要し、一九三四年にようやく通信法が成立した。

(略)

 この攻防を見るかぎり、従来のような規制には確実に限界がある。ノーベル経済学賞を受賞したポール・ローマーに「良いルールを見つけるのは、一度だけでは十分ではない」という言葉がある。新しいテクノロジーが登場したら、ルールは速やかに進化する必要がある。規模が拡大したら、それに合わせて対応しなければならない。さらに、ルールをつぶそうと目論む個人や企業の日和見的な行動には、毅然と立ち向かわなければならない。ローマーはこれをマイロンの法則と呼んでいる。(略)

マイロン・ショールズはかつて、あるセミナーでこう語った。 「いかなる税法も、徴収できる歳入には限界がある。徐々に減少し、最後はゼロになる」。そこには、利口な人間は制度が変化しないのであればいずれ抜け道を見つけるものだという警告が込められている。

政治家にとって不都合な科学諮問機関

新しいテクノロジーがどのように機能するか政治家がまるでわかっていないことが暴露された瞬間は、あまりにもたくさん目撃されている。左右どちらの陣営の政党も、大手テクノロジー企業の市場支配力や政治的影響力を認識し、ご機嫌取りに終始してきた。

(略)

しかしつい最近まで、アメリカには他の国から模倣されるような、世界的に有名な科学諮問機関があった。

 テネシー州出身の素朴な物理学者ジャック・ギボンズは、技術評価局(OTA)というほとんど無名の議会関係機関の局長を一〇年以上務めた。OTAが誕生した一九七二年には、汚染、核エネルギー、殺虫剤など、技術変革に伴う危険に対する世間の不安が高まっていた。当時は、環境運動を後押しした『沈黙の春』の出版から一〇年ちかくが経過していた。

(略)

新しい技術の専門知識と政治家の意思決定のギャップを一刻も早く埋める必要を認識した議会は、OTAを創設した。(略)

OTAは二〇年ちかくにわたり、様々なトピックについての報告書を七五〇種類以上も作成した。環境 (酸性雨、気候変動)、国家安全保障(中国への技術移転、バイオテロリズム)、社会問題(職場の自動化、技術が特定の社会集団におよぼす影響)など、トピックの範囲は多岐にわたる。 OTAの報告書は技術の鋭い分析に定評があるが、他にも顕著な特徴があった。具体的な対策を提唱せず、政策に関して幅広い選択肢を提供したことだ。政策立案者は技術に関する情報や助言を役立てることができるが、難しい政治的選択は自分で行なう必要があった。

 OTAは、政治的に重要で物議を醸す問題について技術的展望を述べることもためらわなかった。一九八四年には、若い物理学者であり、後に二〇一五年から二〇一七年にかけて国防長官を務めたアシュトン・カーターが、ロナルド・レーガン大統領が打ち出した宇宙配備型ミサイル防衛プログラム(通称「スターウォーズ計画」)に関する報告書を作成し、以下のような率直な結論を出した。核ミサイルの「完璧もしくはほぼ完璧な防御」など実体のない目標であり、「国民の期待や国の政策の拠り所にすべきではない」。ペンタゴンは気分を害し、報告書の撤回を要求する。しかし専門家が報告を見直したすえ、結論の正しさは確認された。その後も二回の調査が行なわれ、レーガンの虎の子の防衛構想は政治的に賢明で技術的に実現可能かどうか、さらに疑念が深まった。

 一九九四年にニュート・ギングリッチが下院議長になると、中立的な立場からの科学的判断は絶体絶命の窮地に追い込まれた。(略)

共和党下院議員のアモ・ホートンなどは、「未来を切り捨てるな」というスローガンのもとでOTAの救済に努めた。OTAの解体は、「自分の頭にロボトミーを施すような愚行」とも呼ばれた。しかしOTAの最後の局長のロジャー・ハードマンによれば、この決断には予算削減以外の目的があった。「科学や技術に関して、自分と異なる見解が議員たちから上がる展開が議長には面白くなかったという話を聞かされた」という。

 技術的な専門知識と政策の相互作用に関して、ギングリッチは「フリーマーケット」アプローチというモデルのほうを好んだ。このモデルでは、議員が率先して科学者と個人的に関わって知識を吸収する。もちろん、そんなアプローチは機能しないし効果もなかった。結局、科学の専門知識を議員が好き勝手に集める方法をギングリッチが始めたことは、科学が今日のように政治的傾向を強めた理由のひとつである。

 OTAは組織が解体されたわけではなく、資金援助を打ち切られた。したがっていまも幽霊組織として、アメリカでは何が可能か思い出すよすがになっている。 ゾンビのような存在だが、ほとんどのヨーロッパ諸国ではこれをモデルにした組織が誕生し、いまでも活動を続けている。オランダ技術評価局(NOTA) はアメリカのモデルを大きく改良し、科学の専門家の見解に頼るだけでなく、市民による話し合いも取り入れている。

(略)

OTAのたどった道は、専門知識の役割に関する教訓である。(略)

こうした機関は政治的に脆弱である。提供する真実が有力な政治家にとって不都合なときは、特にその傾向が強い。そして、OTAが存在した後に葬り去られた一連の出来事は、さらに重要な点を浮き彫りにしている。