Sリスクはなぜ最悪の存亡リスクなのか。どう回避すべきか

このふたつの次元を使えば、二次元平面上に様々なタイプのリスクをマッピングすることができます。垂直方向では、リスクはその範囲に従って並べられます。つまり、影響を受ける個体の数を数えるわけです。たった一人なのか、ある地域の全員なのか、ある時点で地球上に住む全員なのか、あるいは今生きている全員と将来世代なのか。水平方向では、リスクはその深刻度に応じて並べられます。つまり、影響を受けるひとつの個体にとって喜ばしくない顛末がどのくらい悪いことかを考えるわけです。

例えば、1件の交通事故死の深刻度は致命的と言えるでしょう。その意味では、かなり悲惨な出来事です。しかし別の意味では、さらに悲惨なことも起こりえました。というのも自動車事故は少数の人びとにしか影響しないからです ── それは地球規模ではないし、その地域全体に及ぶものでさえなく、むしろ個人的なものです。しかしより深刻度の高いリスクも存在します。例えば、残りの人生の間ずっと拷問され続け、しかも逃げることができないとしたら、それは交通事故死よりも悪いことでしょう。あるいは、もっと現実に即した例を挙げるなら、工場式畜産を考えてみてください。バタリーケージ飼育されている鶏の生はあまりに悪く、そもそも存在させないほうがマシであるほどだと一般的に考えられています。だからこそ私たちは、このカンファレンスで提供される食事の大部分がヴィーガン食であるのはいいことだ、と考えるわけです。

これでようやく、私の講演タイトルに話を戻し、なぜSリスクが最悪の存亡リスクなのかを説明することができます。Sリスクが最悪の存亡リスクである理由は、それは可能な限りで最大の範囲と最大の深刻度をもつものとして定義されるからです。（Sリスクは最悪のXリスクであるという主張には後で留保をつけます。）すなわち、私は次の定義を提案します。

Sリスク ── これまで地球上に存在してきたあらゆる苦しみを大幅に超過する、宇宙規模の激烈な苦しみをもたらすような、陰鬱な結末を迎えるリスク

つまりSリスクは工場式畜産と同程度の深刻度でありながら、それよりも範囲の広いリスクです。

この定義をより理解するために、存亡リスクを表わす図表の一部を拡大してみましょう。

様々あるリスクのひとつの下位クラスは、その範囲に関しては、人類の将来世代全員に影響し、その深刻度に関しては、価値ある全てのものを奪い去るリスクです。そのような汎世代的かつ壊滅的なリスクのひとつの中心的な例は人類滅亡のリスクです。

滅亡のリスクはこれまで最も注目を浴びてきました。しかし概念上、Xリスク（存亡リスク）はまた別のクラスのリスクも含んでいます。これらのリスクは、ふたつの観点から、滅亡よりもさらに悪い結末を迎えるものです。第一に、範囲に関しては、そうしたリスクは人類やその後継者たちの将来世代を脅かすだけではなく、宇宙全体のあらゆる有感生命に対する脅威となります。第二に、深刻度に関しては、そうしたリスクは価値ある全てのものを奪い去るだけではなく、負の価値 ── すなわち、我々が何としても避けたいとおもう特徴 ── を携えてやってきます。冒頭でお話した物語を思い出してください。ただし今回は、グレタの独房が ── 例えばアップロードされた有感的存在の大部分が影響を受けるために ── 複数の尺度で掛け合わされていると考えてください。

一旦立ち止まりましょう。ここまでで私はSリスクという概念を導入しました。おさらいしておくと、Sリスクは宇宙規模で激烈な苦しみを生むリスクであり、その点でSリスクは存亡リスクの下位クラスに入ります。

（Xリスクの定義に含まれる「その潜在的可能性を減退させる（curtail）」をどう理解するかによっては、XリスクではないSリスクが実はあるかもしれません。地球起源の知的生命体の潜在的可能性を十全に発揮したとき、宇宙規模の苦しみをもたらすことになるとしたら、すなわちSリスクを実現することになるとしたら、XリスクではないSリスクが存在することになるでしょう。宇宙の四分の一が苦しみに満ち、残りの四分の三が幸福で満たされているところを考えてみてください。人類の潜在的な可能性のすべてを出し切るとそのような結末が訪れると考えるには、そこで生まれる苦しみよりも、途方もない量の幸福といった、人類の潜在的可能性のすべてを実現することがもつ他の、望ましい特徴が優先されるという見解を取る必要があるように思われます。もっともらしい道徳的見解はいずれもこのシナリオで苦しみを回避することには価値があるという点には同意しますが、それがどれほど重要なことなのかという点では、意見を違えるかもしれません。多くの人は未来が繫栄することを確かなものとすることのほうがより重要であるという考えがもっともらしいと思う一方で、Foundational Research Institute はそれとは異なる一群の諸見解にコミットしています。そうした諸見解を私たちは「苦しみに焦点を当てた倫理」と呼んでいます。（このセクションは2019年6月に更新しています））

次に、Sリスクを回避すべき理由とその方法についてお話します。

II. Sリスクを回避すべき理由と方法

その他の条件が等しければ苦しみは望ましくないという点で、もっともらしい価値体系はどれも一致しています。すなわち、苦しみを避けるべき理由があるということには誰もが同意しています。Sリスクは大量の苦しみを生むリスクです。したがって、Sリスクを回避するのは善いことだという点には皆さんも同意してくださると思います。

しかし皆さんがここにいるのはおそらく、効果的利他主義に関心があるからでしょう。皆さんはただ単にSリスクを回避することが善いことかどうかを知りたいわけではありません。というのも皆さんにできる善いことというのは沢山あるからです。善いことを行うことは機会費用であることを理解しているので、皆さんは自分にできる最も善いことを探しているわけです。Sリスクの回避が、このより高いハードルを超えられるというのは、ありうることでしょうか。これは極めて複雑な問題です。まずはこの問題の複雑さを理解するために、Sリスクに注力することを支持するための誤った論証を紹介したいと思います。（ここで私は、Sリスクについても、Xリスクについても、このような論証を展開してきた人がいると言っているわけではありません。）この誤った論証は以下のように進みます。

前提1　なすべき最善のことは、最悪のリスクを回避することである。

前提2　Sリスクは最悪のリスクである。

結論　なすべき最善のことはSリスクを回避することである。

先ほど、これは健全な論証ではないと述べました。なぜでしょうか。

この点に立ち入る前に、曖昧さが生じる可能性のある箇所を取り除いておきましょう。ひとつの読みに従えば、前提1は価値判断かもしれません。この意味では、前提1は、将来に何が起こると予測するにせよ、起こりうる結果のうち最悪のものの回避を優先する具体的な理由があると考えることになるかもしれません。 その種の見解の長所と短所、そしてその含意について言えることは多々ありますが、私が話したいのは、このように理解された前提1ではありません。いずれにしても、この論証が成り立つためには、前提1を純粋に価値をベースとして読むだけでは十分ではないと私は考えます。より一般的な話をするなら、あなたの価値観がSリスクに注力する確かな、あるいは決定的でさえある理由を与えることもあると私は考えていますが、この点は脇に置いておきます。

その代わりに私が焦点を当てたいのは、あなたが何に価値をおくのであれ（ほとんど）それとは関係なく、前提1は偽だということです。あるいは少なくとも「最悪のリスク」ということで、私たちがこれまで話してきたこと、つまり範囲と深刻度というふたつの次元をもった悪さを理解する場合には前提1は偽です。

最高度の倫理的なインパクトをもった行動を特定しようとする場合、リスクの範囲と深刻度以外にも重要な規準がもちろん存在します。足りていないのはリスクの確率、そのリスクを回避することの取り組みやすさ、そしてそれが見過ごされている度合いです。Sリスクは定義により、範囲と深刻度の点では最悪のリスクですが、確率、取り組みやすさ、見過ごされている度合いの観点では、必ずしもそうとは限りません。

これらの追加の規準は明らかに重要です。例えば、もしSリスクの確率がゼロなら、あるいはSリスクの軽減が全く取り組みがたいものであるとしたら、Sリスクを軽減しようとすることに何の意味もありません。

したがって我々は例の誤った論証を棄却しなければなりません。どのような状況でなら、Sリスクに注力すべきかという問いに決定的な答えを与えることはできないでしょうが、Sリスクの確率と取り組みやすさ、見過ごされている度合いについて、たたき台となる考えを述べたいと思います。

私はこれから〈Sリスクは、AIに関係する絶滅リスクよりも遥かに起こる可能性が低いというわけではない〉と論じます。この主張が真であると考えられる理由を述べ、その流れでふたつの反論に応答したいと思います。

人間を火星に送ることもできないのに、宇宙規模の苦しみを心配するなんて、「馬鹿げた話だ」と皆さんは思うかもしれません。これは、関連する様々な概念に最初に遭遇したときに、私が即座に抱いた直感的な反応です。しかし効果的利他主義者である私たちは、そうした直感的な、「システム1」的な反応を額面通りに受け取らないよう心しなければなりません。というのは、「ヒューリスティクスとバイアス」アプローチの心理学研究の多くが提示しているように、私たちの直感的な確率予測は、考察する出来事のプロトタイプとなる範例を、どのくらい容易に思い出せるのかに左右されることが頻繁にあるからです。歴史上、先行例のないタイプの出来事については、我々はプロトタイプとなる反例を思い出せないため、注意深くならなければそうした出来事の確率を体系的に見誤ることになります。

だから私たちは、Sリスクはありえそうにないというこの直感的な反応を批判的に検討する必要があるのです。批判的に検討するなら、ふたつの技術的進歩に着目しなければなりません。少なくともそれらふたつの技術的な進歩が生まれる見込みはありますし、〔Sリスクとは〕独立の理由で、その進歩を期待できる理由もあります。その技術的進歩とは、人工的な有感性（artificial sentience）と超知能的AI（superintelligent AI）であり、後者は宇宙植民地化といったより多くの技術的な潜在能力を解放するものです。

人工的な有感性は、主観的体験をもつ能力 ── とりわけ、苦しみを感じる能力 ── は生物学的な動物に限定されないという考え方を参照しています。この点に関する普遍的な共通見解はありませんが、実のところ現代の心の哲学のほとんどの立場は人工的な有感性が原理的に可能であることを示唆しています。また、全脳エミュレーションという特定の事例に関して言えば、研究者たちは具体的なマイルストーンと残る不確実性を明らかにする具体的なロードマップの概略を既に作成しています。

超知能的AIに関しては、既にEAコミュニティから注目を浴びてきているテクノロジーであるため、これ以上私から付け加えることはありません。このトピックについては、ニック・ボストロムの『スーパーインテリジェンス』という類まれな著作を参照するよう勧めつつ、人工的な有感性と「道を踏み外したAI（AI gone wrong）」に関連するSリスクは、ボストロムが「マインドクライム」という用語で論じてきたものだと付け加えるだけにしておきます。

しかしもしSリスクの可能性について、皆さんにひとつ覚えて帰ってもらうとしたら、それは、これはパスカルの賭けではない！ということになります。皆さんも覚えていると思いますが、簡単に言うと、パスカルは17世紀に生きていた人で、宗教的命令を遵守すべきかという問いを立てました。彼が検討した議論のひとつによれば、神が存在する確率がどれほど低いと考えようと、その考えに、地獄に落ちるようなリスクを引き受けるほどの価値はないというものです。言い換えれば、地獄はあまりに悪いところであるため、地獄が存在する確率があまりに低いと考えたとしても、その回避を優先すべきである、とパスカルは論じました。

しかし、私たちはSリスクに関してこの議論をしているわけではありません。パスカルの賭けは恣意的に選ばれた太古の書籍をもとにした思弁に訴えています。そうした本をもとに、ある種の地獄の確率は競合仮説の確率よりも大きいという主張を擁護することはできません。

それに対して、Sリスクについての懸念は我々の最善の科学理論と、明示化されていない、世界についての経験的知識に基づいています。我々が手にしているすべての証拠を考慮した上で、将来のシナリオに関する確率分布を求めています。未来を予測するのは極めて困難なので、かなり高い不確実性が残っています。しかしこの種の推論は原理的には、Sリスクは無視できる程度に小さいわけではない、という結論を正当化することができるものです。

ここまでは良しとしましょう。それでももしかすると、また別の議論を思いつくかもしれません。大量の苦しみに満ちた宇宙というのは比較的特殊な結末なのだから、誰かや何かがそのような結末を向かえるよう意図的に最適化されているのでなければ、そのようなことが起こる確率は極めて低い、という議論です。言い換えれば、Ｓリスクは邪悪な意図を前提とし、それほど邪悪な意図を誰かがもつことは、極めて起こりそうにないと皆さんは考えるかもしれません。

この議論は部分的には正しいと私は考えます。苦しみを生みだすことを最終目的とするAIを私たちが創り出してしまうとか、人間が意図的に、苦しみに苛まれるAIを大量に、意図的に創り出してしまう確率は極めて低いということに私も同意します。しかし邪悪な意図に説明できるのは、私たちが心配すべきことがらのほんのわずかな一側面に過ぎません。というのも、よりもっともらしい〔Sリスクに辿り着く〕他のふたつのルートがあるからです。

例えば、私たちが生産し、しかも大量生産するかもしれない最初の人工的な有感的存在が「声を持たない」 ── 文字を使ったコミュニケーションができない ── という可能性を考えてみてください。もし私たちが十分に気を付けていなかったら、気づかないままその人工的な存在を苦しませることもあるかもしれません。

次に、AIのリスクに関する古典的なストーリー「超知性的なペーパークリップ・マキシマイザー」を考えてみてください。ここでもやはりポイントは、誰でもこの特定のシナリオが実現する確率は極めて低いと考える、という点にはありません。これは単に、〈我々の価値観と調和しないが、積極的に邪悪なことを成し遂げようとするわけでもなく、何らかの目的を追求する強力な主体的システムを意図せず生みだしてしまうシナリオ〉という広いクラスの一事例であるに過ぎません。問題は、このペーパークリップ・マキシマイザーが道具的な理由から苦しみを生みだすかもしれないという点にあります。例えば、ペーパークリップ生産学についてより多くの知見を得るために、あるいは（ペーパークリップの生産を妨害するかもしれない）異星人に遭遇する確率を見積もるために、マキシマイザーは有感的なシミュレーションを走らせるかもしれません。あるいはその代わりに、人間が熱いプレートを触らないよう学習するのと似たような仕方で、行為を導くうえで苦しみが役割を果たすような有感的な「作業者」サブプログラムをマキシマイザーが大量に生みだすかもしれません。

有感的なAIの「声を持たない第一世代」や道具的な理由から苦しみを生みだすペーパークリップ・マキシマイザーは、Sリスクが邪悪な意図ではなく、偶然によって実現されるかもしれないふたつの例です。

第三に、Sリスクは紛争の一環として生じるかもしれません。

この三番目の論点の重要性を理解するために、この講演の冒頭にお話した物語を思い出しましょう。人間のオペレーターであるマットは、グレタの苦しみに内在的な価値を認めていたという意味では邪悪ではありませんでした。彼は単に、グレタの所有者の命令に、それが何であれ確実に従って欲しいだけでした。より一般的に述べると、様々な主体が資源の分け前に与ろうと競合する場合には、誰も苦しみに価値を認めていないときでさえ、苦しみを生みだすネガティブサム戦略行動を取ってしまうリスクが存在します。

深刻な苦しみのリスクは、サディズムや憎悪などの稀な動機を前提としないというのがここから引き出せる結論です。この気をもむ原理を裏付ける、歴史上の実例には事欠きません。例えば、ほとんどの戦争や工場式畜産を見てください。どちらも邪悪な意図が引き起こしたわけではありません。

ところで、皆さんが疑問に思っているかもしれないので念のため述べておくと、ブラックミラーのストーリーはSリスクではありませんでした。しかし今私たちは〈〔このストーリーが〕ふたつの重要な論点を描き出している〉ということを理解することができます。第一に、人工的な有感性の重要性と、第二に、邪悪な意図をもたない主体が引き起こす深刻な苦しみです。

結論を述べましょう。Sリスクへの懸念を抱くためには、AIのリスクに取り組むコミュニティが既に検討している以上の新しいテクノロジーや、質的に新たな特徴を想定する必要はありません。したがって、私はSリスクがAIに関連するXリスクよりも遥かに起こりそうにないわけではない、と論じたいのです。あるいは少なくとも、もし誰かがAIに関連するSリスクではなく、Xリスクの方を心配するなら、証明責任はその人たちにあります。

これは答えるのが難しい問いであることは認めます。しかし、Sリスクを軽減するためにいま私たちにできることはいくつかあると、確かに私は考えています。

第一に、Xリスク分野の似たような取り組みと一部、重なる部分があります。より具体的には、専門的なAIセーフティ、AI政策の一部の取り組みは、存亡リスクとSリスクの両リスクに対処する上で効果的です。そうは言っても、AIセーフティにおけるどの特定の取り組みも、どちらか一方のタイプのリスクとの関連の方が遥かに強いかもしれません。単純化された例を挙げるなら、超知能的AIを1000年経ったらシャットダウンするようデフォルトで設定することができるなら、絶滅リスクを減らすためにはそれほど役に立たないかもしれませんが、長期に渡るSリスクを回避することにはなるでしょう。AIセーフティ分野内での技術発展の差別化（differential development）⁠aというより真剣な、一部の考え方については、苦しみに焦点を当てたAIセーフティに関する Foundational Research Institute の報告を参照してください。

さて、私たちがSリスクを減らす取り組みを既に行っているというのは良い知らせです。しかし、存亡リスクへのあらゆる取り組みがそうであるというわけではないことに注意しましょう。例えば、防災シェルターの建設や、最悪のパンデミックによって絶滅してしまう確率を下げることは、絶滅の可能性を減らすかもしれません ── しかし第一次近似の値を取れば、人類の生存状況の行く末に違いをもたらすものではありません。

より目標を絞った取り組みに加えて、それよりもSリスクをより間接的に防ぐということがありそうな広い介入もあります。例えば、国際協力体制の強化は、紛争の確率を減らすことができますが、紛争中のネガティブサム行動はSリスクの潜在的な源泉のひとつでした。あるいは、メタレベルに上昇して、Sリスクを軽減する上で効果的な介入策はどのタイプなのかを明らかにすることを目的として研究を実施することもできます。後者は Foundational Research Institute で私たちが取り組んでいることのひとつです。

私は、Sリスクを軽減する介入策があるのかという問題を話してきました。取り組みやすさにはまた別の側面があります。それは、そうした介入策を実行するための十分なサポートが得られるかどうかです。例えば、助成金は十分にあるでしょうか。宇宙規模の苦しみと人工的な有感性を話題にするような懸念事項などというものは、ウィンドウ・オブ・ディスコース〔特定の時点でマジョリティを構成する人びとに政治的に受け入れ可能な言説の範囲〕を大幅にはみ出しています ── あるいは、別の言い方をするなら、Sリスクは突拍子もなさすぎます。

これは正当な懸念だと私も思います。しかし、Sリスクの軽減が無駄な努力であると結論すべきであるとも思いません。というのも10年前を思い出してみれば、超知脳的AIのリスクに対する懸念はほとんど全方面から馬鹿にされ、軽んじられ、あるいは『ターミネーター』の話だと誤って表象されていたからです。

10年前とは対照的に、いまの私たちには、全脳エミュレーションやペーパークリップ・マキシマイザー、マインドクライムについて語る著作の帯文を書くビル・ゲイツがついています。つまりAIセーフティ分野の歴史が実証しているのは、私たちの努力が確固たる論証に支えられているなら、一見したところ突拍子もない課題領域に対しても、相当な支持を得られるということです。

最後の、しかしまた大切な論点は、Sリスクへの取り組みが見過ごされている度合いです。

明らかに、Sリスクが完全に見過ごされているというわけではありません。AIセーフティとAI政策がSリスクを軽減できると私は先ほど述べました。なのでおそらくは、例えば Machine Intelligence Research Institute や Future of Humanitu Instituteの取り組みの一部はSリスクに対処する上で効果的でしょう。

しかしSリスクは絶滅リスクに比べて遥かに僅かな注目しか浴びてこなかったように私には思えます。実際、存亡リスクが絶滅リスクと同じものとして扱われているのを見たこともあります。

それはともかく、Sリスクはあるべき程度よりも少ない注目しか浴びていないと私は思います。このことは、Sリスクの軽減を特別に目的とした介入策、すなわち、他のクラスの存亡リスクもついでに軽減するのでないような介入策には特に当てはまります。ここに、「低いところにぶら下がった果実」が実っている可能性は十分にあります。なにしろ既存のXリスクへの取り組みはSリスクを軽減するために最適化されていないのですから。

管見の及ぶかぎりでは、 Foundational Research Institute は、Sリスクの軽減に明確に焦点を当てている唯一のEA団体です。

まとめると、次の問いに対する答えには経験的判断と価値判断の両方がかかわってきます。すなわち、Sリスクを軽減することに注力すべきかどうかという問いです。最も重要な経験的な問いは「Sリスクの確率はどれほどか」「Sリスクの回避はどれくらい容易か」「この課題に他に誰が取り組んでいるのか」というものです。

Sリスクの確率に関して言えば、それは低いのかもしれませんが、単なる概念的な可能性に留まるものでは決してありません。どのようなテクノロジーが宇宙規模の激烈な苦しみの引き金になりうるかということを私たちはたったいま、理解することができましたし、Sリスクの全体は、AIに関連する絶滅リスクよりも遥かに確率が低いというようには思われません。

Sリスクを可能にするこうしたテクノロジーのうち最もそうなる見込みが高いのは、人工的な有感性と超知性的AIです。したがって、第一次近似としては、こうした課題領域はバイオセキュリティや小惑星の軌道変更といった他のXリスクの課題領域よりもSリスクの軽減に遥かに関連するものです。

第二に、Sリスクの軽減は少なくとも最低限度の取り組みやすさを備えています。私たちはおそらくまだ、この分野での最も効果的な介入策を見つけられていません。しかしSリスクを軽減し、人びとが今まさに取り組んでいるいくつかの介入策 ── すなわち、AIセーフティとAI政策分野で現在進行中の一部の取り組み ── を挙げることができます。

Sリスクを間接的に軽減する広い介入策も存在しますが、マクロ戦略的描像を私たちはまだ十分には把握していません。

最後に、Sリスクは絶滅リスクよりも見過ごされているように思われます。同時に、Sリスクの軽減は困難で草分け的な作業になります。したがって、Future Research Institute は、この分野のニッチを占めるに過ぎないと言わせてください。他の人びとが参加する余地が大いにあります。

とは言うものの、皆さん全員を一人残らずSリスクの軽減に注力するよう説得できたと期待しているわけでもありません。現実的に言って、EAコミュニティ内には複数の優先課題がこれからもあるでしょうし、私たちの一部は絶滅リスクの軽減に、また別の一部はSリスクの軽減に注力する等々といったところでしょう。

そこで、遥か先の未来を形づくるコミュニティへの展望を述べてこの講演を締めさせてください。

遥か先の未来を気にかける私たちの目の前には長い旅路が横たわっています。しかしこれを人類滅亡か、ユートピアかの二択という枠組みに当てはめるのは誤ったイメージです。

しかしまた別の意味では、このメタファーは適切でした。私たちの目の前には確かに長い旅路が横たわっているわけですが、それは通過困難な領土を横切る旅であり、地平線上には地獄のような雷雨に始まり、このうえなく麗らかな小春日和に至るまでの連続した光景が広がっています。遥か先の未来を形づくることへの関心によって、誰が（鍵のかかった）車に乗るのかは決まっても、ハンドルを正確にどう切るのかは決まりません。私たちの一部は雷雨を避けることを一番心配している一方で、また別の人たちは小春日和のあの光景に辿り着くという存在希望（existential hope）の方により動機づけられています。前方に広がる複雑怪奇な道筋をあらかじめ見通すことはできませんが、他の同乗者が誰かは簡単に分かりますし、彼らに話しかけることもできます ── いま私たちにできる最も効果的なことはもしかすると、脱輪を回避しながら、この領土について手にしている各自の地図を互いに比較し、残る意見の相違にどう対処すべきかについて合意を形成することかもしれません。

Sリスクについてさらに情報を得たい方は  foundational-research.org をご覧ください。何か質問があれば、私 max@foundational-research.org まで気兼ねなくメールを送ってください。あるいは Facebook から連絡を取っていただいても構いません。

元の投稿：Max Daniel (2017年) S-risks: why they are the worst existential risks, and how to prevent them (EAG Boston 2017), Center on Long-Term Risk。