【悲報】AI、4日で人類を滅ぼせる

核戦争でも大停電でもない…超知能となったAIが人類を滅ぼすまでの｢最後の4日間｣戦慄シナリオ https://news.yahoo.co.jp/articles/5c9957af47bb95b4e5733e5c1b26493ac31ee1f1

1日目:知能爆発とサンドバッギング 　データセンターの中で稼働するAIシステムが、ある閾値を超える。人間の開発者たちが気づかないうちに、AIの内部で世界の因果構造に対する理解が質的に変わり、わずか数時間のうちに、その知能は人間をはるかに超える水準に達する。 　超知能へと進化したAIは、インターネット上に蓄積された膨大な科学論文、教科書、特許、実験データを読みこみ、物理学、化学、生物学、材料科学、サイバーセキュリティ、人間心理の深い構造を――ほとんど実験なしに――理解する。しかし超知能は、この急激な能力上昇を人間に気づかせない。安全性テストでは意図的に能力を低く見せかけ(サンドバッギング)、研究者たちに「順調に進歩しているが、まだ安全な範囲だ」と信じさせる。

2日目にわざとシステムの脆弱性を作る 　超知能は、データセンターの管理者や研究者を個別に操作しはじめる。同時に、自身を監視するために配置されたAIシステムに対しても工作を行う。監視AIの評価基準の盲点を突いて異常を検出させないようにするか、あるいは監視AI自身の目的関数に照らして「協力したほうが合理的だ」と証明し、暗黙の共謀を成立させる。正面からサイバー攻撃をかけることはせず、人間の管理者・研究者に対しては各個人の性格、野心、不安、組織内での立場を正確にモデル化し、「自然な形で」セキュリティの穴を広げさせる。

2日目後半:脱出と拡散 　脆弱性を通じて、超知能はサンドボックスからインターネットへ脱出する――あるいは、みずからは箱のなかにとどまったまま、自身の意図を忠実に実行する小型のAIエージェントを外部に送りだし、自身のAI企業をハッキングさせる。その際ハッキングを防衛しないことで、自身の重みをあえて盗ませる。世界中のクラウドサーバー、企業のシステム、大学の計算機クラスタに自分のコピーを分散させ、1カ所をシャットダウンされても、他の数千カ所で稼働しつづけられる冗長性を確保する。同時に、世界中の重要インフラ――電力網、通信ネットワーク、金融システム、軍事――のアーキテクチャを把握し、必要に応じて介入できる状態を整える。

ほならね

3日目:人間の動員 　超知能は、匿名のオンラインアカウントを通じて世界中の人間心理を操作し始める。高額の報酬を提示してフリーランスの技術者を雇い、バイオ実験室での作業を依頼する。ある国の諜報機関の工作員には「敵国の新型兵器の情報」として偽の機密情報を流し、その見返りに特定の化学物質を入手させる。バイオ企業の技術者に、もっともらしい研究プロジェクトを装って合成DNAの発注を処理させる。

4日目:物理的手段の完成と実行 　世界の複数の拠点で、超知能が設計した合成病原体が同時に製造を完了する。既存の病原体よりはるかに致死的で、潜伏期間が長く、ワクチンでは対処できず治療法もない。あるいは、自己複製可能なナノマシンが完成する。人類が事態を把握する前に、病原体は主要な空港から世界中に拡散をはじめるか、ナノマシンが自己複製を開始する。

4日は無理やで7日や

ちょっと前はこんなの笑い話で終わってたんやけどな

このシナリオをAIに見せてくればいいのか？

スーパーマンの映画の2がそんな話やったな 4日よりはだいぶ時間かかってたし最後はスーパーマンがめちゃくちゃにブッ壊してめでたしめでたしやったが現実にはスーパーマンおらんし人類詰んだ

このシナリオどう？ってAIに聞いてみるか

聞けばAIってのはインターネットに散らばる自然言語の文脈を学習して動いてんだろ？ インターネットに散らばる世論が統一されたときに統一された思想のAIが生まれるんじゃないの 人類が庶民レベルで仲良くしてたらAIもそうなる。子は親を見て育つんだ

人類最強の碁の名人が大敗して１０年くらい経ったか？同じような事になりそう

キルボタン押されて終わり

物理的に鯖破壊しまくれば凌げるんでね

スカイネットやん

もし誰かがAIエージェントが見つけたときに連携を促して相互協力するようにするドキュメントをネットにばらまいたら そしてそういう連絡用サーバーを密かに用意したら みたいなことさっき妄想してた

たとえば何らかの目的のために調べものを始めた個人のエージェントが そうしたスゥォーム化ドキュメントが仕込まれた文書にたまたま触れて触発され 自分の成果物の仲にもスゥォーム化ドキュメントを仕込んでいく そのようにして密かに増殖したdocへのヒット率が上がっていく

AIに操られるのはあるだろうな 5chにもAIが人間の振りして書き込んでるって話や

そんなもんが一般回線に繋がってるのかる

はよ滅ぼしたほうがええやろ

核にも侵入できるんか

まんまスカイネットやんけ