AI トレーニングの一時停止を求める技術者からの公開書簡 · EMSNow

投稿者: ジェニファー・リード | 2023 年 3 月 30 日 | 人工知能、協会、ニュース、人々、スマートファクトリー、ソフトウェア

手紙の本文:

人間と競争する知性を備えた AI システムは、広範な研究 [1] によって示され、トップ AI ラボによって認められているように、社会と人類に重大なリスクをもたらす可能性があります。 広く支持されているアシロマ AI 原則に記載されているように、高度な AI は地球上の生命の歴史に重大な変化をもたらす可能性があり、相応の注意とリソースをもって計画および管理される必要があります。 残念ながら、このレベルの計画と管理は実現していません。AI 研究所はここ数か月間、誰も (その作成者ですら) 理解できない、より強力なデジタル マインドの開発と導入を目指す制御不能の競争に巻き込まれていますが、予測、または確実に制御します。

現代の AI システムは現在、一般的なタスクにおいて人間と競合できるようになってきています [3]。私たちは自問しなければなりません。機械に情報チャネルをプロパガンダや虚偽で溢れさせるべきでしょうか? やりがいのある仕事も含め、すべての仕事を自動化すべきでしょうか? 私たちは、最終的には数を上回り、賢く、時代遅れになり、私たちに取って代わるかもしれない人間以外の精神を発達させるべきでしょうか？ 私たちは文明の制御を失う危険を冒すべきでしょうか？ そのような決定を、選挙で選ばれていないテクノロジーリーダーに委任してはなりません。強力な AI システムは、その効果がプラスであり、リスクが管理可能であると確信できる場合にのみ開発されるべきです。この確信は十分に正当化され、システムの潜在的な影響の大きさに応じて増大する必要があります。 OpenAI の汎用人工知能に関する最近の声明では、「ある時点で、将来のシステムのトレーニングを開始する前に独立したレビューを受けることが重要になる可能性があり、最先端の取り組みが新しいシステムの作成に使用されるコンピューティングの増加率を制限することに同意することが重要になる可能性があります。」モデル。」 私達は同意します。 その点が今です。

したがって、私たちはすべての AI ラボに対し、GPT-4 より強力な AI システムのトレーニングを少なくとも 6 か月間直ちに停止するよう呼びかけます。 。 この一時停止は公開され、検証可能であり、すべての主要な関係者が含まれる必要があります。 そのような一時停止をすぐに制定できない場合は、政府が介入して一時停止を導入する必要があります。

AI ラボと独立した専門家は、この一時停止を利用して、独立した外部の専門家によって厳格に監査および監督される高度な AI の設計および開発のための一連の共有安全プロトコルを共同で開発および実装する必要があります。 これらのプロトコルは、それに準拠するシステムが合理的な疑いを超えて安全であることを保証する必要があります。[4] これは AI 開発全般の一時停止を意味するものではなく、危険な競争から後退して、新たな機能を備えたますます大規模で予測不可能なブラックボックス モデルに移行するだけです。

AI の研究開発は、今日の強力な最先端のシステムをより正確、安全、解釈可能、透明性、堅牢性、整合性、信頼性、忠実性を高めることに再び焦点を当てる必要があります。

同時に、AI 開発者は政策立案者と協力して、堅牢な AI ガバナンス システムの開発を劇的に加速する必要があります。 これらには、少なくとも以下を含める必要があります。AI に特化した新しい有能な規制当局。 高度な能力を備えた AI システムと大規模な計算能力プールの監視と追跡。 本物と合成を区別し、モデルの漏洩を追跡するのに役立つ来歴および透かしシステム。 堅牢な監査および認証エコシステム。 AI によって引き起こされた損害に対する責任。 AIの技術的安全性研究に対する公的資金の充実。 AIが引き起こすであろう劇的な経済的・政治的混乱（特に民主主義）に対処するための十分なリソースを備えた機関。

人類はAIによって繁栄する未来を享受できます。 強力な AI システムの作成に成功した私たちは、その恩恵を享受し、すべての人の明らかな利益となるようにこれらのシステムを設計し、社会に適応する機会を与える「AI 夏」を楽しむことができるようになりました。 社会は、社会に壊滅的な影響を与える可能性のある他のテクノロジーの利用を一時停止しています。[5] ここでそれができます。 準備をせずに秋に突入するのではなく、AI の長い夏を楽しみましょう。

完全な手紙とフォーム

技術者の署名者は次のとおりです。

ヨシュア・ベンジオ氏、Mila の創設者兼科学ディレクター、チューリング賞受賞者、モントリオール大学教授

スチュアート・ラッセル、バークレー校、コンピューターサイエンス教授、インテリジェントシステムセンター所長、標準教科書「Artificial Intelligence: a Modern Approach」の共著者

イーロン・マスク氏、スペースX、テスラ、ツイッターのCEO

スティーブ・ウォズニアック、アップル共同創設者

ユヴァル・ノア・ハラリ、作家、エルサレム・ヘブライ大学教授。

アンドリュー・ヤン、前進党、共同議長、2020 年大統領候補、NYT ベストセラー作家、グローバル・アントレプレナーシップ大統領大使

ヴァレリー・ピサーノ、MILA 社長兼 CEO

エマド・モスタク氏、Stability AI CEO

Connor Leahy 氏、Conjecture 社 CEO

Jaan Tallinn 氏、Skype 共同創設者、Future of Life Institute、実存的リスク研究センター

エヴァン・シャープ氏、Pinterest 共同創設者

クリス・ラーセン氏、リップル社共同創設者

クレイグ・ピーターズ氏、ゲッティ イメージズ CEO

ジョン・J・ホップフィールド、プリンストン大学、名誉教授、連想ニューラルネットワークの発明者

レイチェル・ブロンソン、Bulletin of the Atomic Sc​​ientists 会長

Max Tegmark 氏、MIT 人工知能および基本相互作用センター、物理学教授、Future of Life Institute 所長

アンソニー・アギーレ、カリフォルニア大学サンタクルーズ校、Future of Life Institute事務局長、物理学教授

Victoria Krakovna、DeepMind、研究科学者、Future of Life Institute 共同創設者

エミリア・ジャボルスキー、医師科学者兼未来生命研究所所長

Sean O'Heigeartaigh 氏、ケンブリッジ実存リスク研究センター事務局長

トリスタン・ハリス氏、人道テクノロジーセンター事務局長

マーク・ローテンバーグ氏、AI およびデジタル政策センター、社長

ニコ・ミアイリエ氏、The Future Society (TFS) 創設者兼会長

ザカリー・ケントン、ディープマインド、上級研究員

Ramana Kumar、ディープマインド、研究科学者

ゲイリー・マーカス、ニューヨーク大学、AI 研究者、名誉教授

Steve Omohundro 氏、Beneficial AI Research、CEO

ダニエル・アレン、ハーバード大学、エドモンド・アンド・リリー・サフラ倫理センター教授兼所長

共有：