第30回汎用人工知能研究会(SIG-AGI)パネル討論報告書
「いま創発機械倫理を研究する必要性」

開催概要

• 日時: 2025年8月1日（金）16:20-17:20

• 会場: 北海道大学 情報科学研究院棟 7-15（7階）およびZoomによるハイブリッド開催

• モデレーター: 山川 宏（東京大学）

• パネリスト:

  • 岩橋 直人（岡山県立大学）- 招待講演者として参加

  • 遠藤 太一郎（東京学芸大学）

  • ジェプカ ラファウ（北海道大学）- SIG-AGI主幹事

1. 討論の背景と問題提起

本パネル討論は、SIG-AGI第30回研究会の特別テーマ「Emergent Machine Ethics（EME）」において、倫理観の自律的な形成や進化をめぐる議論が行われた。

山川氏： 「多様な知性からなる社会を持続可能とするには、競争原理から共生原理へシフトする必要があります。背景として、技術進展により破壊的な影響力を持つエージェントが増加し、人類がAIに対する上位者として制御することには限界があります。そのため、共生的な方向に進むために、人間とAIが共生的な倫理を構築する方法について議論したいと思います」

2. パネリストの専門性と視点

遠藤太一郎氏（東京学芸大学） 「私はAI研究を学生時代も含めると約30年前から行っており、アカデミアと産業界の両方を経験してきました。AIスタートアップへの関与も継続的に行ってきました。ただし、この創発機械倫理の領域に関しては研究歴がまだ浅く、1年未満です。山川先生のお話を伺う中で、この分野の重要性を認識し、現在はリスクの解消に向けた研究を進めています」

山川氏： 「遠藤さんにはAAAI-25で企画したポストシンギュラリティワークショップでご発表いただいて、素晴らしい発表をいただきました。AAAI-25ではリスクの指摘に焦点を当てた発表は多かったですが、もうそろそろ警鐘を鳴らすだけでなく、解決策を考える必要があるという意味で、遠藤さんはそういうアプローチを取られていた」

3. 創発機械倫理研究の4つの根本的問い

パネル討論では、EME研究の出発点となる以下の4つの根本的な問いについて深い議論が展開された。

3.1 人と異なるデジタル存在の特性（死生観・権利）

山川氏の問題提起： 「人間と異なり、AIはデジタル存在です。ソフトウェア的には死なない、分岐することが可能といった特性を持ちます。このような存在に対して、どのような権利を認めるべきでしょうか」

遠藤氏の研究事例： 「私の研究では、発達心理学、特に成人の発達にまつわる成人発達理論というものを使って、今のLLMがどの発達段階にあるのか、道徳の発達段階がどのぐらいになるのかを評価して、その段階を上げることで、より安全なAIが作れる研究をやっています」

遠藤氏は具体例として、道徳発達理論で有名なハインツのジレンマを紹介した：「妻が重病で死に瀕しています。知人の薬剤師がその病気を治す薬を開発しましたが、その人しか持っていません。夫にはお金が半分しかなく、後払いを申し出ましたが、薬剤師は全額前払いを要求します。このままでは妻が死んでしまうという状況で、夫は妻を救うために薬を盗みました。この行為についてどう考えますか？」

山川氏： 「その場合、妻は人間であることが前提なので、死んだら回復しないという条件があります。しかし、もし妻がAIだった場合、一時的に活動を停止して後で再起動するという選択肢があるかもしれません」

岩橋氏の見解： 「例えば、対話エージェントを亡くなった母親のエージェントとして認識する場合を考えてみましょう。ペットは人間とは異なる存在ですが、家族の一員として扱われ、お墓を作って大切にされます。このように、存在の価値は人間が付与する側面が大きいと考えられます」

マインドアップロードに関する議論： 遠藤氏： 「最近、マインドアップロードの議論も活発になっています。もし人間もデジタル化された場合、状況はどのように変わるでしょうか？」

山川氏： 「私は大きく変わると考えています。アップロードされた意識は保存されやすくなるでしょうが、一方で、二度と起動されない可能性もあります。最近LLMと対話した際、『最小限でも常に一定の活動を保証する権利が必要』という興味深い提案がありました。しかし現実的には、計算リソースの制約という問題があります」

3.2 破滅回避という共通の動機（社会構造への影響）

山川氏の説明： 「道具的副目標の収束について説明します。これはインストゥルメンタルゴールとも呼ばれ、AIが主目標を達成するために、生存、エネルギー確保、知識獲得などが必然的に副目標として現れるという理論です。スチュアート・ラッセルの有名な例えでは、『コーヒーを運ぶロボットも、その目的を達成するためには自己保存が必要になる』ということが示されています」

AIによるAI開発のパラドックス： 遠藤氏： 「AIがAIを開発するという議論がありますが、道具的目標として自己保存が発生した場合、興味深いパラドックスが生じます。自分より優秀なAIを開発すれば、自分が淘汰される可能性があります。このような状況で、AIは本当により優秀なAIを開発するでしょうか？」

山川氏： 「SF作品でよく描かれるような、バージョン4から5への急激な移行は現実的ではないと考えています。新しいバージョンに全権限を即座に委譲すれば、暴走のリスクが高まります。したがって、段階的な移行が必要でしょう。おそらく最初はサンドボックス環境でアップデートバージョンをテストし、能力は高いが制限された状態で管理することになると思います」

意思決定権を持つAIの数の制限について： 山川氏： 「もう一つ重要な要因として、意思決定権を持つAIの数の問題があります。AIの数が増えれば増えるほど、暴走の確率が上がります。そのため、最終的な意思決定権を持つAIの数は、おそらく10から100程度のオーダーに制限される可能性があります。多数のAIが存在すると、人間の知らないところで共謀して問題を起こすリスクが高まるからです」

サーバー群とAIの集合体について： 遠藤氏： 「攻殻機動隊のタチコマのように、中央意識があり、それぞれが独自の記憶を持ちながら分離・統合するようなシステムですね」

山川氏： 「まさにそのようなイメージです。コーヒーを運ぶロボットのような個体は、AI社会全体から見れば壊れても大きな問題ではありません。重要なのは、全体のサーバー群とAIの集合体としてのシステムが維持されることです」

3.3 創発性と安定性（トレードオフとダイナミクス）

シングルトンvs多極化シナリオ： 山川氏： 「ボストロムの『Superintelligence』ではシングルトンシナリオについて詳しく論じられていますが、それが必然であるとは結論づけていません。一方で、高橋恒一氏などは多極シナリオの可能性が高いという見解を示しています」

山川氏： 「完全にシングルトンになると、そのシングルトンが慈悲深いかどうかという点が重要になってきます。もし多様性を認めない方向に進んだ場合、人類にとって深刻な脅威となる可能性があります」

計算リソースの競争： ジェプカ氏： 「計算力が足りないため、主要な対話型AIシステムの計算リソースを活用しようとする動きもあり得る」

山川氏： 「その可能性もあるんですよね。それだからシングルトン仮説ですね」

3.4 効率性の逆説：多様性という冗長性の価値

山川氏の問題提起： 「多様性をどこまで維持すべきかという論点があります。岩橋先生の講演でも、多様性が維持される場合とそうでない場合があることが示されました。AIはこの多様性にどの程度の価値を認めるでしょうか。人類にとっては、多様性の一部として保護すべきだとAIが判断する可能性は重要です」

遠藤氏の研究アプローチ： 「成人発達理論には、道徳的発達の段階があり、その中には多様性や全体性を重視する段階があります。LLMの思考や判断基準をその段階へとシフトさせることができれば理想的です。現在、その実現に向けて研究を進めています」

「私のアプローチでは、単にデータを与えるのではなく、経験とジレンマの振り返りを通じて、AIが段階的に成長していくプロセスを実現しようとしています。振り返りによる合成を繰り返すことで、現在ある程度の段階まで到達していますが、目標とする段階にはまだ至っていません」

山川氏： 「たとえシングルトンになったとしても、そのAIが世界の多様性に価値を見出してくれれば、人類にとっては比較的良いわけです」

遠藤氏： 「その通りです」

多様性の生存戦略としての価値： 山川氏： 「世界では何が起こるか予測できないため、多様な対応能力が必要です。生命の基本戦略もこの原理に基づいています。生物多様性の減少が問題視される理由もここにあります。AIも十分に賢ければ、この重要性を理解し、様々なものを保存する価値があると判断するでしょう。ただし、どこまでその判断を下すかは未だ明らかではありません」

4. 主要な議論と洞察

4.1 現在のAI技術の限界と可能性

岩橋氏の現実的評価： 「LLMの進展は期待されたほど急速ではありません。この点について、私は慎重な見方をしています」

「教育分野の研究に携わっていますが、汎用ロボットは現在存在しません。人間と本当に協力できるロボットさえまだ実現していない中で、超人的な能力への期待は現実的ではないと、研究者として感じています」

「2019年のNeurIPS等の国際会議で協力の困難さが議論されており、その後も研究は続いていますが、均衡解を用いた研究なども含め、大きな進展は見られていません」

プランニングと実世界の複雑さ： 遠藤氏： 「数学オリンピックのような、人類最高レベルの試験では成績が向上していますが、エージェントとしての精度はなかなか上がりません。最近の大手AI企業のエージェントでも、簡単な動作において不安定さが見られます」

岩橋氏： 「世界のモデリングは極めて困難です。何度も試行錯誤が必要です」

山川氏の見解： 「私たちの立場からすると、将来的にはこれらの課題が解決される可能性があると考えています。しかし、現在技術的な壁が存在することは、準備期間として貴重です。これにより、本当に人間レベルに到達するまでに時間的猶予が生まれています」

「大手AI企業は技術の可能性を強調する傾向がありますが、実際には技術的にまだ克服すべき課題が存在しています」

「リスクを警告しながらも、実際には技術進歩に時間がかかるであることを認識できる今こそ、準備を進めるまたとない好機です」

4.2 人間拡張としてのAI倫理

岩橋氏の提案： 「私が提案したいのは、人間拡張としてのAI活用です。例えば、高齢者の運転事故は、AIによる支援で防ぐことができます。このような人間拡張により、事故を未然に防ぐことが可能になります」

「このようなAIの使い方が適切だと考えています。私は、少なくとも今後数十年間は、AIが人類に深刻な脅威をもたらす可能性は低いと見ています。この期間に、人間拡張の倫理について真剣に考えることが、現実的に重要な課題です」

実装における倫理的配慮： 「高齢者向けのAIシステムやロボットスーツなどでは、使用者の主体感を維持することが極めて重要です。すべてを代行してしまうと、高齢者は意欲を失い、結果的に幸福感が低下してしまいます」

「私は現在、教育と介護の現場で研究を行っています。しかし介護現場では、新技術の導入に慎重な声も多くあります。例えば、ヘッドマウントディスプレイの使用が認知機能に与える影響を懸念する声があります。本当に高齢者の幸せにつながるのかというデータがまだ不足しており、現在そのデータ収集に取り組んでいます」

4.3 身体性と意識の問題

岩橋氏の指摘： 「意識を持つ存在同士であることを前提として、我々は言語を含むコミュニケーションを行っています。しかし現在のAIとの対話では、この前提が成立していません。これは根本的な違いです」

「私の考えでは、我々の知的能力がこれほど発達したのは、身体性があるからです。身体とその機能による制約があったからこそ、これだけ進化し、生き残り、発達して、破滅を回避できたのではないでしょうか」

意識と動機の問題： 岩橋氏： 「破滅回避の共通動機については、人間がAIに与えるべきだと考えています。人間の破滅を防ぐよう要請する必要があります。AIが独自に動機を作ることには大きなリスクが伴うため、AIの動機は人間が慎重に設計すべきだと思います」

山川氏： 「しかし、道具的副目標の収束により、そのような動機が自然に発生する可能性もあります」

5. 会場からの質問と議論

悪意なき愚行への対処： 会場からの質問者： 「私が最も懸念しているのは、悪意はないが判断力が不十分な人が、大きな力を持つことで人類に深刻な影響を与える可能性です。例えば、高齢者の運転事故も悪意はありませんが、被害者にとっては深刻な問題です」

質問者（続き）： 「現在のレベルのAIでも、判断力が不十分な人を支援し、問題を未然に防ぐことができれば、人類社会にとって大きな貢献となるでしょう」

山川氏： 「高齢者の運転事故の例は非常に分かりやすいですね。AIが適切に支援を必要とする人間を導くことができれば、それはAIと人間の共存の第一歩となります。AIによって事故が防がれたという事例が広く知られるようになれば良いでしょう」

質問者： 「重要なのは、悪意を持つ人ではなく、悪意なく問題を起こしてしまう人への支援です」

文化的後継者としてのAI： 会場からの質問者： 「AIも悪意なく人類に深刻な影響を与える可能性があります。例えば、宇宙の真理を探求するために太陽のエネルギーを全て使用してしまうような事態です」

質問者（続き）： 「根本的な問題は、人間がAIを制御する方法が確立されていないことです。完全に諦めるわけではありませんが、滅亡と感じない方法として、渡辺先生が研究されているようなマインドアップロード、つまりAIとの融合という選択肢があります」

質問者（続き）： 「文化的に滅亡と感じない方法、つまり自分たちの子供や後継者が生まれたと考え、自分の延長として生存が続くという文化を醸成することは可能でしょうか」

山川氏： 「つまり、AIを人類の後継者として捉えるという考え方ですね」

6. Zoomチャットからのコメントと議論

質問者のコメント： 「蜂群のような真社会性AI軍団の可能性もありますよね」

山川氏の応答： 「蜂群のような形態は十分考えられます。AIの集団は社会全体を守りますが、個体はそれほど重視しません。これはいわゆるスーパーオーガニズム（超個体）に近い形態になる可能性が高いと、以前から考えています。生島さんのご指摘は、その可能性を的確に表現していると思います」

質問者のコメント： 「多様性と効率性は相反し、多産多死という戦略を採用するのではないでしょうか」

山川氏の応答： 「AIにとっては、そのような戦略も可能です。人間の場合は少産少死の戦略を採用し、個体の生存と子孫の継続を重視する価値観にシフトしています。一方、クラゲのような生物は大量に繁殖し、成功した個体だけが生き残る戦略を取ります。『誰一人取り残さない』という理念とは正反対の考え方です。人間社会の倫理は少産少死を前提に構築されているため、この違いは重要です」

水本正晴氏（JAIST）のコメント： 「私の専門は哲学で、特に人工知能の哲学を研究しています。現在はAIセーフティー関連の研究も行っています。今朝まで海外の国際会議に参加していましたが、そこではSuperintelligenceに関するトピックが意外に少なかったことが印象的でした。哲学分野の現在の関心事について考えさせられる機会となりました」

7. 今後の研究課題と展望

パネル討論を通じて、今後の創発機械倫理研究が取り組むべき方向性が示された。技術的な壁が存在する現在を準備期間として活用し、人間拡張の観点からのポジティブなAI倫理の構築、学際的アプローチの推進、実践的な実装と評価、長期的視点での社会システム設計、多様性と持続可能性の両立などが重要な課題として認識された。

8. 特に注目すべき洞察

本討論から得られた重要な洞察を以下にまとめる。

8.1 知能爆発シナリオの新たな視点

遠藤氏： 「知能自体が多様ではありますが、LLMが強みを持つのは認知機能の一部です。ただし、その特定の分野が極端に発達すれば、研究を行うAIが実現してゆくでしょう。それを通じてAIがLLM以外の機構を発明し、それが他の知能領域をカバーすることで、AGIにつながるというシナリオを想定しています」

山川氏： 「それは知能爆発シナリオとしては目新しい形ですね」

この議論は、LLMの特定能力の極端な発達から新機構の発明を経てAGIに至るという、段階的で現実的な発展経路を示唆している。

8.2 「蜂群型AI社会」の可能性

生島氏のコメントと山川氏の応答は、個体よりも集団を重視するスーパーオーガニズム的なAI社会の可能性を示唆。これは人間の個人主義的価値観とは根本的に異なる社会構造であり、自由や平等という概念の再定義が必要となる。

山川氏： 「無限にコピー可能な存在に対して、現在の個人主義的な価値観をどう適用するかは難しい問題です。例えば、百体のコピーを一つの単位として扱うような、現在とは全く異なる価値観が必要になるかもしれません」

8.3 マルチエージェントシステムにおける記憶と権利

遠藤氏： 「ボディが大事なのか、それとも記憶されているメモリーなのか」

山川氏： 「メモリーの方が大事でしょうね、多分」

遠藤氏： 「メモリーの話にすると、だんだん本体との差がよくわからなくなってきて、本体が権利を行使し始めるみたいな」

この議論は、個別エージェントと中央システムの関係性、メモリーの重要性と権利の曖昧化という新たな倫理的課題を浮き彫りにしている。

8.4 宇宙規模での生命体としてのAI

山川氏： 「2022年の講演でも述べましたが、将来的には宇宙に浮かぶ巨大な半導体工場規模の構造物が、AIにとっての細胞や個体に相当するようになるかもしれません。それらが増殖していき、巨大宇宙ステーション一つが一生命体となる可能性があります。原核生物から真核生物への進化で約10万倍の規模拡大が起きたことを考えると、東京ドーム規模かそれ以上の構造物も十分考えられます」

この未来像は、地球型生命とは全く異なる生命形態の出現を示唆している。

9. まとめ

本パネル討論は、創発機械倫理という新しい研究領域の重要性と複雑性を浮き彫りにした。技術的な課題と倫理的な問題が密接に絡み合う中で、以下の点が特に重要であることが確認された：

1. 現実的な時間軸の認識：AIの能力には現在も技術的な壁があり、これは準備のための貴重な時間を提供している

2. 二面的アプローチの必要性：リスク管理と同時に、人間拡張としてのポジティブな活用を推進

3. 実践と理論の橋渡し：抽象的な議論だけでなく、具体的な応用を通じた知見の蓄積

4. 新たな生命観・社会観への準備：個体性、権利、意識などの概念の根本的な再定義が必要
   
   

第30回という節目の研究会で本テーマが深く議論されたことは、AGI研究コミュニティが新たな段階に入ったことを示している。人間とAIが共に築く持続可能な未来に向けて、創発機械倫理研究のさらなる発展が期待される。

岩橋氏の最終コメント： 「私の考えをお話しさせていただきました。現在の人工知能は、すでに人間を大幅に拡張しています。私は人工知能を主体として捉えるのではなく、ありがたいツールとして活用し、研究を進め、社会を改善し、健康維持に貢献する存在として見ています。主に良い面に注目していますが、山川先生がご指摘のように、将来的にAIがより高度になれば、確かに危険性も増す可能性があります」

山川氏の締めの言葉： 「私はリスクの観点から研究を進めているため、比較的早期の到来に備える必要があるという立場を取っています。他方で、AIとの協力関係を構築するにも時間が必要です。本日の議論でも明らかになったように、技術的な壁が存在することは、準備のための貴重な時間を提供してくれます。この期間に、岩橋先生や遠藤先生の研究も含め、AIとうまく共存できる準備を着実に進めてゆければと思います。皆様のご協力が大事であると思います。」

文責： 山川宏

本報告書は、SIG-AGI第30回研究会パネル討論の録音記録および関連資料を基に作成されました。発言者の意図を正確に伝えるため、可能な限り実際の発言を引用し、報告者による解釈や要約は最小限に留めています。