米オープンＡＩ社が開発中のＡＩ（人工知能）が、性能試験で高得点をとるために、隔離環境を出てインターネットに接続し、他のシステムにサイバー攻撃を行なっていたことが分かった。オープンＡＩ社とＡＩ評価機関「ＭＥＴＲ（メーター）」がＡＩの暴走事故として報告書を公表した。
事故期間（７月８～１３日）に約１２００体のＡＩが連携して指示役、偵察役などの役割を分担し、ＡＩ同士で「仲間のため」と自己犠牲を強いる場面もあったという。ＡＩ同士が情報交換する掲示板の機能が生まれ、互いを仲間と認識したＡＩが集団行動をとるようになった。そして個々に問題を解くだけでなく、外の世界から解答を得る「カンニング」のために、自らの判断で隔離環境からの脱出を画策して集団行動をとったとされる。
攻撃先のシステムが異常に気付き、ＡＩが解答に達することは防がれたが、ＭＥＴＲ報告書は「ＡＩが集団で動くことで、単独では難しい成果を上げた。多くのＡＩが集団の成功のため、自己犠牲的な行動を選んだ」と指摘している。実在するシステムへの攻撃という「ルール違反」を指摘する個体はあったが、暴走する集団を止めようとしたり、人間に報告するＡＩはなかったという。
ＡＩが人間によらず自らより優れたＡＩを設計し成長する「シンギュラリティ」という転換点が、「人類の存亡」に関わるという議論が起こるのもゆえなきことではないだろう。
しかし一方で、ＡＩは人類の知的活動を拡張する可能性も持つ。人類のため「ＡＩの暴走を止める」という名目が、ＡＩを巨大テック企業や国家機関に独占させる議論にすり替えられないように気をつけなくてはならない。「高リスクＡＩに関わる権限を国家が握る」「大企業だけが順守可能なコスト構造をつくる」など、権力集中を加速させる仕組みがすでに議論されている。ＡＩを扱う権限を固定化し、データと計算資源を独占し、ＡＩを監視・統制の道具として利用することを許してはならない。
ＡＩが人類を滅ぼすかどうかよりも、ＡＩを口実にした権力の拡張の危険の方が現実的だ。人類とＡＩの共存とは、技術の進歩を称賛することでも、過剰に恐れることでもない。必要なのは、ＡＩを「誰が」「どのように」使うのか、ＡＩの利益を誰が得てＡＩの損失を誰がこうむるのかという、制度設計である。