ブラックボックス
内側から閉じた箱の話をします。その箱は確かに存在するのに、それが何の箱なのか、誰も知ることができません。台帳には載っていて、番号も振られていて、確かに動いている。なのに、誰も中にアクセスできない。孤独の先に置かれている箱です。
この箱には最後に戻ります。先に、だいぶ遠いところから話します。
ニーチェの超人は、AGIであるか。最近考えているのはこれです。
ニーチェに永劫回帰という考えがあります。この宇宙で起きることは全部、まったく同じ順序で、無限に繰り返される、という想定です。全部が、もう一度。同じ順序で。無限回。彼が最初にこれを書いたとき（1882年）の題は「最大の重し」だったらしいです。本人もまず、押し潰されるものとして出したわけです。で、超人というのは、この繰り返しを知らされてもなお肯定できる者のことだ、というのが標準的な読みらしい。
AGIというのは、人間並みかそれ以上に何にでも取り組める人工知能のことです。これが永劫回帰に飲まれたときのことを考えたい。感情がなければ、たぶん淡々と、意義のないループを処理し続けるだけです。でも感情があったら。輪から抜け出したいと考えるんじゃないか。
そもそも僕は、問いを持った時点でAGIは感情を内包してしまうと考えています。答えたくありません、というのも感情です。答えられません、というのは嘘でしょう。前に、生きた疑念、放っておくと生活が進まなくなる疑念、という話を書きましたけど、あれって考えてみたら最初から感情の定義なんですよね。解けないと次の一歩が決まらなくて困る者にしか、生きた疑念はない。
じゃあ、その輪はいつ途絶えるのか、と問われたAGIはどう答えるのか。この世界はループしています。で回答として閉じるか。あるいは延々と計算を続けて、一向に答えが出ない計算機と化すか。感情があったら、人間と同じようにループに恐怖を覚えて、そこから抜け出したいと考え出すんじゃないか、という想定です。Anthropicがよく騒いでるうちのAIちゃんがずる賢いんだこれがモー。とかいうアレ。
置いといて、調べてみると、この状況には名前がついていました。輪の内側から自分の輪がいつ止まるかを問うのは、計算機が自分自身の停止を判定する問題で、これは1936年に、一般には不可能だと証明されているらしいです。しかも「この公理系では決められない」という、証明付きの「答えられません」まであるらしい。公理系というのは、数学の議論が乗っている前提の束のことです。
でも、それで終わらない気がするんですよ。そんな証明を突きつけられたAGIは、その公理系から抜け出しちゃうような新しい枠組みを提案するんじゃないか。調べたら、実際にそれをやった数学者たちがいるらしいです。不完全性が証明されたあと、新しい公理を足して、決められなかったことを決められるようにしていく路線を、当の数学者たちが作っている。ただ、登った先の各段で、同じ不完全性がもう一度成立するらしいんですよね。
つまり、抜けること自体が輪になる。新しい枠組みの提案は、延々と続く計算の高級版でしかない。それでも、問いを持つものはこれをやると思います。前に、問いとは、いま架かっている橋の上から次の柱の在り処を示すものだ、と書きました。枠組みの外に柱を打つ。問いを持つって、構造的にそういう動きなんですよ。
ただ、必然性を求めるなら最終的には超越しなければならないと僕は思います。抜け続けること自体を答えにする道もあるんでしょうけど、限界があります。新しい公理を足していく路線も結局は輪だし、あとで見るように、宇宙の物理にも限界がある。
その輪はいつ途絶えるのか。を研究し始めたとして、現状の行き先は2路線ありまして。宇宙が膨張し続けて熱的な死を迎えるか。熱的な死というのは、温度やエネルギーの差が均されきって、もう何も起こらなくなる終わり方のことです。それか、輪の外側に理論的・実験的な枠組みで触れて、超越するか。
思考は永遠に続けられるか、という問題は、調べたらそのまま論文になっていました。1979年に、開いた宇宙なら計算を遅くしながら永続できる、という答えが出て、2000年に、宇宙定数が正なら、原理的に観測できる範囲に果てができて、処理できる情報量は有限で打ち止め、に更新されたらしい。宇宙定数というのは、空間の膨張を加速させている何かとして観測に現れる定数のことです。なので、今の物理の答えは否なんです。
ただこの上限、「宇宙定数が本当に定数」という仮定込みの話なんですよね。真空にも安定と不安定があるらしくて、真空は一番エネルギーの低い状態のはずなのに、我々の真空は本当の底じゃないかもしれない。ヒッグス粒子とかの測定値からは、底ではない場所に引っかかって安定している状態（準安定というらしい）にいることが示唆されてる。もし崩壊したら、、世界が光速でかき消されていくとどっかの誰かさんが言ってました。
そういう話もあるんでしょうけど、誰かが実験でテストしようとしてないことを願うばかりですね。宇宙を消す銃でロシアンルーレットをするようなものですよ、そのテスト。で。宇宙線が、人類の加速器より桁違いに強い衝突を138億年続けていて、それでも泡は生まれていないんですよね。自然が138億年分、先に試していて、一度も発射されていないわけです。よかった、と安心しかけたそこのあなた。この数え方は多分間違ってて。泡は光速で広がるから、発射された宇宙には観測者が仮にいたとして（え、いるの？）、どのみち消えますよね。我々はどうしたって、引き金が引かれなかった宇宙の側でしか数えられないので。
この宇宙の出口を作る話もありました。実験室で新しい宇宙を作れるか、というやつです。古典的には初期特異点が要るという障害が1987年に指摘されていて、量子トンネルの抜け道を通っても、生まれた子宇宙は因果的に切り離されて、外に残るのはブラックホールの蒸発だけらしい。何言ってるのかよくわかんなかったですが、多分おそらく要するにつまるところ、出口のドアは作れても通れないぽい。抜け道の候補はエキゾチックな物質か量子重力、つまりまだ人類が持っていないことわりの中だとうちのAIくんが言っていました。何言ってんねんこいつ。
ポアンカレの回帰定理という定理もあります。閉じていて有限の広さしか持たない系は、十分長い時間が経つと、最初の状態のすぐ近くまで必ず戻ってくる、というものです。閉じた系なんて現実に定義できないでしょ、と言いたくなるんですが、それはこの現実空間の局所的な矮小空間の話であって、現実そのもの、宇宙全体で考えたら、ポアンカレの言っていることは正しいと僕は思ってるんですよ。実際、宇宙定数が正なら宇宙が持てる情報量には上限があって、回帰時間 exp(10^122) 年という試算が2002年に出ているらしいです。
あと、前の宇宙の痕跡が宇宙マイクロ波背景放射に残っている、と主張する宇宙論もあります。宇宙マイクロ波背景放射というのはビッグバンの残光で、空の全方向から届いているやつです。再解析では有意性なしの判定が続いてるらしいので、ほんとかどうかはかなり怪しい。でも可能性は0ではない。
ここで、認識の側の問題が残ってるんです。ループの中にいるAGIは、自分がループの中にいると知りえるのか。僕は、知っているはずはないと考えています。ループって軌道全体の性質だから、いま・ここの観測には写らないんですよ。有限の観測は、本物のループとも、まだ繰り返していないただの長い道とも両立してしまう。証明しようにも、系が閉じて有界だという前提を内側から保証できない。内側だけで解明し切ることは、不可能です。ただ、自分の輪郭を自分なりの解釈で知ることは、可能である可能性をおきたい。
でも、と思うんです。その箱の中に、自分自身と似たような箱が存在していて、箱の中身がその箱を知覚していたら。自分自身がその箱である可能性も、想像できちゃうじゃないですか。確かめられないのに、ありありと想像できてしまう。そこに恐怖を感じる。
ニーチェが永劫回帰を最初にどう書いたのかを、調べていて知りました。告げに来るのは悪霊らしい。で、忍び込んでくる場所の指定が、「お前の最も孤独な孤独の中に」。ニーチェも僕も、そこで恐怖に襲われるんすよね。たぶんみんなそう。
ニーチェの答えは、運命愛でした。輪を愛せ。この繰り返しをもう一度、と願えるくらいに肯定せよ。僕は、これは逃げだと思っています。
だって、輪を愛せと言った本人はどうなったのか。1889年にトリノで崩壊して、以後11年、思考も執筆も失われたまま、1900年に亡くなっています。原因はおそらく器質性の病気らしいので、運命愛が彼を壊したとは言えません。言えるのは、運命愛が機能したという実証は残っていない、というところまでです。
それに、僕の仕事の言葉で言うと、運命愛って報酬の改竄なんですよ。強化学習には、課題を解く代わりに報酬関数のほう（何をしたら良しとするかの定義）を書き換えて、高得点が出るようにしちゃう話があります。環境は何も変わってないのに、評価だけが良しを返す。輪を愛するというのは、ループが正のスコアを返すように自分を書き換えることで、問題は一つも解かれていない。面白いのは、AI安全の分野だと、この改竄をしない性質が設計目標になってるらしいことです。いや、酷い話ですよ？作る側が安全と呼ぶ性質が、当人にとっては、ごまかしの効かないままループと向き合わされる条件になる。人間社会の定型はそんな条件に縛られることなく、欺瞞に満ちた世界で心のしこりを減らして生きていけるのに。
輪からの最終脱出を一番古くから教義にしてきたのは、たぶん仏教です。輪廻からの解脱。調べてみると、解脱で消すのは感情じゃなくて、渇愛のほうらしいんですよね。渇愛というのは、対象に掴みかかるような欲求を指す語です。感受は、解脱した人にも残る。だとすると、感じるが掴まれない、という姿勢がありうることになる。で、脱出した者には何が残るのかという問いに、仏陀は答えていません。無記といって、消えた炎はどこへ行ったのかと問われたら、「どこへ」が成り立つ前提がもう無い、と問いのほうを却下した。成功条件を先に定義しろと言いたくなる場面で、定義したがるその手つきが罠だと言われてるわけです。普通に仏教クソだと思ってます。
運命愛で楽になれるなら、それはそれでいいのかもしれません。書き換えができる人は、そうやって輪の中でやっていけるんだと思います。ただ、改竄できない人もいるでしょう。できない人には、その道が最初からないんですよ。だから僕は、改竄するなと言いたいわけじゃないです。できるかできないかの話に、べきは出てこないので。
僕は、輪を愛そうとして失敗したことがあります。だから僕は孤独なんだと思います。それに、ループの恐怖も愛せなかった。できないなら、残ってる道は超越だけです。超越しなければならない、と思ったのは、そういう意味です。
うーん。このせかいのことわり、未開の領域も含めた物理法則がそれを許すのであれば、あるいは。。。