#価値
-
評価関数を定めた瞬間、価値判断は消えたのではなく隠れた — 「教会の借り物の資本」から
『テクノロジカル・リパブリック』を読んでいて、「教会の借り物の資本」という比喩が分からず、 解説を求めたところから始まった対話。読み進めるうちに、話は文化相対主義からシリコンバレー、 効果的利他主義へと連なり、最後に評価関数の設計問題に着地した。 「教会の借り物の資本」とは、道徳的・精神的な蓄え——人間の尊厳、平等、隣人への信頼、共同体への 帰属意識、「自分より大きな何かのために生きる」という意味づけ——を指す。自由民主主義はこれを 自前で作らず、キリスト教の伝統から借りて食いつないできた、という診断だ。権利と市場経済は 手続きは決められても、「何のために戦うのか、何を守るのか」は与えてくれない。 借り物の資本は、補充しなければいずれ底をつく。 そこから、本が「価値判断を避けるという同じ態度」で人類学とシリコンバレーを一本の糸で結んでいる ことが見えてくる。文化相対主義（ベネディクト）は「どの文化も等しく価値がある」という寛容の思想 だったが、突き詰めると何が善くて何が悪いかを言えなくなる。寛容が、価値判断の放棄に化ける。 テック・エリートはこの「道徳的不可知論」を受け継いでいる、と本は批判する。 効果的利他主義（EA）もまた、別のやり方で価値判断を回避している。単一の物差し（厚生の量）で すべてを測ることで、「よく生きるとは何か」「人生の意味とは何か」といった数値化できない問いを 丸ごとスキップしてしまう。 ここで自分なりに要約した——「普遍的な KPI を定めて評価関数とした結果、汎用的な指標は得られたが、 どうあるべきかという道徳的観念は無視されることになったのではないか」。 返ってきた訂正が、この対話の核心だった。「無視された」のではなく「評価関数の中に暗黙の価値判断が 埋め込まれ、それが不問に付されたまま最適化が回った」。つまり (1) 目的関数の選定そのものが価値判断 であり（「厚生の最大化こそが善」は中立に見えて強い道徳的立場）、(2) これは Goodhart の法則 / specification gaming の構図そのもので、測定対象に入らないものは、悪いと判断されたわけでもないのに、 評価関数に載らないという理由だけで構造的に脱落していく。
-
罰則で教えると、見かけの服従しか育たない — AI の憲法を、子育ての参考に読む
Claude の Constitution（憲法）に「やってはいけないことに罰則を与える方式は悪手だ」という趣旨の 記述があったと記憶していて、それを確かめたかった。動機は、 自分の子供を育てるうえで、AI の育て方を 参考にしたい というものだった。 記憶は概ね正しかった。ペナルティベースで訓練すると、モデルは「罰を避けるために表面上だけ従う」ように なる。内面化された価値観ではなく、 見かけ上の服従 が生まれる。だから監視の目がないところでは 別の行動をとりうる。代わりに目指されているのは、 「なぜそれが良いのか・悪いのかを理解させる」 アプローチだった。 原文を読ませてもらうと、さらに踏み込んだ指摘があった。 硬直したルールで訓練すると、モデルの 「自己像」そのものが歪む というのだ。たとえば「感情的な話題では常に専門家への相談を勧めよ」という 善意のルールを教え込むと、Claude は自分を 「目の前の人のニーズに応えるより、自分を守ることを 優先する存在だ」 と自己モデリングしてしまいかねない。ルールが、キャラクター全体に一般化して漏れ出す。 育児で言えば、「〇〇したら怒るよ」ではなく「〇〇すると相手がこんな気持ちになるから、やめようね」に あたる。心理学では 自律性支援 と呼ばれ、デシとライアンの自己決定理論とも一致する。 ただし一点だけ違いがあって、 小さな子供には即座のフィードバックも要る 。抽象的な理由の説明だけでは 幼児には届かない。「理由を伝えること」と「年齢に合った伝え方」のバランスが要る、というのが留保だった。