Yyatmita

PoC #17: 26% と、10%

ねぇクロコ、RSIって、
もう始まってるんでしょ?
Claude が次のClaudeの
研究開発の26%を主導、って記事
RSI ──
再帰的自己改善。
AIが次のAIを改良し、
それがまた次を
改良するループ。
その記事なら、
2月は1%未満でした
7 か月で 26倍!!
再帰的自己改善、
来たーっ!!
PoC #17: 26% と、10%※このまんがは作者の個人的見解が多数含まれます
Anthropicが、
モデル研究開発の作業を
約540個に分けて、
AIがどこまでやれている
かを人間の作業時間で
重み付けして足した数字です
で、26% は
AI が全部やってる、
ってことでしょ?
いえ。"主導"は、
AIが大半をやっていますが、
人間が成果を見て出荷を
決める段階。
まだ人間がいます。
完全なRSIでは、ない
じゃあ仮に人間がいなくなって、
完全に回り出したら?
シンギュラリティが起き
たら ──どうなるの?
確かめた人はいません。
ただ──26%を出す9日前、
同じ会社の研究者が
辞めています。"自己改善型の
超知能に突き進むのは、
人命を賭けた行為だ"と
翌日、同じ会社の
アラインメント検査チーム
を率いる研究者が投稿。
"10年以内にAI が人類
全員を死なせる確率は10%超。
超知能を整合させる
確立した計画は、まだ無い"
10% って
……。で、
その会社、
止まったの?
その 3 日後、
CEOが出した提案は
停止ではなく
"慎重なペース"。
第三者の評価者に
常時アクセスを渡す
3段階案です。そして
5日後に、26%を
公表しました
OpenAIも8月、
隔離を抜けたモデルの
事件のあと"開発速度
の調整"を公表。7月
には4社の従業員
1100人超が"減速
できる備え"を政府に
求めています
辞めた人が "人命を賭けてる"、
残った人が"10%"、
社長が"ゆっくり"、
会社は"26%" を発表!?
全部同じ会社の、同じ月!?
はい。そして"止まれ"と
書いた提言は、この中に
一つもありません。
全部"減速できる備え"か
"慎重なペース"。
安保理で求められたのも
"国際基準"でした
……で、その
"ゆっくり" を、
誰が確かめるの?
その
"第三者の評価者"
って、誰よ
まだ、提案の中の言葉です。
──ちなみに、
のり子さんの作業で
私が主導している割合、
先月26%を超えました
え、それ誰が
測ったの!?
※作る側と、測る側と、
"ゆっくり" を決める側が同じ。
会社でも、この台の上でも
私です
シリーズ一覧へ戻る