私たちがSkillsを構築している間、Memはそれ自身の最高のデモを生み出しました。
私たちの開発記録は、あなたが接続するあらゆる仕事と同じように、すでにMemの中にあります。 それらを読んだMemは、私たちが繰り返し使っていたものの、これまで書き留めたことのなかった手法に気づき、それをSkillとして書き上げ、それを生み出した仕事を指し示しました。 そこで私たちはシステムにそのSkillを改善するよう依頼しました。 システムは証拠から小さな評価を構築し、2ラウンドにわたって改訂を試み、そしてそれらのどれも採用しませんでした。 なぜなら、どれも元のバージョンを上回らなかったからです。
この拒否こそが、私たちが最も信頼している部分です。 しかし、まずはその手法についてです。
それが気づいた手法
失敗しうる評価を構築すること。 各ステップで何が起こるかを書き留めること。 パイプラインが実際に詰まっている一箇所を見つけること。 そこだけを変えること。 もう一度実行すること。
当たり前に聞こえます。 そして、結果がおかしく見えるときに人々が最初に飛ばしてしまうことでもあります。 反射的にプロンプトを調整し、モデルを切り替え、しきい値を動かし、あるいはシステムにもっと提案させる。 忙しく感じられますが、どのステップが改善したのかは分かりません。
私たちはここ数週間でこのループを2回使いました。 1回はconで、これはAIエージェントが実際のシェルを操作する、私たちが構築中のターミナルです。 そこでの評価は15ケース中5ケースの合格から始まり、それを15ケース中15ケースへと押し上げたのは、より強力なモデルではありませんでした。 それは、各失敗が実際にどこに潜んでいるかを示せるほど正直に成長した評価そのものでした。 そしてもう1回はMem自体で、Skillsパイプラインがグラフからどれだけの実際の手順を想起できるかを測定し、ファネルを可視化し、一度に1つの制約を修正しました。
Memはそれらの記録の中に共通のパターンを見つけ、それをSkillとして書き上げました: build-a-harness-optimize-loop。
結晶化されたハーネスループSkillの詳細
それは空虚な「評価を使いましょう」という助言を飛ばし、実際の動きを書き留めました。 最初に何を測定すべきか、なぜ各ステップにトレースが必要なのか、いつ1つのことだけを変えるべきか、そしていつまだ実行を拡大すべきでないか。 実際の仕事から生まれた手法を、エージェントが後で従える形で示しています。
そしてそれは悪化させることを拒否しました
私たちはMemにそのSkillを研ぎ澄ますよう依頼しました。
MemはそのSkill自身の証拠からテストケースを導き出し、いくつかの改訂を試み、それぞれを現在のバージョンと比較しました。 2ラウンドです。 元のバージョンを上回るものは何もなかったため、何も出荷されませんでした。 保留中のバージョンも、静かな上書きも、進歩に見せかけた編集もありません。
その結果は静かです。 そして正しいのです。 記事の編集が弱ければ、記事はただ悪くなるだけです。 Skillの編集が弱ければ、エージェントは次回により悪い指示に従うかもしれません。 なぜなら、一度Skillがオンになると、エージェントは本当にそれに従うからです。 自己改善するシステムは改善しなければならず、そして止まるべき時も知らなければなりません。 より良いバージョンがなければ、変更もありません。
何がSkillとして数えられるか
その出来事は、v0.9で私たちがどこに線を引くかを説明する最も明快な方法です。
Memoriesは、何が起こったか、何を決断したか、何を学んだかを記録します。
「回答は短く保つ」はルールです。 それはあらゆる実行を形作るべきです。 「このプロジェクトでは生成されたAPIドキュメントを手で編集しない」もまたルールです。 それは振る舞いを制約します。
「リリースを切るときは、親ポインタを動かす前にサブモジュールをコミットする」はSkillです。 それはエージェントが作業する順序を変えます。 もしエージェントがそれを見落とせば、リポジトリは悪い状態に陥ります。
1つの問いがそれを決めます: 次回、エージェントは具体的に何を違えて行うのか? 答えがなければ、それはSkillになるべきではありません。
そしてSkillは、その言い回しではなく、その出所によって信頼を得ます。 Memは、あなたが実際に行った仕事の中に反復可能な手法を探します。 デバッグの一巡、リリースの手順、レビューの習慣、間違えて初めて学んだ安全確認などです。 それぞれの提案は、それを生み出した瞬間を指し示します。 提案されたSkillsは、あなたがオンにするまでオフのままです。 なぜなら、悪いSkillは次の実行を悪化させうるからです。
Nowledge MemのSkills
v0.9で見えるもの
AIはほとんど何についてももっともらしいチェックリストを書けますが、それらのチェックリストのほとんどは残す価値がありません。 強力なモデルはすでに一般的なバージョンを知っているからです。 ですからSkillsページは静かに感じられるべきです。
Skillsリスト内のハーネスループSkill
リストは短いはずです。 各提案には出所と3つの答えが必要です:
- これはどんな実際の仕事から生まれたのか?
- オンにした後、エージェントは何を違えて行うのか?
- なぜMemはこれを残す価値があると考えるのか?
それに見覚えがあり、証拠を信頼できるなら、オンにしてください。 Memに接続されたエージェントは、それが当てはまるときにそれを読むことができ、その後のあらゆる改良は同じ関門に直面します。 新しいバージョンは、より優れていることを証明しなければなりません。
これがv0.9のSkillsです。 あなた自身が苦労して手に入れたステップが、あなたのエージェントが再利用できるものへと変わります。 それが搭載されるリリースについては、v0.9の記事で扱っています。