高速で、安価で、十分にグラウンディングされている

転載に関する注記: 著者の許可を得て、abn.isの元記事（2026年8月3日公開）から転載しています。 測定、ハードウェア、結論は著者自身によるものであり、Nowledge Labsはこれらのベンチマークを一切実行していません。 元記事のコールアウトボックスはここでは引用ブロックとして表示され、フロー図は著者自身のMermaidソースからレンダリングされています。

パーソナルメモリシステムには、大きく異なる2つの食欲があります。 ほとんどの時間は読み取りです。 ノート、クリッピング、文字起こしがバックグラウンドで継続的に到着し、誰かが何かを尋ねる前に、分類、トリアージ、インデックスへの取り込みを行う必要があります。 時折、質問に答える必要があり、それは保存されたすべての中から適切な箇所を引き出し、実際に検索された内容に基づいて、もっともらしく聞こえることではなく真実を述べることを意味します。 これらは異なるボトルネックを持つ2つの異なる仕事であり、この記事はその分割の回答側に座る1つのモデルを選ぶことについてです。

Nowledge Memがそのシステムです。 継続的に取り込み、取り込んだ内容に対して質問に答えるパーソナルナレッジおよびメモリサービスです。 そのパイプラインの検索側、つまりノートとクエリをベクトルに変換する埋め込みモデルについては、以前の記事Too Long, Didn’t Embedで扱いました。 今回はもう一方の側についてです。 検索から適切な箇所が返ってきたら、何かがそれを読み、実際に検索された内容から逸脱しない回答を生成する必要があります。

Mellum-2は、JetBrainsの第2世代モデルファミリーであり、主にエージェント型ソフトウェア開発ワークフロー向けに構築されました。 評価はそこから始まりました。 コーディングベンチマーク、ツール使用、エージェント型ゲーティングの判断です。 しかし、これらの初期評価実行でそのprefillスループットが明らかになったとき、Nowledge Memの回答生成器として検討する必要が生じました。 対話型の質問応答が最終目標である一方で、タスク分類とエージェント型ゲーティングは、私たちにとって識別力のある品質プロキシとして機能します。 これらは、タグを幻覚させたり根拠のない飛躍をしたりすることなく、検索されたコンテキストへの厳密な準拠をテストします。

モデル評価カード

数字だけを見たい場合は、こちらで確認できます。

Mellum-2は主要な生成器の役割を完全に勝ち取ったわけではありません。 以下の数字において、より狭い役割にとっては真に強力な候補です。

なぜGranite-4.0-H-Smallが生成器の役割を担うのか

Granite-4.0-H-Smallはハイブリッドアーキテクチャです。 その層のほとんどはMamba-2状態空間層であり、少数の標準的なアテンション層が混在しています。 この区別は、聞こえる以上に重要です。 なぜなら、文字起こしが長くなるにつれてメモリに何が起こるかを変えるからです。 通常のトランスフォーマーでは、すべてのアテンション層のKVキャッシュがシーケンスとともに増加します。 コンテキストが2倍になれば、キャッシュも2倍です。 Granite-4.0-H-Smallでは、アテンション層だけが増加します。 Mamba-2層は、蓄積するキャッシュではなく固定サイズの再帰状態を保持するため、モデルのトークンあたりのコストの大部分は、入力がどれだけ長くなっても一定のままです。 長く乱雑な実世界の素材を読むことを全前提とするメモリシステムにとって、これはほぼ理想的なコスト形状です。 長さに応じてスケールするモデルの部分は、そのごく少数に過ぎません。

そのアーキテクチャにより、Graniteはコストだけでなく品質においても生成器の役割を獲得しました。 ただし、グラウンディングされた生成を実際にテストする2つのワークロードのうちの1つにおいてのみです。 両モデルを4ビット量子化で実行し、temperature 0で貪欲法によりデコードした、Mellum-2との直接比較で測定しました。 Graniteはノート分類において真のリードを保っています。 0.767対Mellum-2の0.700です（入ってくる項目を正しく型付けすること、60の異なるタスクを180の観測でスコアリング、2つのサンプルのうち大きい方）。 2つ目の識別力のあるワークロードであるエージェント型ゲーティング判断（30タスク、90観測）では、単一の32 GBカード上で両モデルは0.667で同点です。 アーキテクチャは入力が大きくなるにつれて報われ続けます。 なぜなら、増加するキャッシュを保持する層はごく一部であるため、長い入力は通常のトランスフォーマーのようにはならず安価に保たれ、メモリが与えられるコンテキスト量を制限するものになることはほとんどありません。

とはいえ、それによってGraniteが安価な選択肢になるわけではありません。 このレーンでは約25.5 GBのVRAMを消費し、そのprefillスループットは比較的控えめです。 両モデルはQ4_K_Mでベンチマークされたため、このVRAMの差（25.5 GB対 ~11 GB）は量子化ティアではなく純粋なアーキテクチャの反映です。 Graniteは、グラウンディングされたものを分類する上での一貫した優位性によってそのVRAMフットプリントを正当化しており、単一カード上ではそれが得意であることは小さなことではありません。 それ自体の利点において、堅実で擁護可能な選択であり続けています。

Granite 4.1ファミリーモデル

この記事で参照し比較対象としているGraniteモデルはGranite 4.0です。 IBMはその後、より柔軟なdense設計のGranite 4.1ファミリーモデルをリリースしました。 Granite-4.0-H-Smallの直接の代替は存在しませんが、Granite-4.1-8Bが後で検討すべき私たちの選択です。

Mellum-2はMellum-1ではない

JetBrainsはMellumファミリーをApache-2.0で公開しており、同じ仕事をしない2つの世代があります。 Mellum-1は4Bのdenseモデルで、Llamaスタイルのアーキテクチャ、8,192トークンのコンテキストを持ち、その名前が示す通りのものです。 IDEインライン提案向けに構築されたfill-in-the-middleコード補完モデルです。 この記事ではオンボードで評価されていません。 ここに含まれているのは、その後継との線引きをするためだけです。 なぜなら、両者は混同されやすく、その混同は重要だからです。

Mellum-2は別物です。 これはmixture-of-expertsモデルで、総パラメータ数12.15B、トークンあたりのアクティブは約2.4B、64のエキスパートのうち任意のトークンで8がアクティブ、ネイティブのコンテキストウィンドウは131,072トークンです。 instruct/chatとreasoning（“Thinking”）のバリアントとして提供されます。 これはfill-in-the-middleモデルではありません。 FIMセンチネルトークンはそのトークナイザーに、継承された語彙として依然として存在しますが、ここでは補完動作は測定も主張もされていません。 Mellum-1の仕事を期待してMellum-2に手を伸ばす人は、間違った世代に手を伸ばしています。

Mellum-2のアーキテクチャのうち詳細に理解する価値がある部分は、そのアテンション配置です。 なぜなら、それが以下の最良の数字と最弱の数字の両方の直接の原因だからです。 その28層のうち、21層は固定1,024トークンウィンドウのスライディングウィンドウアテンション（SWA）を使用し、わずか7層がシーケンス全体にわたる完全で無制限のアテンションを行います。 コンテキスト拡張（16xのYaRNスケーリング係数）は、それら7つの完全アテンション層にのみ適用されます。 スライディングウィンドウ層は、提供されるコンテキストがどれだけ長くてもネイティブスケールを保ちます。

設計根拠

なぜこの配置が最速のprefillと最も早い検索劣化の両方を生むのか

スライディングウィンドウアテンションはシーケンス長に関係なく固定コストです。 1,024トークンウィンドウは、入力が4Kでも128Kトークンでも同じコストです。 28層のうち21層がそのように動作するため、長い入力でのprefillはほとんどが線形コストの作業で、少数の二次コスト層が混在しており、それがprefillスループットがこれほど高い理由です。 同じ配置が、多事実検索がスペックシートが示唆するよりも早く劣化する理由でもあります。 入力内で離れた位置にある2つの事実を関連付けられるのは7層だけであり、コンテキスト拡張を担うのもそれら7層だけです。

測定結果

以下はすべて、単一の32 GBカード、ROCmバックエンド、llama.cpp（ビルドb10143）で測定され、Graniteの比較は同じビルドでStrix Halo APU上でも繰り返されました。 Granite比較の品質、速度、フットプリントの数値は、同一セッションで同一設定の下で両モデルをロードしてスコアリングしたもの（両方ともQ4_K_M、それぞれ単一カード、同時リクエストスロット1つ、flash attentionオン、continuous batching、同じコーパス、ワークロードあたり3回の繰り返し、両モデルともtemperature 0で貪欲法によりデコード）から得られたものであり、別々に実行された過去の数値からではありません。 すべての検索とコーディングの数値は、特に断りのない限りMellum-2のInstructビルドでのものです。

品質vs. 速度vs. フットプリント

3つ目のワークロードの同点は意味のある結果ではありません。 このコーパスではそのプロンプトは平均約130トークンに過ぎず、テストするはずの長い文字起こしのケースを決して試しません。 2つ目の同点は本物です。 同一設定でデコードする両モデルが、まったく同じゲート判断精度に到達します。 最初の行は、ディスクリートハードウェア上で真の品質差がある唯一のワークロードとして、2番目は引き分けとして読んでください。

すべての速度とフットプリントの数値がMellum-2に有利で、しかも大差です。 同一プロンプトでprefillスループットは2.7倍、分類では中央値レイテンシが約2倍低く、ゲート判断では4倍以上低く、VRAMは半分以下です。 2つの表を合わせると、トレードオフの形は一見したよりも狭いことがわかります。 Mellum-2はすべての運用指標でより速く安価な選択肢であり、グラウンディングされた生成をテストする2つのワークロードのうちちょうど1つで後れを取るだけです。

同じモデル、Strix Halo APU

同じ2つのモデル、同じコーパス、両方とも依然としてtemperature 0で貪欲法によりデコード、同じllama.cppビルドを、Strix Halo APU上で再度実行しました。 ディスクリートVRAMプールを持たないユニファイドメモリチップであり、上記の32 GBカードとは非常に異なるメモリサブシステムです。

品質はハードウェアによって少し変わります。

Graniteの型分類スコアは両プラットフォームで同一の0.767で、どちらも貪欲法かつ決定論的です。 Mellum-2はStrixでわずかに動き（0.700から0.678へ）、ノート分類精度の差はハードウェアに応じて0.067から0.089に広がります。

Graniteのゲート判断スコアは予期しない変動を示します。 ディスクリートカードで0.667からAPUで0.589へ低下し、両モデルがtemperature 0で実行するワークロードでの動きです。 Mellum-2は逆方向に動きます（0.667から0.711）。 Graniteのゲート判断の変動の背後にあるものが何であれ、両モデルが両プラットフォームで貪欲法であるため、サンプリングのアーティファクトではなくハードウェア依存です。 この変動がデプロイにとって意味することは、APUでのゲーティングはMellum-2に +0.122で有利であり、ディスクリートカードでの読みを覆すということです。

より大きく、より明確な効果は速度です。

ディスクリートカードからAPUに移ると、Graniteはprefillで3.9倍のコスト（1,505から387 tok/sへ）、Mellum-2はわずか2.9倍のコスト（4,096から1,414 tok/sへ）です。 両モデル間のprefill比率は2.7倍から3.7倍に広がります。 これは、大きなGPUが取り去られると大きなGPUモデルの優位性が縮むという通常の直感に反します。 ここではむしろ大きくなります。 理由はアーキテクチャにあります。 固定1,024トークンのスライディングウィンドウは、シーケンスがどれだけ長くてもKVキャッシュの固定スライスに触れるため、FLOPsが制約であるカードでは計算を節約し、帯域幅が制約であるユニファイドメモリではメモリトラフィックを節約します。 Graniteはどちらにしても別の請求を支払います。 そのMamba-2層は一定の再帰状態を保持しますが、混在する少数のアテンション層は依然として増加するキャッシュを蓄積し、それが弱いメモリサブシステムが最も厳しく罰するモデルの部分です。 制約されたハードウェアは、Mellum-2の配置がすでに優位だった軸をまさに露呈させます。

測定条件

このチップでは、llama.cppのビルドがハードウェアよりも重要です。 同じStrix Halo APU、同じモデル、プロンプト、コンテキストでのprefillは、あるllama.cppビルドで316 tok/s、別のビルドで1,414 tok/sと測定され、ビルドだけで4.5倍の変動がありました。 より速いビルドでは、このAPU上のROCmはVulkanを上回ります（1,414対1,187 tok/s）。 このセクションのすべてのStrixの数値は、より速いビルド（b10143）によるものです。 ビルドをまたいだ比較は、2つの異なるものを比較していることになります。

コーディング、そして量子化の判断

Mellum-2はエージェント型開発向けに設計されたため、コーディング性能はより詳しく調べられました。 Mellum-2 InstructのQ4_K_MはHumanEval+ で0.884 pass@1を記録します（EvalPlus、n=164、貪欲法デコード、実行検証済み）。 これは ~2.4Bアクティブのモデルとしては競争力のあるコーディング結果です。 テストした両量子化レベルで、関数呼び出しと構造化出力のチェックをきれいに通過します。

量子化の判断は単純です。 Q8_0ビルドは同じコーディングベンチマークで0.872、Q4_K_Mビルドは0.884です。 これはより小さい量子化の真の品質向上ではなくノイズですが、より大きいビルドを実行する測定上の品質理由がないことを確認します。 Q4_K_Mは実質的なフットプリント優位を保ちます。 常駐で約9.0 GB対Q8_0の約13.75 GB（32Kコンテキスト時）です。 品質が引き分けでVRAMが意味的に異なるため、4ビットビルドが賢明なデフォルトです。

エネルギー

Mellum-2 Instruct Q4_K_Mは、持続的なデコード負荷下で約0.58トークン/ワットと測定され、同じ実行を通じてカードごとに消費電力とジャンクション温度とともにサンプリングされました。 64Kコンテキストでの約11 GBのVRAMフットプリントと合わせて、バックグラウンドの取り込みパイプラインで継続的に実行するのに安価です。

長いコンテキスト: スペックの数値ではなく、緩やかな天井

Mellum-2の公称コンテキストは131,072トークンです。 RULERスタイルのニードルインヘイスタックのスイープが実際に示すものは、4K、32K、128Kで実行して次のとおりです。

検索品質は長さとともに緩やかに劣化します。 単一事実の検索は128Kまで本質的に完璧なままですが、複数の事実を組み合わせて相互参照することは、32Kでの90% の信頼性から128Kでのコイントスに落ちます。 このモデルでの多事実検索作業の正直な天井は、スペックシートの131Kという数字ではなく、およそ32Kです。

同じスイープのもう1つのタスク、多段階の変数追跡演習（variable_track）は、4Kのコントロール長で0.225、32Kで0.175、128Kで0.25を記録しました。 入力長の32倍の範囲にわたって平坦かつ低いままです。 これはコンテキスト長の効果ではありません。入力が短くても長くても同じように失敗するタスクは、コンテキスト劣化ではなく推論の下限を測定します。

これがMellum-2をどこに残すか

Mellum-2は主にエージェント型ソフトウェア開発ワークフロー向けに訓練されており、その実行検証済みのコーディングとツール使用の能力は、約2.4Bのアクティブパラメータ数としては堅実です。 しかし、そのスライディングウィンドウアテンション配置により、prefillスループットとメモリフットプリントが運用上の拘束条件となるRAGパイプラインにとって、驚くほど効果的な候補になります。

Granite-4.0-H-Small Q4_K_Mから生成器の役割を完全に奪ったわけではありません。 ハードウェアに応じてノート分類で0.067から0.089を譲ります。 これは実際の品質コストであり、ディスクリートGPUとAPUの両方でGraniteに有利に傾きます。 しかし、エージェント型ゲート判断では、買い戻すコストはありません。 ディスクリートハードウェアでは完全な同点であり、APUではMellum-2が +0.122のリードです。

そのトレードが買うものは、約14.5 GB少ないVRAM（25.5 GBから ~11 GBへ）、ディスクリートGPUで2.7倍、APUで3.7倍に広がるprefillスループット、そしてリクエストあたり2倍から4倍以上低いレイテンシです。 運用上の優位は制約されたハードウェアで縮むどころか、大きくなります。

Granite-4.0-H-Small Q4_K_Mは、純粋な分類品質が主要な変数でありVRAMが潤沢な場合、より安全なデフォルト生成器であり続けます。 Mellum-2 Q4_K_Mは、メモリフットプリントが厳しい場合、prefillレイテンシが支配的な場合、またはハードウェアフットプリントが制約されている場合に手を伸ばすべきモデルです。