DGX SparkでローカルLLMを使い分ける――NVIDIA Agentic AI Day Japan 2026から
NVIDIA Agentic AI Day Japan 2026で見えた「モデルの使い分け」
2026年11月10日、東京でNVIDIA Agentic AI Day Japan 2026が開催された。10セッションとハンズオン(Build-a-Claw)を通して繰り返し出てきたテーマは、エージェント型AIを「1つの大きなモデル」ではなく「タスクごとに適したモデルの使い分け」で成立させる、という方向性だった。
発表のうち、日本の開発者に関わりが深そうなものを拾う。
- 日本語向け合成データセット2種:金融ドメインのペルソナ生成用「Nemotron Personas Finance Japan」と、日本語文書のPII(個人情報)検出・マスキング学習用の「Nemotron PII Japan」。後者は実在の個人情報を使わずに学習データを合成するもので、機密データを扱う業務のローカル化と相性がいい。
- スクウェア・エニックス:Nemotronをローカルで動かし、MCP経由でUnrealEngineやBlenderを操作する事例。モデルを使い分けるルーティングの検証結果も紹介された。
- クラスメソッド:追加学習したNemotronとNeMo SwitchyardをDGX Spark上で組み合わせたLLMルーティングの実践。教師データの設計、量子化、判定精度の評価まで含めた「運用」の話だった。
- NEC:NeMo Relayで軽量なNemotron 3.5 Lightningをファインチューニングし、高精度と低コストの両立を狙う事例。
- Ippu Senkin:インターネットに接続しない完全オンプレミス環境で、オープンソースモデルのエージェントを運用する事例。
筆者の現場:DGX Spark互換機で30Bモデルを回してみて
筆者も、自宅LAN上のDGX Spark互換機にOllamaでローカルモデル(Muse-Glimmer-30B)を載せ、使い道を模索しているところだ。イベントで語られた「使い分け」の前に、単一モデルをエージェントとして動かす段階で、すでにいくつか壁がある。
- 生成速度:Glimmer-30Bはdenseなモデルのため、体感速度は遅め。プロンプトの読み込み(Prompt Eval Rate)は高いが、生成側(Eval Rate)が低く、長文の応答では待ち時間が目立つ。
- ツール呼び出しの並列実行ができない:ツールの並列呼び出しをテストしたところ失敗した。Glimmer-30Bに限らず、gpt-oss、granite、qwen3.6:35bでも同じ結果で、1応答にツールは1件ずつしか出さない。エージェントの処理は逐次実行にならざるを得ず、ステップ数の多いタスクでは速度低下が直撃する。
つまり現状のローカルモデルは、「ルーティングで使い分ける」以前に、「1つのモデルでエージェントを回す」こと自体の制約と向き合う段階にある。イベントの事例が示す方向(特化型モデルの追加学習、ルーティング、量子化による高速化)は、この制約への回答として読むと具体的だ。
気になった手法:収集データで軽量モデルを特化させる
事例の中で筆者が一番気になったのは、NECの進め方だ。軽量モデル(NVIDIA Nemotron 3.5 Lightning)を、手元の収集データでファインチューニングして特定タスクに特化させるという手法である。
汎用の30Bモデルは守備範囲が広い反面、denseな分だけ生成が遅い。対して、用途が定型処理に絞れるなら、小さなモデルを自分のデータで特化させたほうが、速度と精度の両方で勝てる可能性がある。たとえば筆者が試しているカード経費の仕分けのような処理は、入力と判断のパターンがある程度決まっている。試運転で蓄積される「明細と正しい仕分け結果」のペアは、そのまま特化学習の教師データになり得る。
「大きな汎用モデルを1つ置く」から「小さな特化モデルを育てる」へ。ローカル運用の現実的な落としどころは、この方向ではないかと感じている。
完全オフラインは強み。ただし精度が課題
Ippu Senkinの完全オンプレミス事例には、筆者にも実感がある。GB10を使って、完全オフラインで顧客の業務をサポートするAIエージェントのサンプルを作ったことがある。業務データを外に出さずに済む完全オフラインは、それ自体が顧客にとっての強みになる。
ただし、出来は点数にして60点から70点といったところだった。いろいろなLLMを試したが、決め手に欠けるものが多い。オフラインで動くことと、業務に耐える精度が出ることは別で、後者がいまの課題だと感じている。
この精度の壁に対しても、前節の「軽量モデルを収集データで特化させる」方向は一つの回答になり得る。汎用モデルの物足りなさを、タスク特化で埋める進め方だ。
まとめ
「モデルの使い分け」は、クラウドの大規模モデルだけの話ではない。手元の30Bモデルでも、生成速度とツール呼び出しという基本性能の制約が先に立ち、その先にルーティングや特化型モデルという選択肢が見えてくる。筆者は当面、用途の模索を続けながら、この制約がどこまで解消されるかを追っていく。