無料でJev互換の小型高速意思決定モデル「Jeff」、ローカル環境で約22～28ミリ秒と爆速
10 時間前
ChatGPTの共同開発者であるがディオゴ・アルメイダ氏がCEOを務めるTypeSafe AIが開発した、意思決定モデルの「 Jev 」と同じように、リクエスト形式でコードに組み込むことができる小型の意思決定モデルが「 Jeff 」です。 RTX PRO 6000 の場合は1回の意思決定当たり約22ミリ秒、 Appleの M4 Max の場合は1回の意思決定当たり約28ミリ秒で動作可能です。
GitHub - firelex/jeff: Fine-tunes of Qwen3.5 and Gemma 4 for zero-shot classification · GitHub
Jevと同じリクエスト形式でコードに組み込むことができるという、小型で高速な意思決定モデルが「Jeff」です。 ゼロショット分類 を用いることで、分類項目ごとのトレーニングなしでも選択肢の中から答えを選ぶことが可能とアピールされています。
ローカル環境で動作可能な小型モデルであり、パラメーターサイズ8億のモデルならRTX PRO 6000搭載PCで1判断当たりわずか22ミリ秒、M4 Max搭載Macでも1判断当たりわずか28ミリ秒で意思決定を行うことが可能。
Jeffは「Qwen3.5 0.8B」「Qwen3.5 2B」「Gemma 4 E2B」をベースに追加学習した3種類が存在。コードは MITライセンス 、モデルの重みは Apache 2.0 で公開されています。
mstrasser/Jeff-Qwen3.5-0.8B · Hugging Face
mstrasser/Jeff-Qwen3.5-2B · Hugging Face
Jevのトレーニングは1台のRTX PRO 6000を搭載したワークステーション上で行われており、パラメーターサイズ8億のモデルの場合はトレーニングにかかる時間が約2時間、20億のモデルでも約3時間半です。
トレーニングデータは2台のDGX Spark上で動作するオープンモデルの Qwen3.8-Flash-Next で書き込まれており、テストはMacBookで行われました。クラウドGPUは使用しておらず、トレーニングデータにクローズドモデルの出力は含まれておらず、クローズドモデルはトレーニングデータのサンプル品質チェックにのみ利用されています。
以下のグラフは、Jevと3種のJeffを複数のベンチマークで比較した結果をまとめたもの。実行したベンチマークは、高度な論理推論能力や多段階の思考能力を測定するベンチマークの「BIG-Bench Hard(BBH)」、金融および経済テキストの感情分析能力を測定するためのベンチマーク「Financial PhraseBank」、AIの能力を客観的かつ厳格に測定するためのベンチマーク「JudgeBench」、AIのハルシネーション(幻覚)をどれだけ正確に検知できるかを測定するベンチマーク「RAGTruth」、常識的な推論能力を測定するためのベンチマーク「WinoGrande」、Jevの開発元であるTypeSafe AIが作成した意思決定モデル向けのベンチマークである「JevBench」です。「Overall」は「JevBench」以外の5つのベンチマークをまとめた総合評価をスコア化したもの。
ベンチマークの種類によっては、JeffはJevに匹敵するパフォーマンスを発揮しています。ただし、JeffのREADMEでは「Jevはより大きなモデルで動作するため、推論パフォーマンスでは及びません」と説明されており、Jeffが推論を行わないという点が強調されています。また、「小型モデルは迅速かつ的確に意思決定を行うためのものです。このくらいのパラメーターサイズのモデルはどれも多段階の推論を期待すべきではありません」とも記しました。
この他、パラメーターサイズが20億のモデルは、8億のモデルよりもゲームをプレイする際の意思決定パフォーマンスが劣っており、これは「リスク回避傾向が強いため」と開発者は説明しています。ただし、この点についてはさらなる調査が必要とも説明しました。
なお、JeffはJevとの互換性がアピールされていますが、Jevの開発元であるTypeSafe AIとは一切関係がなく、同社による承認も受けていません。トレーニングコードはオープンソースの AutoJev をベースに作成されています。
Jevのような意思決定モデルは他にも登場しており、Qwen3.5およびQwen3.8をベースに作成された意思決定モデルの「Kev」なるものも登場しています。
GitHub - jaredpalmer/kev: Jev-like family of decision models built on top of Qwen3.5/3.8 you can train and run on your own · GitHub
ChatGPT共同開発者がLLMとは異なる方法で処理するAIモデル「Jev」を開発、GPT-5.6 Terra級の性能でタスクを安価かつ超高速に実行可能 - GIGAZINE
スマホで動作するエージェント対応小型AIモデル「LFM2.5-2.6B」が登場、ローカル環境でAIエージェントを実行可能
Ciscoが脆弱性の場所を特定する小型AI「Antares」を公開、GPT-5.5級の性能を低コストで実現
ChatGPT共同開発者がLLMとは異なる方法で処理するAIモデル「Jev」を開発、GPT-5.6 Terra級の性能でタスクを安価かつ超高速に実行可能
You can read the machine translated English article Jeff, a free, compact, and fast decision… .
本文の著作権はGigazineにあります。