古いiPadやメモリ1GBの小型端末でも160億パラメータのAIをローカルで動かせる無料ツール「smolmaxxing」が登場

古いタブレットや小型デバイスでもAIモデルを動かせるようにするオープンソースプロジェクト「smolmaxxing」が公開されました。メモリ容量が限られた端末でもAIモデルを実行できるようにするもので、2013年発売の初代iPad Airや小型のテレビ用端末で動作が確認されています。

AIモデルを端末上で直接動かす「ローカルAI」はインターネット接続なしでもAIを利用できるのが特徴です。一方で、高性能なAIモデルほど大量のメモリが必要になるため、古いスマートフォンやタブレットでは動作させるのが難しいという課題があります。

smolmaxxingはローカルAIの実行に使われる既存のソフトウェア「llama.cpp」を改良し、限られたメモリでも大きなAIモデルを動かせるようにするプロジェクト。開発者は小型デバイスに合わせた最適化を行い、実験結果や改良したプログラムをGitHubで無料公開しています。

実験に使用されたのはメモリ容量1.9GBの「Xiaomi TV Box S(第3世代)」とメモリ容量1GBの初代「iPad Air」です。なお、初代iPad Airでの実行にはiOSの制限を解除する「脱獄」が必要とのこと。

Xiaomi TV Box Sでは20億パラメータの「Qwen3.5-2B」を毎秒7.7トークンで動かすことに成功。さらに160億パラメータの「Ling-mini-2.0」も毎秒5.1トークンで動作しています。また初代iPad Airでは約17億パラメータの「Bonsai-1.7B」を毎秒23.7トークンで動かすことに成功したほか、Ling-mini-2.0も毎秒4.5トークンで動作したとのこと。

メモリの少ない端末で大きなAIモデルを動かすため、smolmaxxingでは使用頻度の高いデータをメモリに保存し、残りのデータをストレージから必要に応じて読み込むことでメモリ消費量を抑えています。さらにCPUに合わせた処理の最適化なども行い、限られた性能を活用しているというわけです。

AIモデルの動作速度はモデルの構造によっても大きく変わるとのこと。例えばXiaomi TV Box Sでは90億パラメータの「Qwen3.5-9B」が毎秒0.27トークンにとどまっており、開発者は速度と品質のバランスが優れたモデルとしてQwen3.5-2Bを挙げています。

smolmaxxingのプログラムや実験結果はGitHubで公開されており、最適化されたAIモデルはHugging Faceから入手できます。開発者はHacker Newsで約160回の実験を重ねたと説明しており、今後はスマートフォンやルーターなど、さらに幅広いデバイスでの動作を目指しているとのことです。

新型AI「Apple Foundation Models」は何がスゴいのか？iPhone上で200億パラメーターのマルチモーダルモデル「AFM 3 Core Advanced」を動作させる画期的な仕組み - GIGAZINE

iPhone 17 Proで270億パラメータのAI「Qwen3.6-27B」が動作、AppleはPrismMLと圧縮技術の活用を協議か - GIGAZINE

GoogleがスマホやノートPCでAIをローカル実行するための省メモリ化技術「QAT」をGemma 4に導入、Gemma 4 E2Bがわずか0.84GBのメモリで動作 - GIGAZINE

iPhoneでローカル実行可能な270億パラメータのAIモデル「Bonsai 27B」が登場、Qwen3.6-27Bをメモリ使用量3.9GBまで小型化してスマホ単体で実用的な速度で動作 - GIGAZINE

MetaがGPT-4超えのAIモデル「Llama 3.1」をリリース

Microsoftが1.58ビットの大規模言語モデルをリリース、行列計算を足し算にできて計算コスト激減へ

軽量な視覚言語モデル「LFM2.5-VL-3B」にDSparkのドラフトモデルを適用して爆速化した「LFM2.5-VL-3B-DSpark」が登場

You can read the machine translated English article A free tool called 'smolmaxxing' has eme… .

本文の著作権はGigazineにあります。