ローカルAI / MoE / オープンソース
colibrìはなぜGLM-5.2 744Bを25GB RAMで動かせるのか
colibrì（コリブリ）は、巨大なMoEモデルの全データをRAMへ載せず、必要なエキスパートをSSDから読み込む軽量ランタイムです。25GB RAMで「起動できる」理由と、実際に試す前に知るべき速度・容量・環境条件を整理します。
先に結論：25GBで動くが、軽快とは限らない
公式README自身が「速くない」と明記しています。25GB RAMの検証機では、キャッシュが冷えた状態で1トークンに10秒以上かかる場合があります。研究・検証には面白い一方、毎日の高速チャットだけが目的なら、より小さなモデルやAPIの方が現実的です。
colibrìとは
colibrìは、GLM-5.2などのMoEモデルを、VRAM・RAM・ストレージを一つのメモリ階層として扱って実行するランタイムです。実行エンジンはCで書かれ、通常実行にPythonやGPUを必須としません。ランタイムはApache License 2.0、GLM-5.2と配布中の変換済みモデルはMITライセンスとして案内されています。
精度を勝手に落としてメモリ不足を隠す設計ではなく、速いメモリが少なければ速度が下がる、という分かりやすい交換条件を採っています。
744Bを約25GB RAMで動かす3段階
常駐部分
Attention、共有エキスパート、埋め込みなど約17Bパラメータをint4化し、約9.9GBをRAMに置きます。
SSD上のエキスパート
19,456個のルーティング対象エキスパート、合計約370GBをSSDに保存します。
必要時に読む
各トークンで選ばれたエキスパートだけを読み、LRUキャッシュやホットストアで再利用します。
GLM-5.2はMoE方式で、総パラメータ744Bの全てを毎トークン使うわけではありません。公式説明では有効になるのは約40Bで、そのうちトークンごとに変わるルーティング対象は約11GBです。この性質を利用し、大容量RAMや多数のGPUの代わりにSSD読み込みを使います。
必要なPC環境
| 項目 | 公式情報 | 実用上の見方 |
|---|---|---|
| OS | Linux、WSL2、Windows 11ネイティブ、Apple Silicon Mac対応 | 環境ごとにビルド手順が異なる。初心者はコマンド操作が必要 |
| CPU | x86-64はAVX2対応が基本 | 古いCPUでは条件を満たさない場合がある |
| RAM | モデル配布ページは16GB以上、25GB検証例あり | OSや他アプリを考えると余裕が必要。スワップ回避が重要 |
| ストレージ | 約400GBの空きがある高速NVMe | モデル本体は約370GB。更新・変換・作業領域も考える |
| GPU | 必須ではない。CUDAの任意階層あり | GPUなしでも動くが、速度はSSDとCPUに強く左右される |
公式の速度をどう読むか
公式READMEの25GB RAM・12コア・WSL2・NVMe検証では、起動約30秒、ピークRSS約20GB、コールド時のディスク読み込み約11GB/トークン、生成速度約0.05～0.1 token/秒とされています。キャッシュ、頻出エキスパートの固定、MTP投機的デコードで改善する余地はありますが、PC構成とプロンプトで結果は変わります。
| 状態 | 起きること | 判断 |
|---|---|---|
| 初回・コールド | 必要なエキスパートをSSDから大量に読む | 応答はかなり遅い |
| キャッシュが温まる | よく使うエキスパートをRAMなどから再利用 | 同系統の処理は改善しやすい |
| 大容量RAM・複数GPU | より多くのエキスパートを高速層に置ける | 速度は上がるが家庭用低コストの前提から離れる |
導入の基本手順
LinuxまたはWSL2で、公式が案内する変換済みモデルを使う基本形です。約400GBをダウンロードするため、回線・保存先・利用規約を先に確認します。
git clone https://github.com/JustVugg/colibri
cd colibri/c
./setup.sh
hf download mateogrgic/GLM-5.2-colibri-int4-with-int8-mtp --local-dir /nvme/glm52
COLI_MODEL=/nvme/glm52 ./coli doctor
COLI_MODEL=/nvme/glm52 ./coli plan
COLI_MODEL=/nvme/glm52 ./coli chatdoctorはモデル、RAM、実行ファイル、配置計画を読み取り専用で確認します。先にplanでRAM・VRAM・ディスクの割り当てを確認し、無理な設定でスワップを起こさないことが重要です。
SSDは壊れやすくなる？
colibrìのエキスパート配信は基本的に読み取り中心です。公式READMEは、読み取り自体によるSSD摩耗よりも、RAM不足で発生するスワップ書き込みと、長時間の連続読み取りによる温度上昇を現実的な注意点に挙げています。
避けたい状態
- 空きRAMが少ないまま大きなキャッシュを指定する
- OSドライブの空き容量をぎりぎりまで使う
- 冷却が弱いSSDを高温のまま長時間連続使用する
確認する項目
coli doctorの警告- スワップ使用量と空きRAM
- NVMeの温度、健康状態、空き容量
向いている人・向かない人
| 向いている | 向かない |
|---|---|
| MoEの階層実行を検証したい | クリックだけで簡単に使いたい |
| 大規模モデルをローカルで研究したい | すぐ返事が来る日常チャットが欲しい |
| 400GB級NVMeとコマンド操作環境がある | SSD容量や通信量に余裕がない |
| 速度よりローカル実行そのものに価値を感じる | 業務SLAや安定した高速応答が必要 |
ローカル実行でも安全確認は必要
ただし、ソースコードと約370GBのモデルデータを外部から取得して実行します。リポジトリURL、配布元、ライセンス、更新履歴、ハッシュや署名の有無を確認し、重要データのある業務PCでは隔離環境から試してください。OpenAI互換APIを外部公開する場合は、公式案内どおりAPIキーと接続範囲を設定します。
よくある質問
本当に25GB RAMだけで744Bモデルが動きますか？
公式検証例では動作しています。ただしモデル本体約370GBを高速NVMeへ置き、必要部分を読み込む方式です。25GBだけで全モデルを保持しているわけではありません。
16GB RAMでも使えますか？
配布モデルの要件には16GB以上とありますが、OSや他アプリの使用量を含めると余裕は小さくなります。まずcoli doctorとcoli planで安全な配置を確認します。
Windowsでも動きますか？
WSL2に加え、現在の公式READMEにはWindows 11ネイティブのMinGW-w64向け手順があります。Windows版はツールチェーンの準備が必要です。
OllamaやLM Studioで使えますか？
配布されるcolibrì用コンテナはGGUF、AWQ、GPTQ、MLXではなく、colibrìエンジン専用です。
GPUは必要ですか？
必須ではありません。GPUなしでも実行できますが、頻出エキスパートをVRAMに置く任意のCUDA階層も用意されています。
関連ページ
確認した一次情報
仕様と手順は更新される可能性があります。実行前に最新のREADME、モデルカード、ライセンスを確認してください。