### [llmfit：一条命令，算出哪些大模型能在你的电脑上跑起来](https://www.willai.cc/article/4206)

**Published:** 2026-07-22T18:54:24

**Author:** hiyoho

**Excerpt:** 想在本地跑大模型，却总被「这张显卡能不能带得动？」「选哪个量化档位？」劝退？llmfit 把这道难题变成了一条命令：它自动检测你的内存、CPU、GPU，再为目录里数百个模型和提供商打分，直接告诉你哪些模型能在你的机器上流畅跑起来。下方动图就

![llmfit TUI 演示](https://admin.hiyoho.com/wp-content/uploads/2026/07/llmfit_demo.gif)

想在本地跑大模型，却总被「这张显卡能不能带得动？」「选哪个量化档位？」劝退？**llmfit** 把这道难题变成了一条命令：它自动检测你的内存、CPU、GPU，再为目录里数百个模型和提供商打分，直接告诉你**哪些模型能在你的机器上流畅跑起来**。下方动图就是它的交互式 TUI——硬件规格在顶部，下面是所有模型按「适配度」实时排名。

## 📌 项目简介

**llmfit** 是一款用 Rust 编写的终端工具，能根据系统的 RAM、CPU 与 GPU 自动「量体裁衣」地为 LLM 模型选型；它会检测硬件、对每一个模型从_内存适配、速度估算、模型质量、上下文长度_四个维度打分，并输出真正能在你机器上跑得动的推荐清单。默认提供交互式 TUI，也支持经典 CLI 模式，兼容多 GPU、MoE 架构、动态量化，以及 Ollama / llama.cpp / MLX / Docker Model Runner / LM Studio 等本地运行时。

## 🛠 安装要求和过程

**环境要求：**

-   预编译二进制，**无需安装 Node.js / Python 运行时**，开箱即用；
-   支持 Windows / macOS / Linux，跨平台一致；
-   可选：本地运行时（Ollama、llama.cpp、MLX、Docker Model Runner、LM Studio）用于实测与部署；
-   从源码构建需要 Rust 工具链（`cargo`）。

**快速安装（任选其一）：**

```
# macOS / Linux（Homebrew 预编译二进制，推荐）
brew install AlexsJones/llmfit/llmfit

# Windows（Scoop）
scoop install llmfit

# 一行脚本安装（无 sudo 时落到 ~/.local/bin）
curl -fsSL https://llmfit.axjns.dev/install.sh | sh

# Python 生态（uv / pip）
uv tool install -U llmfit      # 或 pip install llmfit

# Docker / Podman（直接出 JSON 推荐）
docker run ghcr.io/alexsjones/llmfit

# 从源码构建
git clone https://github.com/AlexsJones/llmfit.git && cd llmfit && cargo build --release
```

**跑起来：**

```
llmfit            # 进入交互式 TUI，看硬件 + 全模型排名
llmfit fit        # 命令行表格：所有模型按适配度排名
llmfit recommend --json   # 以 JSON 输出 Top 推荐（供脚本 / Agent 消费）
llmfit info "qwen2.5:7b"  # 单个模型的适配分析与估算依据
llmfit bench      # 对你的运行时实测 tok/s 与首字延迟
llmfit doctor     # 输出硬件检测报告（用于反馈问题）
```

## ✨ 核心功能

![llmfit 工作流程](https://admin.hiyoho.com/wp-content/uploads/2026/07/llmfit_infographic_workflow.png)

1.  **硬件自动检测 + 四维评分：**读取 RAM / CPU / GPU·VRAM 与本地后端，对目录里数百个模型按「内存适配、速度估算、模型质量、上下文长度」四维打分，并公开每个分数的输入依据，`llmfit info` 可逐项核查。
2.  **TUI 交互 + CLI 脚本化：**默认 TUI 实时排名、规划、模拟下载并接入社区榜单；同时提供 `fit` / `recommend --json` / `info` 等子命令，方便被脚本、CI 与 AI Agent 调用。
3.  **多 GPU、MoE 与动态量化：**支持多卡配置与 MoE 架构（按激活参数而非总量估算显存），并会根据你的硬件动态选择最优量化档位（如 Q4 / Q8）。
4.  **本地运行时全覆盖：**原生对接 Ollama、llama.cpp、MLX、Docker Model Runner、LM Studio，推荐结果可直接落地运行。
5.  **实测众包（benchmark & share）：**在你机器上实测 tok/s，结果先存本地、再一键以 PR 贡献回社区，让同型号硬件的人拿到「已验证 ✓」的真实数字。

## 🎯 典型使用场景

![llmfit 四大评分维度](https://admin.hiyoho.com/wp-content/uploads/2026/07/llmfit_infographic_dimensions.png)

-   **本地部署前选型：**拿到一台新笔记本 / 显卡，先跑 `llmfit` 看 7B / 14B / 32B 甚至 70B 谁能在你的显存和内存里跑、大概多快，避免「下了 3 小时发现跑不起来」的尴尬。
-   **自动化流水线 / AI Agent：**在部署脚本或 Coding Agent 里调用 `llmfit recommend --json --use-case coding`，根据当前主机规格自动挑选可运行的编码模型，做到「按机器适配」而非写死模型名。
-   **硬件升级决策：**想加内存还是换显卡？用 `llmfit info` 对比不同配置下目标模型的适配与速度估算，量化升级带来的收益再下单。

## 💡 推荐理由

本地跑大模型最让人头大的就是「选型玄学」——参数规模、量化、上下文、显存、内存交织在一起，靠经验猜十次翻车八次。llmfit 把这件事变成了**可解释、可验证**的工程问题：它不只给结论，还把每个估算的输入摊开给你看，并鼓励你用真实 benchmark 反哺社区。Rust 编写的单文件二进制启动极快、零运行时依赖，TUI 好看、CLI 好接，是个人本地 AI 实验室和企业内网「该跑哪个模型」决策的贴心小助手。30K+ Star、MIT 协议、隐私默认（不联网不上传），值得收藏。

## 🔗 下载地址

-   **GitHub：**[github.com/AlexsJones/llmfit](https://github.com/AlexsJones/llmfit)（⭐ 30.4K · Rust · MIT）
-   **官网 / 文档：**[llmfit.axjns.dev](https://llmfit.axjns.dev)
-   **Crates.io：**[crates.io/crates/llmfit](https://crates.io/crates/llmfit)
-   **快速安装：**`brew install AlexsJones/llmfit/llmfit` 或 `curl -fsSL https://llmfit.axjns.dev/install.sh | sh`

**Tags:** AI, AI开源项目, LLM, llmfit, Rust, 大模型, 开发者工具, 开源, 本地优先, 本地大模型

**Categories:** 开源项目

---