llama.cpp
本地跑大模型的底层引擎，很多软件都靠它
开源133k
去项目主页下载GitHub 项目页github.com
介绍
用 C/C++ 写的大模型运行引擎，对普通电脑很友好，没有显卡也能跑小模型。Ollama、LM Studio 这类软件底层都用到了它。自己直接用时，可以在命令行里启动，或者开一个自带网页界面的本地服务。
好用的地方
- 对硬件要求低，苹果芯片、普通 CPU、各种显卡都支持
- 运行速度快，占用小
- 可以开出兼容 OpenAI 的本地接口，让别的软件调用
不足
- 直接用要敲命令，对新手不友好
- 想要图形界面，用 Ollama 或 LM Studio 更省事
- 协议
- MIT
- 平台
- Win / Mac / Linux
- 中文界面
- 无，只有英文
- GitHub
- 133k star
