ggml 轻量模型推理库

开源，活跃开发阶段，开发社区不断壮大。ggml 和 PyTorch、TensorFlow 等机器学习库比较相似，但由于目前处于开发的早期阶段，一些底层设计仍在不断改进中。

相比于 llama.cpp 和 whisper.cpp 等项目，ggml 也在一直不断广泛普及。为了实现端侧大语言模型推理，包括 ollama、jan、LM Studio 等很多项目内部都使用了 ggml。

相比于其它库，ggml 有以下优势:

1. 最小化实现: 核心库独立，仅包含 5 个文件。如果想加入 GPU 支持，可自行加入相关实现，这不是必选的

2. 编译简单: 不需要花哨的编译工具，如不需 GPU，单纯 GGC 或 Clang 就可以完成编译

3. 轻量化: 编译好的二进制文件不到 1MB，和 PyTorch (需要几百 MB) 对比实在是够小了

4. 兼容性好: 支持各类硬件，包括 x86_64、ARM、Apple Silicon、CUDA 等

5. 支持张量的量化: 张量可以被量化，以此节省内存，有些时候甚至还提升了性能

6. 内存使用高效到了极致: 存储张量和执行计算的开销是最小化的

ggml 缺点 ggml行开发，需要了解 (后续可能会改进):

• 并非任何张量操作都可以在你期望的后端上执行。比如有些 CPU 上可以跑的操作，可能在 CUDA 上还不支持

• ggml 开发可能没那么简单直接，因为这需要一些比较深入的底层编程知识

• 该项目仍在活跃开发，有可能会出现比较大的改动