Llama.cpp

Llama.cpp

Інтерфейс llama-server
Тип	бібліотека і command-line toold
Операційна система	Linux, macOS, Windows і FreeBSD
Мова програмування	C++, C і Python
Ліцензія	MIT
Репозиторій	https://github.com/ggerganov/llama.cpp, https://github.com/ggml-org/llama.cpp

llama.cpp — проєкт з відкритим вихідним кодом для швидкого та ефективного інференсу (виконання) великих мовних моделей (LLM), написаний на чистому C/C++ без використання зовнішніх залежностей. Головною метою проєкту є досягнення найвищої продуктивності інференсу з мінімальними налаштуваннями на широкому спектрі апаратного забезпечення — як локально, так і у хмарному середовищі.

Збірка та встановлення

llama.cpp можна встановити за допомогою готових бінарних файлів, через Docker-контейнери, менеджери пакетів (brew, nix, winget) або зібрати з вихідного коду. Основним інструментом збірки виступає CMake.

Екосистема та інструменти

Разом із основною бібліотекою постачається декілька пов'язаних інструментів:

• llama-cli — утиліта командного рядка для експериментів з моделями. Підтримує режим діалогу, роботу з кастомними шаблонами та генерацію тексту із суворими обмеженнями формату за допомогою граматик (наприклад, генерація чистого JSON).
• llama-server — легкий HTTP-сервер, сумісний з OpenAI API та Anthropic Messages API. Сервер має багатокористувацьку підтримку, здійснює паралельне декодування, безперервне пакетування (continuous batching), спекулятивне декодування та містить вбудований вебінтерфейс (Web UI). Також підтримується виклик зовнішніх інструментів (function calling / tool use).
• llama-bench — інструмент для бенчмаркінгу — вимірювання продуктивності моделі за різних параметрів.
• llama-perplexity — утиліта для оцінки якості згенерованого тексту та моделі, що вимірює перплексію і дивергенцію Кульбака-Лейблера (KL divergence).