llama.cpp
Эталонный C/C++ движок для GGUF-моделей; llama-server даёт OpenAI-совместимый API и веб-интерфейс на CPU, CUDA, Metal, Vulkan и ROCm.
- Лицензия
- MIT
- Платформы
- Windows, macOS, Linux, Docker, CLI
- Свои ключи
- Да
- Проверено
- 2026-09-24
llama.cpp работает с OpenAI-совместимыми API. Возьмите бесплатный ключ и модель из каталога: для кода · для агентов · провайдеры и base URL
Альтернативы llama.cpp
Популярная среда для загрузки и запуска открытых LLM локально: CLI, десктоп-приложение, REST и OpenAI-совместимый API.
Десктоп-приложение для поиска, загрузки и запуска локальных LLM (llama.cpp, MLX) с чатом и локальным OpenAI-совместимым сервером.
Офлайн-альтернатива ChatGPT: локальные LLM, облачные API, MCP и OpenAI-совместимый API на localhost.
Высокопроизводительный движок инференса LLM с OpenAI-совместимым сервером для NVIDIA, AMD, Intel, TPU и CPU.
Своя замена API OpenAI/Anthropic для LLM, изображений, аудио, видео и эмбеддингов на CPU или GPU.
Однофайловый раннер на llama.cpp с интерфейсом KoboldAI Lite; API в стиле OpenAI/Ollama, генерация изображений, Whisper и TTS.
Частые вопросы
llama.cpp бесплатный?
Полностью бесплатный open-source без аккаунтов, API-ключей и лимитов.
Работает ли llama.cpp с бесплатными моделями?
Да. Программа поддерживает свои ключи и OpenAI-совместимые API, поэтому к ней подключаются бесплатные модели OpenRouter, Groq, NVIDIA Build или локальный Ollama.
Какая лицензия у llama.cpp?
MIT. Исходный код открыт.