vLLM
Высокопроизводительный движок инференса LLM с OpenAI-совместимым сервером для NVIDIA, AMD, Intel, TPU и CPU.
- Лицензия
- Apache-2.0
- Платформы
- Linux, Docker, CLI
- Свои ключи
- Да
- Проверено
- 2026-09-24
vLLM работает с OpenAI-совместимыми API. Возьмите бесплатный ключ и модель из каталога: для кода · для агентов · провайдеры и base URL
Альтернативы vLLM
Популярная среда для загрузки и запуска открытых LLM локально: CLI, десктоп-приложение, REST и OpenAI-совместимый API.
Десктоп-приложение для поиска, загрузки и запуска локальных LLM (llama.cpp, MLX) с чатом и локальным OpenAI-совместимым сервером.
Офлайн-альтернатива ChatGPT: локальные LLM, облачные API, MCP и OpenAI-совместимый API на localhost.
Эталонный C/C++ движок для GGUF-моделей; llama-server даёт OpenAI-совместимый API и веб-интерфейс на CPU, CUDA, Metal, Vulkan и ROCm.
Своя замена API OpenAI/Anthropic для LLM, изображений, аудио, видео и эмбеддингов на CPU или GPU.
Однофайловый раннер на llama.cpp с интерфейсом KoboldAI Lite; API в стиле OpenAI/Ollama, генерация изображений, Whisper и TTS.
Частые вопросы
vLLM бесплатный?
Полностью бесплатный open-source, но нужно своё железо — обычно серверный GPU.
Работает ли vLLM с бесплатными моделями?
Да. Программа поддерживает свои ключи и OpenAI-совместимые API, поэтому к ней подключаются бесплатные модели OpenRouter, Groq, NVIDIA Build или локальный Ollama.
Какая лицензия у vLLM?
Apache-2.0. Исходный код открыт.