Repolode
Предложить
mozilla-ai

mozilla-ai/llamafile

Распространяет и запускает открытые LLM в виде одного исполняемого файла, который работает в большинстве операционных систем и на большинстве архитектур CPU без установки.

Open source альтернатива:Ollama

Открыть на GitHubСайт
Звёзды
26,447
Форки
1,847
Открытые issues
216
Последний коммит
9 дней назад

Что это?

llamafile упаковывает большую языковую модель и среду для её запуска в один автономный исполняемый файл. Он объединяет llama.cpp с Cosmopolitan Libc, благодаря чему один и тот же файл можно запускать локально в большинстве операционных систем и на большинстве архитектур CPU без установки. Пользователю достаточно скачать llamafile, сделать его исполняемым и запустить.

В проект также входит whisperfile — инструмент для преобразования речи в текст, собранный в одном файле на основе whisper.cpp. Он умеет транскрибировать и переводить аудиофайлы на тех же платформах. Начиная с версии 0.10.0, llamafile использует новую систему сборки, которая отслеживает актуальные релизы llama.cpp. Благодаря этому поддерживаются более новые модели и функции, но некоторые возможности из прежних версий могут отсутствовать; они по-прежнему доступны на странице релизов.

В Windows не запускаются исполняемые файлы размером более 4 ГБ, поэтому более крупные модели нужно загружать в виде внешних весов GGUF вместе с бинарным файлом llamafile.

Ключевые возможности

  • 01Упаковывает веса модели и среду выполнения в один исполняемый файл, который не требует установки.
  • 02Работает в большинстве операционных систем и на большинстве архитектур CPU.
  • 03Основан на llama.cpp и предназначен для локального инференса LLM.
  • 04Включает whisperfile для транскрибации и перевода аудио.
  • 05Поддерживает внешние веса GGUF для моделей, которые не помещаются в один файл.

Сценарии использования

  • Делиться готовой к работе локальной LLM с коллегами или конечными пользователями без необходимости что-либо настраивать.
  • Запускать небольшую открытую модель офлайн на ноутбуке или настольном компьютере.
  • Локально транскрибировать или переводить аудиофайлы с помощью whisperfile.

Быстрый старт

  1. 1

    Скачайте пример модели llamafile (Qwen3.5 0.8B)

    curl -LO https://huggingface.co/mozilla-ai/llamafile_0.10/resolve/main/Qwen3.5-0.8B-Q8_0.llamafile
  2. 2

    Сделайте файл исполняемым (macOS/Linux/BSD)

    chmod +x Qwen3.5-0.8B-Q8_0.llamafile
  3. 3

    Запустите llamafile

    ./Qwen3.5-0.8B-Q8_0.llamafile

Что важно знать

  • Файлы размером более 4 ГБ не запускаются в Windows, поэтому для более крупных llamafile нужны внешние веса GGUF.
  • В версиях 0.10 и новее используется новая система сборки, в которой могут отсутствовать некоторые функции классических выпусков.

Темы

#llm#local-inference#gguf#llama-cpp#single-binary#speech-to-text#cross-platform#local-ai#local-llm#open-source-ai

Частые вопросы

Что такое llamafile?
Распространяет и запускает открытые LLM в виде одного исполняемого файла, который работает в большинстве операционных систем и на большинстве архитектур CPU без установки. llamafile упаковывает большую языковую модель и среду для её запуска в один автономный исполняемый файл. Он объединяет llama.cpp с Cosmopolitan Libc, благодаря чему один и тот же файл можно запускать локально в большинстве операционных систем и на большинстве архитектур CPU без установки. Пользователю достаточно скачать llamafile, сделать его исполняемым и запустить.
llamafile можно использовать бесплатно? Какая у него лицензия?
llamafile распространяется с открытым исходным кодом под лицензией Other. Перед использованием в коммерческих продуктах проверьте условия лицензии.
llamafile всё ещё поддерживается?
Активно поддерживается. Последний коммит в llamafile — 12 окт. 2026 г..
Для чего можно использовать llamafile?
Делиться готовой к работе локальной LLM с коллегами или конечными пользователями без необходимости что-либо настраивать. Запускать небольшую открытую модель офлайн на ноутбуке или настольном компьютере. Локально транскрибировать или переводить аудиофайлы с помощью whisperfile.
Как установить llamafile?
Скачайте пример модели llamafile (Qwen3.5 0.8B): curl -LO https://huggingface.co/mozilla-ai/llamafile_0.10/resolve/main/Qwen3.5-0.8B-Q8_0.llamafile Сделайте файл исполняемым (macOS/Linux/BSD): chmod +x Qwen3.5-0.8B-Q8_0.llamafile Запустите llamafile: ./Qwen3.5-0.8B-Q8_0.llamafile
Где скачать llamafile?
Исходный код и инструкции по установке — на GitHub: https://github.com/mozilla-ai/llamafile

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты