Repolode
Предложить
ggml-org

ggml-org/ggml

Библиотека тензоров на чистом C/C++ для машинного обучения: простая, переносимая и эффективная, с минимальными требованиями к настройке.

Открыть на GitHubСайт
Звёзды
15,591
Форки
1,920
Открытые issues
380
Последний коммит
3 дня назад

Что это?

ggml — библиотека тензоров для машинного обучения, написанная на чистом C и C без внешних зависимостей. Она предоставляет низкоуровневые строительные блоки для запуска ML-моделей, в том числе операции над тензорами и граф вычислений, и легко встраивается в другие программы.

Библиотека рассчитана на широкий спектр аппаратных платформ. Она собирается для x86, ARM, RISC-V, LoongArch, PowerPC, s390x и WebAssembly, включает оптимизированные с помощью SIMD ядра для x86, ARM и RISC-V, а также предлагает бэкенды для CPU, GPU, NPU и браузеров. Поддерживается целочисленное квантование с разрядностью от 2 до 8 бит, а также форматы микромасштабирования MXFP4 и NVFP4. Во время выполнения память не выделяется.

В репозитории есть минимальный пример умножения матриц с комментариями в examples/simple, а также документация по формату файлов GGUF. Изменения в основной библиотеке, в том числе в системе сборки CMake, вносятся через проект llama.cpp.

Ключевые возможности

  • 01Реализация на чистом C/C++ без внешних зависимостей
  • 02Оптимизированные с помощью SIMD ядра для x86, ARM и RISC-V
  • 03Бэкенды для CPU, GPU, NPU и браузеров
  • 04Целочисленное квантование с разрядностью от 2 до 8 бит, а также форматы MXFP4 и NVFP4
  • 05Без выделения памяти во время выполнения

Сценарии использования

  • Встраивание ML-инференса в приложения на C/C++ с небольшим размером
  • Выполнение тензорных вычислений на периферийных устройствах и встраиваемом оборудовании
  • Создание сред выполнения для квантованных моделей на CPU и ускорителях
  • Запуск ML-нагрузок в WebAssembly в браузере

Быстрый старт

  1. 1

    Клонируйте репозиторий

    git clone https://github.com/ggml-org/ggml
  2. 2

    Перейдите в каталог проекта

    cd ggml
  3. 3

    Создайте каталог для сборки и настройте проект с помощью CMake

    mkdir build && cd build cmake ..
  4. 4

    Соберите библиотеку в режиме Release

    cmake --build . --config Release -j 8

Что важно знать

  • Включена только базовая библиотека, без высокоуровневой среды выполнения моделей; вам нужно написать собственный код с использованием C API.
  • Для сборки нужны CMake и компилятор C/C++.

Темы

#tensor-library#c-plus-plus#quantization#inference#simd#wasm#edge-ai#machine-learning

Частые вопросы

Что такое ggml?
Библиотека тензоров на чистом C/C++ для машинного обучения: простая, переносимая и эффективная, с минимальными требованиями к настройке. ggml — библиотека тензоров для машинного обучения, написанная на чистом C и C без внешних зависимостей. Она предоставляет низкоуровневые строительные блоки для запуска ML-моделей, в том числе операции над тензорами и граф вычислений, и легко встраивается в другие программы.
ggml можно использовать бесплатно? Какая у него лицензия?
ggml распространяется с открытым исходным кодом под лицензией MIT. Перед использованием в коммерческих продуктах проверьте условия лицензии.
ggml всё ещё поддерживается?
Активно поддерживается. Последний коммит в ggml — 4 нояб. 2026 г..
Для чего можно использовать ggml?
Встраивание ML-инференса в приложения на C/C++ с небольшим размером Выполнение тензорных вычислений на периферийных устройствах и встраиваемом оборудовании Создание сред выполнения для квантованных моделей на CPU и ускорителях Запуск ML-нагрузок в WebAssembly в браузере
Как установить ggml?
Клонируйте репозиторий: git clone https://github.com/ggml-org/ggml Перейдите в каталог проекта: cd ggml Создайте каталог для сборки и настройте проект с помощью CMake: mkdir build && cd build cmake .. Соберите библиотеку в режиме Release: cmake --build . --config Release -j 8
Где скачать ggml?
Исходный код и инструкции по установке — на GitHub: https://github.com/ggml-org/ggml

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты