Repolode
Предложить
juicedata

juicedata/juicefs

Распределённая POSIX-файловая система, которая хранит данные в объектном хранилище, например S3, а метаданные — в Redis, MySQL, SQLite или TiKV.

Open source альтернатива:Amazon EFSGoogle Filestore

Открыть на GitHubСайт
Звёзды
14,567
Форки
1,328
Открытые issues
249
Последний коммит
позавчера

Что это?

JuiceFS — POSIX-совместимая файловая система для облачных сред. Содержимое файлов хранится в объектном хранилище, например Amazon S3, а имена, размеры, права доступа и временные метки файлов, а также структура каталогов — в отдельном движке метаданных. Поддерживаются Redis, MySQL, SQLite и TiKV, поэтому движок можно выбрать с учётом требований к производительности и особенностей развёртывания.

Проект позволяет приложениям работать с облачным объектным хранилищем как с локальным диском — без изменений в коде. JuiceFS можно монтировать в Linux и других платформах; также доступны Hadoop Java SDK, совместимый с S3 шлюз и Kubernetes CSI-драйвер. Перед записью в объектное хранилище файлы разбиваются на чанки, слайсы и блоки, поэтому содержимое бакета отличается от исходных файлов.

JuiceFS поддерживает шифрование при передаче и хранении данных, сжатие с помощью LZ4 или Zstandard, а также блокировки файлов через flock и fcntl. В README указано, что проект проходит тестовый набор pjdfstest на совместимость с POSIX; там же упоминаются согласованность close-to-open и атомарные операции с метаданными.

Ключевые возможности

  • 01Монтирует объектное хранилище, например S3, как POSIX-файловую систему.
  • 02Поддерживает Redis, MySQL, SQLite и TiKV в качестве движков метаданных.
  • 03Предоставляет Hadoop Java SDK, совместимый с Hadoop 2.x и 3.x.
  • 04Включает совместимый с S3 шлюз и Kubernetes CSI-драйвер.
  • 05Поддерживает шифрование при передаче и хранении данных, а также сжатие с помощью LZ4 или Zstandard.

Сценарии использования

  • Обмен большими наборами данных между множеством серверов для задач big data или машинного обучения.
  • Запуск задач Hadoop или Spark на облачном объектном хранилище.
  • Предоставление постоянных томов контейнерам в Kubernetes.
  • Подключение объектного хранилища к устаревшим приложениям, которым нужна обычная файловая система.

Быстрый старт

  1. 1

    Настройте поддерживаемый движок метаданных (например, Redis, MySQL, SQLite или TiKV)

  2. 2

    Подготовьте поддерживаемое объектное хранилище для блоков данных (например, Amazon S3)

  3. 3

    Скачайте и установите клиент JuiceFS, затем следуйте руководству по быстрому запуску

Что важно знать

  • Для работы JuiceFS необходимо отдельно запустить и администрировать движок метаданных и службу объектного хранилища.
  • При использовании Redis Cluster в качестве движка метаданных действуют ограничения на ключи транзакций, описанные в разделе FAQ.

В подборках

Фреймворки микросервисов и инфраструктура сервисов

Темы

#distributed-filesystem#object-storage#posix#s3#redis#kubernetes#hadoop#cloud-native#bigdata#distributed-systems

Частые вопросы

Что такое juicefs?
Распределённая POSIX-файловая система, которая хранит данные в объектном хранилище, например S3, а метаданные — в Redis, MySQL, SQLite или TiKV. JuiceFS — POSIX-совместимая файловая система для облачных сред. Содержимое файлов хранится в объектном хранилище, например Amazon S3, а имена, размеры, права доступа и временные метки файлов, а также структура каталогов — в отдельном движке метаданных. Поддерживаются Redis, MySQL, SQLite и TiKV, поэтому движок можно выбрать с учётом требований к производительности и особенностей развёртывания.
juicefs можно использовать бесплатно? Какая у него лицензия?
juicefs распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
juicefs всё ещё поддерживается?
Активно поддерживается. Последний коммит в juicefs — 23 окт. 2026 г..
Для чего можно использовать juicefs?
Обмен большими наборами данных между множеством серверов для задач big data или машинного обучения. Запуск задач Hadoop или Spark на облачном объектном хранилище. Предоставление постоянных томов контейнерам в Kubernetes. Подключение объектного хранилища к устаревшим приложениям, которым нужна обычная файловая система.
Как установить juicefs?
Настройте поддерживаемый движок метаданных (например, Redis, MySQL, SQLite или TiKV) Подготовьте поддерживаемое объектное хранилище для блоков данных (например, Amazon S3) Скачайте и установите клиент JuiceFS, затем следуйте руководству по быстрому запуску
Где скачать juicefs?
Исходный код и инструкции по установке — на GitHub: https://github.com/juicedata/juicefs

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты