Фреймворк с определениями современных моделей машинного обучения для текста, изображений, аудио и мультимодальных задач — для обучения и инференса.
167,9 тыс.34,9 тыс.PythonApache-2.0Обновлён вчера
Lightning-AI/litData
Библиотека Python, которая преобразует датасеты в чанковый формат для быстрой потоковой загрузки из облачного или локального хранилища во время обучения моделей.
- Звёзды
- 617
- Форки
- 111
- Открытые issues
- 53
- Последний коммит
- 6 дней назад
Что это?
LitData помогает устранить медленную загрузку данных, из-за которой тормозит обучение моделей. Большие датасеты, миллионы небольших файлов или медленное чтение из облака могут заставить GPU простаивать. LitData предоставляет инструменты для предварительной обработки датасетов и преобразования их в собственный бинарный формат с чанками, который эффективно передаётся потоком из S3, GCS, Azure, R2, Hugging Face Hub или с локального диска.
Библиотека предлагает несколько способов работы. Исходные файлы, например изображения, аудио или JSONL, можно передавать потоком напрямую с помощью StreamingRawDataset и обычного PyTorch DataLoader — без преобразования. Для максимальной пропускной способности функция optimize() преобразует данные в чанки, которые считывают StreamingDataset и StreamingDataLoader; поддерживаются перемешивание, drop_last и возобновление потоковой загрузки. Оператор map() распределяет задачи общей обработки — например, изменение размера изображений, создание эмбеддингов или запуск инференса — между несколькими машинами.
В LitData также есть вспомогательные средства для датасетов Hugging Face, типизированные обёртки для изображений, аудио, видео и PDF, пользовательские сериализаторы и поддержка графов PyTorch Geometric.
Ключевые возможности
- 01Преобразует датасеты в бинарный формат с чанками, оптимизированный для потоковой загрузки.
- 02Передаёт данные потоком из S3, GCS, Azure, R2, Hugging Face Hub и по локальным путям.
- 03Передаёт исходные файлы, например изображения или аудио, потоком без предварительной обработки.
- 04Поддерживает приостановку и возобновление потоковой загрузки данных в середине эпохи.
- 05Предоставляет оператор map() для параллельной обработки данных на нескольких машинах.
Сценарии использования
- Обучение на датасете, который не помещается на локальный диск, с потоковой загрузкой из облачного хранилища.
- Замена миллионов небольших файлов изображений чанковыми данными для снижения накладных расходов на ввод-вывод.
- Распределённая предварительная обработка данных перед обучением, например изменение размера изображений или создание эмбеддингов.
- Загрузка датасетов Hugging Face в более быстром формате для повторных запусков обучения.
Быстрый старт
- 1
Установите LitData с помощью pip
pip install litdata - 2
Передавайте существующие файлы напрямую с помощью StreamingRawDataset или оптимизируйте наборы данных, разбив их на фрагменты для StreamingDataset
Что важно знать
- Требуется PyTorch версии 2.4 или новее.
- Для максимально быстрой потоковой передачи данные нужно предварительно оптимизировать один раз.
Темы
Частые вопросы
- Что такое litData?
- Библиотека Python, которая преобразует датасеты в чанковый формат для быстрой потоковой загрузки из облачного или локального хранилища во время обучения моделей. LitData помогает устранить медленную загрузку данных, из-за которой тормозит обучение моделей. Большие датасеты, миллионы небольших файлов или медленное чтение из облака могут заставить GPU простаивать. LitData предоставляет инструменты для предварительной обработки датасетов и преобразования их в собственный бинарный формат с чанками, который эффективно передаётся потоком из S3, GCS, Azure, R2, Hugging Face Hub или с локального диска.
- litData можно использовать бесплатно? Какая у него лицензия?
- litData распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
- litData всё ещё поддерживается?
- Активно поддерживается. Последний коммит в litData — 15 окт. 2026 г..
- Для чего можно использовать litData?
- Обучение на датасете, который не помещается на локальный диск, с потоковой загрузкой из облачного хранилища. Замена миллионов небольших файлов изображений чанковыми данными для снижения накладных расходов на ввод-вывод. Распределённая предварительная обработка данных перед обучением, например изменение размера изображений или создание эмбеддингов. Загрузка датасетов Hugging Face в более быстром формате для повторных запусков обучения.
- Как установить litData?
- Установите LitData с помощью pip: pip install litdata Передавайте существующие файлы напрямую с помощью StreamingRawDataset или оптимизируйте наборы данных, разбив их на фрагменты для StreamingDataset
- Где скачать litData?
- Исходный код и инструкции по установке — на GitHub: https://github.com/Lightning-AI/litData
Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.
Похожие проекты
Keras 3 — фреймворк для глубокого обучения, работающий на JAX, TensorFlow, PyTorch или OpenVINO для инференса.
64,4 тыс.19,8 тыс.PythonApache-2.0Обновлён 16 часов назад
Просмотрщик моделей нейросетей, глубокого и машинного обучения с поддержкой ONNX, TensorFlow, PyTorch, Core ML и многих других форматов.
33,6 тыс.3,2 тыс.JavaScriptMITОбновлён 3 дня назад
Open-source платформа для отслеживания и визуализации обучения AI-моделей: метрики, гиперпараметры и статистика оборудования; доступна в облаке или для самостоятельного размещения.
4,3 тыс.231PythonApache-2.0Обновлён вчера
Официальный CLI (hf) и Python-клиент для скачивания, загрузки и управления репозиториями на Hugging Face Hub.
4 тыс.1,3 тыс.PythonApache-2.0Обновлён позавчера
Учебная программа Microsoft по ИИ для начинающих: 12 недель и 24 урока о символическом ИИ, нейросетях, компьютерном зрении, NLP и этике, с ноутбуками на PyTorch и TensorFlow.
Обучающие материалы#artificial-intelligence#machine-learning#deep-learning#neural-networks#computer-vision
70,1 тыс.13,6 тыс.Jupyter NotebookMITОбновлён в прошлом месяце