Biblioteca Python da Hugging Face para carregar datasets públicos de IA do Hub com uma linha e pré-processá-los com eficiência usando ferramentas baseadas em Arrow.
Datasets é uma biblioteca leve com duas funções principais. Ela oferece carregadores de uma linha para muitos datasets públicos hospedados no Hugging Face Hub, incluindo dados de texto, imagem, áudio, vídeo, PDF e dados médicos NIfTI, e os disponibiliza prontos para fluxos de trabalho com NumPy, Pandas, PyTorch, TensorFlow, JAX ou Polars. Também oferece ferramentas de pré-processamento para datasets do Hub e arquivos locais em formatos como CSV, JSON, Parquet, XML, WAV, JPEG e PDF.
Os datasets são armazenados com Apache Arrow e memory mapping, então grandes volumes de dados não precisam caber na RAM. Operações como map() podem ser executadas em paralelo com num_proc, e os resultados processados são armazenados em cache e reutilizados. O modo de streaming percorre dados remotos sem baixá-los por completo, o que é adequado para datasets maiores do que o espaço em disco local.
A biblioteca também oferece suporte à leitura e gravação em Hugging Face Storage Buckets, ao carregamento de traces de agentes de IA e à criação de índices FAISS ou Elasticsearch para busca por similaridade.
Instale a biblioteca com pip
pip install datasetsCarregue um conjunto de dados do Hub em Python
python -c "from datasets import load_dataset; squad_dataset = load_dataset('rajpurkar/squad'); print(squad_dataset['train'][0])"Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.
Currículo introdutório de IA da Microsoft, com 24 aulas ao longo de 12 semanas sobre IA simbólica, redes neurais, visão computacional, NLP e ética, incluindo notebooks em PyTorch e TensorFlow.
Framework para definir modelos de ponta em machine learning para texto, visão, áudio e tarefas multimodais, voltado a inferência e treinamento.
Código complementar ao livro Build a Large Language Model (From Scratch), com a implementação passo a passo de um LLM semelhante ao GPT em PyTorch.
Visualizador de modelos de redes neurais, deep learning e machine learning, com suporte a ONNX, TensorFlow, PyTorch, Core ML e muitos outros formatos.
Sistema baseado em PyTorch para treinamento e inferência distribuídos de grandes modelos de IA, com paralelismo, otimização de memória e treinamento heterogêneo.
Implementação em PyTorch do Vision Transformer (ViT) e de muitas variantes para classificação de imagens e outras tarefas de visão computacional.