Una biblioteca de Python de Hugging Face para cargar datasets públicos de IA del Hub en una sola línea y preprocesarlos eficientemente con herramientas basadas en Arrow.
Datasets es una biblioteca ligera con dos funciones principales. Ofrece cargadores de una sola línea para muchos datasets públicos alojados en Hugging Face Hub, que incluyen texto, imágenes, audio, video, PDF y datos médicos NIfTI, y los deja listos para flujos de trabajo con NumPy, Pandas, PyTorch, TensorFlow, JAX o Polars. También ofrece herramientas de preprocesamiento para datasets del Hub y archivos locales en formatos como CSV, JSON, Parquet, XML, WAV, JPEG y PDF.
Los datasets se almacenan con Apache Arrow y memory mapping, por lo que los grandes volúmenes de datos no necesitan caber en la RAM. Operaciones como map() pueden ejecutarse en paralelo con num_proc, y los resultados procesados se guardan en caché y se reutilizan. El modo de streaming recorre datos remotos sin descargarlos por completo, lo que resulta útil para datasets más grandes que el espacio disponible en el disco local.
La biblioteca también permite leer y escribir en Hugging Face Storage Buckets, cargar trazas de agentes de IA y crear índices de FAISS o Elasticsearch para búsquedas por similitud.
Instala la biblioteca con pip
pip install datasetsCarga un conjunto de datos del Hub en Python
python -c "from datasets import load_dataset; squad_dataset = load_dataset('rajpurkar/squad'); print(squad_dataset['train'][0])"Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Un plan de estudios de IA para principiantes de Microsoft, de 12 semanas y 24 lecciones, que abarca IA simbólica, redes neuronales, visión por computadora, NLP y ética, con notebooks en PyTorch y TensorFlow.
Framework para definir modelos de aprendizaje automático de última generación de texto, visión, audio y modalidades múltiples, para inferencia y entrenamiento.
Código complementario del libro Build a Large Language Model (From Scratch) para implementar paso a paso un LLM similar a GPT en PyTorch.
Visor de modelos de redes neuronales, deep learning y machine learning, compatible con ONNX, TensorFlow, PyTorch, Core ML y muchos otros formatos.
Sistema de entrenamiento e inferencia distribuidos, basado en PyTorch, para modelos grandes de IA, con paralelismo, optimización de memoria y entrenamiento heterogéneo.
Implementación en PyTorch del Vision Transformer (ViT) y muchas de sus variantes para clasificación de imágenes y otras tareas de visión.