La plataforma de NVIDIA para CUDA en Rust, con crates de runtime para el host y modelos SIMT y Tile para escribir kernels de GPU en Rust.
CUDA Rust permite a los desarrolladores de Rust controlar GPU de NVIDIA. Incluye crates para el host que cubren la API del driver de CUDA, con contextos, streams, buffers de dispositivo, eventos y operaciones asíncronas, componibles y de evaluación diferida, además de dos modelos de programación de kernels para el dispositivo.
El componente cuda-oxide está orientado al modelo SIMT tradicional, en el que se escribe código para cada hilo y se gestionan manualmente los hilos, los bloques y la memoria compartida. Está implementado como un backend personalizado de generación de código de rustc que compila Rust a PTX antes de la ejecución. El componente cutile-rs está orientado al modelo Tile, en el que los kernels operan sobre tiles completos de tensores multidimensionales y el compilador se encarga de asignar el trabajo a cada arquitectura. Es un plugin de proc-macro que compila con JIT en el primer lanzamiento.
Ambos modelos extienden las reglas de propiedad de Rust a través del límite de lanzamiento de la GPU: antes del lanzamiento, los buffers mutables se dividen en partes disjuntas y los inmutables se comparten. El proyecto se describe como una investigación en fase inicial, así que cabe esperar funciones incompletas y cambios en la API.
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Un lenguaje de programación integrado en Python que compila kernels numéricos con JIT para ejecutarlos en CPU y GPU, como CUDA, Vulkan y Metal.
Biblioteca C++ de solo cabecera para crear programas paralelos mediante grafos de tareas, con soporte para multihilo en CPU y GPU CUDA.
Un profiler de Python que informa el uso de CPU, GPU y memoria por línea, con sugerencias opcionales de optimización generadas por IA.
Servidor de inferencia de LLM en C++ para GPU de consumo y equipos con hardware AMD y NVIDIA, con speculative decoding, speculative prefill y kernels personalizados.
Biblioteca de arrays compatible con NumPy/SciPy que ejecuta código Python existente en GPU NVIDIA CUDA o AMD ROCm.
Biblioteca de plantillas de CUDA C++ y DSL de Python para escribir kernels GEMM y de álgebra lineal de alto rendimiento en GPU NVIDIA.