Runtime de inferencia en el dispositivo para LLM y VLM en dispositivos Qualcomm Snapdragon, con modelos ejecutados en NPU, GPU o CPU mediante CLI, Python, Android, Docker o un servidor compatible con OpenAI.
8,5 mil1,1 milGoBSD-3-ClauseActualizado hace 4 horas