Open source проекты по теме «sglang»

Масштабируемая система асинхронного обучения с подкреплением для тренировки LLM, способных рассуждать и действовать как агенты; обучение агентов с закрытым исходным кодом запускается заменой base_url.

Не зависящий от движка шлюз для LLM на Rust, который маршрутизирует запросы в форматах OpenAI и Anthropic между локальными серверами инференса и облачными провайдерами моделей.