Repolode
Enviar
stochasticai

stochasticai/xTuring

Biblioteca Python para ajustar, avaliar e executar LLMs de código aberto, como LLaMA, GPT-J e GPT-OSS, com dados próprios, localmente ou em uma nuvem privada.

Ver no GitHubSite
Estrelas
2,679
Forks
209
Issues abertas
10
Último commit
anteontem

O que é?

xTuring é uma biblioteca Python para ajustar modelos de linguagem grandes de código aberto com dados próprios. Ela reúne preparação de dados, treinamento e inferência em uma única API de alto nível, permitindo que desenvolvedores adaptem modelos sem precisar escrever seus próprios loops de treinamento.

A biblioteca oferece suporte a várias famílias de modelos, incluindo GPT-OSS, LLaMA e LLaMA 2, Qwen3, Mistral, MiniMax M2, GPT-J, GPT-2, DistilGPT-2 e Mamba. O ajuste pode usar LoRA ou carregamento de baixa precisão INT8 e INT4 para reduzir os requisitos de memória e computação. Os modelos podem ser avaliados com perplexidade, e há uma interface baseada em Gradio e uma CLI para conversar com modelos ajustados.

A biblioteca foi projetada para ser executada localmente ou em uma VPC privada, sem que os dados de treinamento precisem sair da infraestrutura do usuário.

Recursos principais

  • 01API unificada para preparação de dados, ajuste e geração
  • 02Variantes LoRA, INT8 e INT4 para reduzir o uso de memória e o custo computacional
  • 03Avaliação baseada em perplexidade para modelos de linguagem causais
  • 04Geração de conjuntos de dados a partir de self-instruct e APIs de modelos comerciais
  • 05Comando de chat na CLI e playground com interface Gradio para modelos ajustados

Casos de uso

  • Adaptar um LLM de código aberto a documentos privados de uma empresa sem enviar dados a terceiros
  • Ajustar um modelo pequeno, como Qwen3 0.6B, em um laptop para fazer experimentos rápidos
  • Comparar abordagens de ajuste, como LoRA e INT8, usando o mesmo conjunto de dados
  • Gerar conjuntos de dados de instruções com um modelo local para treinamento posterior

Início rápido

  1. 1

    Instale o xTuring a partir do PyPI

    pip install xturing
  2. 2

    Execute o exemplo pequeno de fine-tuning, adequado para CPU, com o modelo LoRA Qwen3 0.6B

Antes de usar

  • O fine-tuning de modelos maiores, como GPT-OSS, exige recursos significativos de GPU.
  • O xTuring requer transformers>=4.36.0 e ainda não deve ser atualizado para transformers 5.x.

Tópicos

#llm#fine-tuning#lora#quantization#gen-ai#language-model#peft#deep-learning#adapter#finetuning

Perguntas frequentes

O que é xTuring?
Biblioteca Python para ajustar, avaliar e executar LLMs de código aberto, como LLaMA, GPT-J e GPT-OSS, com dados próprios, localmente ou em uma nuvem privada. xTuring é uma biblioteca Python para ajustar modelos de linguagem grandes de código aberto com dados próprios. Ela reúne preparação de dados, treinamento e inferência em uma única API de alto nível, permitindo que desenvolvedores adaptem modelos sem precisar escrever seus próprios loops de treinamento.
xTuring é gratuito? Qual é a licença?
xTuring é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
xTuring ainda é mantido?
Manutenção ativa. O último commit de xTuring foi em 5 de nov. de 2026.
Para que posso usar xTuring?
Adaptar um LLM de código aberto a documentos privados de uma empresa sem enviar dados a terceiros Ajustar um modelo pequeno, como Qwen3 0.6B, em um laptop para fazer experimentos rápidos Comparar abordagens de ajuste, como LoRA e INT8, usando o mesmo conjunto de dados Gerar conjuntos de dados de instruções com um modelo local para treinamento posterior
Como instalar xTuring?
Instale o xTuring a partir do PyPI: pip install xturing Execute o exemplo pequeno de fine-tuning, adequado para CPU, com o modelo LoRA Qwen3 0.6B
Onde consigo xTuring?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/stochasticai/xTuring

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados