HowieHwong/TrustLLM

어떤 프로젝트인가요?

핵심 기능

• 01ICML 2024 벤치마크 데이터셋을 사용해 신뢰성의 6가지 차원을 평가합니다.
• 02로컬 Hugging Face 인과 언어 모델이나 OpenAI 호환 API를 대상으로 응답을 생성합니다.
• 03trustllm CLI에서 download, tasks, generate, evaluate 명령을 제공합니다.
• 04샘플별 체크포인트를 저장하고, 중단된 실행을 안전하게 이어서 진행할 수 있습니다.
• 05태스크에 따라 규칙, 분류기, 임베딩 또는 API 판정자로 응답을 평가합니다.

활용 사례

• 일관된 벤치마크를 사용해 여러 LLM의 안전성과 진실성을 비교합니다.
• 배포 전에 파인튜닝된 모델이나 로컬 모델이 탈옥 공격에 취약한지 확인합니다.
• 학술 연구를 위해 ICML 2024 TrustLLM 결과를 재현합니다.
• 전체 평가에 앞서 모델 API를 간단히 스모크 테스트합니다.

빠른 시작

1. 1

   GitHub에서 기본 패키지를 설치합니다(Git 필요).

   python -m pip install "trustllm @ git+https://github.com/HowieHwong/TrustLLM.git@main#subdirectory=trustllm_pkg"
2. 2

   벤치마크 데이터셋을 다운로드합니다.

   python -m trustllm download --output data
3. 3

   API 키와 엔드포인트를 설정한 다음 스모크 테스트용 생성을 실행합니다.

   export OPENAI_API_KEY="your-api-key" export OPENAI_BASE_URL="https://your-provider.example/v1" python -m trustllm generate \ --backend api --model your-model-id \ --task safety --data data/dataset \ --limit 5 --concurrency 4 --output runs/api-safety

사용 전 알아둘 점

• !전체 실행의 점수 산정에는 요금이 발생할 수 있는 API judge가 사용될 수 있습니다.
• !생성 설정이 원본 논문과 다르므로 새로 실행한 결과는 논문 결과와 직접 비교할 수 없습니다.
• !공개된 패키지 릴리스가 아닌 GitHub의 main 브랜치에서 설치합니다.

포함된 컬렉션

토픽

자주 묻는 질문

TrustLLM은(는) 무엇인가요?

ICML 2024 TrustLLM 벤치마크 기반 오픈 리서치 툴킷으로, CLI와 Python을 통해 LLM의 신뢰성을 6가지 차원에서 평가합니다. TrustLLM은 대규모 언어 모델의 신뢰성을 진실성, 안전성, 공정성, 견고성, 프라이버시, 윤리성의 6가지 차원에서 측정하는 리서치 툴킷입니다. ICML 2024 벤치마크를 패키징해 로컬 Hugging Face 가중치나 OpenAI 호환 API를 대상으로 데이터셋을 실행할 수 있으며, 데이터와 설정, 결과를 하나의 실행 디렉터리에 함께 보관합니다.

TrustLLM은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

TrustLLM은(는) MIT 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

TrustLLM은(는) 아직 유지보수되고 있나요?

6개월 이내 업데이트. TrustLLM의 마지막 커밋은 2026년 10월 4일입니다.

TrustLLM은(는) 어디에 사용할 수 있나요?

일관된 벤치마크를 사용해 여러 LLM의 안전성과 진실성을 비교합니다. 배포 전에 파인튜닝된 모델이나 로컬 모델이 탈옥 공격에 취약한지 확인합니다. 학술 연구를 위해 ICML 2024 TrustLLM 결과를 재현합니다. 전체 평가에 앞서 모델 API를 간단히 스모크 테스트합니다.

TrustLLM는 어떻게 설치하나요?

GitHub에서 기본 패키지를 설치합니다(Git 필요).: python -m pip install "trustllm @ git+https://github.com/HowieHwong/TrustLLM.git@main#subdirectory=trustllm_pkg" 벤치마크 데이터셋을 다운로드합니다.: python -m trustllm download --output data API 키와 엔드포인트를 설정한 다음 스모크 테스트용 생성을 실행합니다.: export OPENAI_API_KEY="your-api-key" export OPENAI_BASE_URL="https://your-provider.example/v1" python -m trustllm generate \ --backend api --model your-model-id \ --task safety --data data/dataset \ --limit 5 --concurrency 4 --output runs/api-safety

TrustLLM은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/HowieHwong/TrustLLM