HowieHwong/TrustLLM

这是什么？

核心功能

• 01覆盖六个可信度维度，使用 ICML 2024 基准数据集。
• 02支持对本地 Hugging Face 因果语言模型或兼容 OpenAI 接口的 API 生成回复。
• 03通过 trustllm 命令行提供 download、tasks、generate、evaluate 等命令。
• 04逐样本保存断点，中断的运行可安全续跑。
• 05根据任务使用规则、分类器、向量嵌入或 API 评判模型进行打分。

适用场景

• 在统一基准下比较多个大模型的安全性与真实性。
• 在部署前检测微调或本地模型对越狱攻击的脆弱性。
• 为学术研究复现 ICML 2024 TrustLLM 的评测结果。
• 在完整评测前，用小样本快速验证模型 API 是否可用。

快速上手

1. 1

   从 GitHub 安装基础包（需要 Git）

   python -m pip install "trustllm @ git+https://github.com/HowieHwong/TrustLLM.git@main#subdirectory=trustllm_pkg"
2. 2

   下载基准数据集

   python -m trustllm download --output data
3. 3

   设置 API 密钥和端点，然后运行冒烟测试生成

   export OPENAI_API_KEY="your-api-key" export OPENAI_BASE_URL="https://your-provider.example/v1" python -m trustllm generate \ --backend api --model your-model-id \ --task safety --data data/dataset \ --limit 5 --concurrency 4 --output runs/api-safety

使用前须知

• !完整运行的评分可能调用 API 评判模型，产生费用。
• !生成设置与原论文不同，新运行结果不能直接等同于论文结果。
• !安装需从 GitHub 主分支获取，而非已发布的正式包版本。

收录于专题

标签

常见问题

TrustLLM 是什么？

基于 ICML 2024 TrustLLM 基准的开源工具包，通过 CLI 和 Python 从六个维度评估大模型的可信度。 TrustLLM 是一个研究型工具包，用于从真实性、安全性、公平性、鲁棒性、隐私和伦理六个维度衡量大语言模型的可信程度。它封装了 ICML 2024 基准的数据集，可以针对本地 Hugging Face 权重或任何兼容 OpenAI 接口的 API 运行测试，并将数据、配置和输出保存在同一个运行目录中。

TrustLLM 可以免费使用吗？用的什么许可证？

TrustLLM 以 MIT 许可证开源。用于商业产品前，请先确认许可证条款。

TrustLLM 还在维护吗？

半年内有更新。TrustLLM 最近一次提交是在 2026年10月4日。

TrustLLM 适合用来做什么？

在统一基准下比较多个大模型的安全性与真实性。 在部署前检测微调或本地模型对越狱攻击的脆弱性。 为学术研究复现 ICML 2024 TrustLLM 的评测结果。 在完整评测前，用小样本快速验证模型 API 是否可用。

TrustLLM 怎么安装和运行？

从 GitHub 安装基础包（需要 Git）: python -m pip install "trustllm @ git+https://github.com/HowieHwong/TrustLLM.git@main#subdirectory=trustllm_pkg" 下载基准数据集: python -m trustllm download --output data 设置 API 密钥和端点，然后运行冒烟测试生成: export OPENAI_API_KEY="your-api-key" export OPENAI_BASE_URL="https://your-provider.example/v1" python -m trustllm generate \ --backend api --model your-model-id \ --task safety --data data/dataset \ --limit 5 --concurrency 4 --output runs/api-safety

在哪里获取 TrustLLM？

源代码和安装说明在 GitHub 上：https://github.com/HowieHwong/TrustLLM