一个可定制的大模型评测框架,覆盖 LLM、VLM 和 AIGC 模型的基准评测与推理性能压测。
3579532PythonApache-2.0更新于 10小时前
一个包含 2556 条多跳问题的问答数据集,用于评估跨文档的检索增强生成(RAG)效果。
MultiHop-RAG 是一个基准数据集,用于测试检索增强生成(RAG)系统在回答需要综合多篇文档证据的问题时的表现。数据集共包含 2556 条查询,每条查询的证据分布在 2 到 4 篇文档中。
查询中还涉及文档元数据,系统在检索和推理时需要利用这些信息,贴近真实 RAG 应用中多来源混合的场景。该项目配套 COLM 2024 论文,数据可通过仓库文件获取,也提供 Hugging Face 数据加载方式。
仓库提供了基于 llama-index 的检索示例(可选重排序,使用 BAAI/llm-embedder)和基于 Llama 的问答示例,并附带检索与问答结果的评估脚本。数据集的部分构建流程代码也一并开源,供参考。
安装 llama-index 依赖
pip install llama-index==0.9.40运行简单检索示例
python simple_retrieval.py --retriever BAAI/llm-embedder运行基于 llama 的问答示例
python qa_llama.py概要由 AI 根据项目 README 生成;GitHub 数据每日更新。
一个可定制的大模型评测框架,覆盖 LLM、VLM 和 AIGC 模型的基准评测与推理性能压测。
用于评测文生视频与图生视频模型的基准套件与评估工具包,覆盖多项质量与语义维度。
统一的语言模型少样本评测框架,覆盖大量标准学术基准测试。
一站式大模型评测平台,覆盖 100 多个数据集,支持多种模型与推理后端。
用于评测大模型作为自主智能体能力的评测框架,包含 300 个人工验证任务。
一个用 Python 构建跨环境基准测试的框架,用于评估多模态大语言模型智能体。