用于构建 LLM 应用和智能体的 Python 框架,提供模型、嵌入、向量库等统一接口与第三方集成。
14.8万2.5万PythonMIT更新于 8小时前
YuE2 根据歌词和风格提示生成完整歌曲。模型会先输出一份 ABC 记谱格式的旋律与和弦乐谱,用户可以在渲染音频前查看和修改,最终输出 48 kHz 立体声音频,包含人声和伴奏。
除了从零创作,项目还支持零样本翻唱:先用配套的 SheetSage2 模型把参考录音转写为旋律谱,再以新的风格或新歌词重新演绎。用户也可以导出乐谱、编辑后重新生成,或通过配套的 Agent skill 完成这些流程。
项目提供 Python 接口,支持规划、语义生成、合成和解码等分步调用。运行环境为 Linux,需要支持 BF16 的 NVIDIA GPU 和约 24 GB 显存。模型权重采用非商业许可证,代码为 Apache 2.0。
克隆仓库
git clone https://github.com/multimodal-art-projection/YuE.git进入目录并创建 Python 3.12 虚拟环境
cd YuE && python3.12 -m venv .venv && source .venv/bin/activate安装软件包
python -m pip install --upgrade pip && python -m pip install .生成第一首歌曲(首次使用时下载模型)
python examples/generate.py --output outputs/first-song概要由 AI 根据项目 README 生成;GitHub 数据每日更新。
用于构建 LLM 应用和智能体的 Python 框架,提供模型、嵌入、向量库等统一接口与第三方集成。
一个极简、易于修改的 LLM 训练框架,覆盖分词、预训练、微调、评估到对话推理全流程,可在单台 GPU 节点上运行。
用自然语言描述界面,实时渲染预览,并可借助多种大模型持续修改。
开源深度学习推理工具包,用于优化模型并部署到 Intel CPU、GPU 和 NPU 上运行。
一款跨平台桌面应用,用 AI 辅助标注文本、图像、视频、点云和多模态数据,支持多种格式导出。
一个用于构建 LLM 应用的 Rust 库,并附带基于它开发、功能由 Bevy 插件组成的终端编程代理。