NVIDIA-NeMo / CuratorGitHubGPU 加速的数据处理工具包,用于构建可重复的流水线,对大规模文本、图像、视频和音频数据做过滤、去重和转换,服务于 AI 训练。数据与分析#data-curation#llm#data-processing#deduplication#gpu1818351PythonApache-2.0更新于 6小时前