跳至内容

贡献 LabelledRagDataset#

构建更健壮的 RAG 系统需要多样化的评估套件。这就是我们在 llama-hub 中推出 LlamaDatasets 的原因。在本页面,我们将讨论如何贡献 llama-hub 中提供的第一类 LlamaDataset,即 LabelledRagDataset。

贡献 LabelledRagDataset 主要涉及两个高级步骤。一般来说,您必须创建 LabelledRagDataset,将其保存为 json 文件,然后将该 json 文件和源文本文件一起提交到我们的 llama-datasets 仓库。此外,您还需要提交一个拉取请求,将数据集所需的元数据上传到我们的 llama-hub 仓库

为了帮助使提交过程更加顺畅,我们准备了一个模板笔记本,您可以按照它从头创建 LabelledRagDataset(或将结构相似的问答数据集转换为此类数据集),并执行其他必需的提交步骤。请参考下面链接的“LlamaDataset 提交模板笔记本”。

贡献其他 llama-datasets#

贡献其他任何 llama-datasets(例如 LabelledEvaluatorDataset)的总过程与之前描述的 LabelledRagDataset 相同。这些其他数据集的提交模板即将推出!

提交示例#

阅读完整的提交示例笔记本