更改

千帆数据集管理中的预置数据集(分类）

添加18,581字节, 2023年12月23日 (六) 17:50

创建页面，内容为“{{元宇宙}} {{4}} 千帆数据集管理中的预置数据集[https://console.bce.baidu.com/qianfan/data/dataset/list?tab=1] 预置开源公开数据集促进...”

{{元宇宙}}
{{4}}
千帆数据集管理中的预置数据集[https://console.bce.baidu.com/qianfan/data/dataset/list?tab=1] 
预置开源公开数据集促进算法研究和开发，降低数据获取⻔槛。预置数据集可直接被用于模型训练和模型评估任务。 

== 医学 ==

[[ChineseMedicalDialogueData中文医疗问答数据集]] 
中文医疗对话数据集由792099个问答对组成，包括男科、内科、妇产科、肿瘤科、儿科和外科 
文本对话非排序 
限定式问答 
调优 
4210 
279 
去训练 
[[中医药指令数据集ChatMed_TCM_Dataset]] 
以开源的中医药知识图谱为基础，采用以实体为中心的自指令方法entity-centric self-instruct，调用ChatGPT得到11w+的围绕中医药的指令数据 
文本对话非排序 
限定式问答 
调优 
1784 
130 
去训练 
[[QiZhenGPT_data]] 
该数据集来自于启真医学知识库收集整理的真实医患知识问答数据以及在启真医学知识库的药品文本知识基础上，通过对半结构化数据设置特定的问题模板构造的指令数据 
文本对话非排序 
限定式问答 
调优 
403 
32 
去训练 
[[HuatuoGPT_sft_data]] 
华佗 GPT中文医疗大模型SFT数据集 
文本对话非排序 
限定式问答 
调优 
623 
104 
去训练 

== 金融 ==

[[FinCUGE_FinESE]] 
金融事件主体抽取数据集。从真实的新闻语料中，抽取特定事件类型的主体。其中训练集包含11752条数据，验证集包含1464条数据。 
文本对话非排序 
限定式问答 
调优 
2336 
150 
去训练 
[[FinCUGE_FinCQA]] 
金融因果事件抽取数据集。因果事件抽取专注于在文本中识别出具有因果关系的两个事件及其事件参数，并将其整理为机构化数据。该数据集的因果事件数据集包含对大宗商品领域的因果事件识别，识别的事件类型包括台风/地震，供给增加/减少，需求增加/减少，价格上升/下降等可能为原因和结果事件及其对应关系和对应的产品、地区等参数。 
文本对话非排序 
逻辑推理 
调优 
845 
63 
去训练 
[[FinCUGE_FinNSP]] 
金融负面消息及其主体判定数据集。对于给出的金融新闻或社交媒体文本及其中包含的实体，需要模型判断该文本中是否包含有针对某个实体的负面消息，并指出负面消息的主体是哪个实体。 
文本对话非排序 
限定式问答 
调优 
476 
42 
去训练 
[[FinCUGE_FinFE]] 
金融社交媒体文本情绪分类数据集。对于给出的金融社交媒体文本，需要模型分类该文本的情绪为消极-中性-积极三种类别。 
文本对话非排序 
情感分析 
调优 
1395 
87 
去训练 
[[FinCUGE_FinRE]] 
金融新闻关系抽取数据集。对于给出的金融新闻和头实体-尾实体对，需要模型分类实体对的关系到包含空关系的44种关系类别，包含拥有、持股、竞争、收购、交易、合作、减持等财经金融领域的特有关系类别。 
文本对话非排序 
文本分类 
调优 
700 
104 
去训练 
[[FinCUGE_FinNL]] 
金融新闻分类数据集。对于给出的金融新闻，需要模型将其多标签分类到可能的十五种类别，类别包括公司、行业、大盘、中国、外国、国际、经济、政策、政治、期货、债券、房地产、外汇、虚拟货币、新冠、能源和其它。 
文本对话非排序 
文本分类 
调优 
898 
90 
去训练 
[[FinCUGE_FinQA]] 
金融新闻公告事件问答数据集。由DuEE-fin数据集转化得到。输入一段金融新闻或公告，和一个与文本中发生的事件有关的问题，需要模型根据文本生成问题答案。问题的范围包含文本中包含的事件类型，以及某个事件对应的发生时间和人物等要素；答案为问题对应的文本中的事件类型或事件要素的列表。 
文本对话非排序 
限定式问答 
调优 
974 
73 
去训练 
[[FinCUGE_FinNA]] 
金融新闻摘要数据集。输入一段金融新闻，需要模型生成一句话摘要。 
文本对话非排序 
摘要 
调优 
1106 
122 
去训练 

[[法律阅读理解_CAIL2019]] 
数据集为CAIL2019中阅读理解部分，数据集是来自“中国裁判文书网”公开的法律文书，主要涉及民事和刑事的一审判决书，总共约1万份数据。 
文本对话非排序 
提取式问答 
调优 
1236 
92 
去训练 
[[JEC_QA数据集]] 
JEC-QA数据集中每个问题都包含一个问题描述和四个候选选项。 JEC-QA中存在单答案和多答案问题。数据集中包含一套全国统一法律职业资格考试辅导书和中国法律规定构成的参考书目文档 
文本对话非排序 
限定式问答 
调优 
366 
57 
去训练 
[[法律知识问答数据集]]
法律知识问答 
文本对话非排序 
开放式问答 
调优 
584 
108 
去训练 

== 法律 ==

[[LawGPT_带有法律依据的情景问答92k]] 
带有法律依据的情景问答92k，根据中华人民共和国法律手册上最核心的9k法律条文，利用ChatGPT联想生成具体的情景问答，从而使得生成的数据集有具体的法律依据 
文本对话非排序 
限定式问答 
调优 
953 
77 
去训练 

== 多任务学习和零样本学习 ==

[[pCLUE_anaphora_resolution]] 
pCLUE是基于提示的大规模预训练数据集，用于多任务学习和零样本学习，该数据集是pCLUE中指代消解任务的数据集 
文本对话非排序 
限定式问答 
调优 
807 
104 
去训练 
[[pCLUE_nli]] 
pCLUE是基于提示的大规模预训练数据集，用于多任务学习和零样本学习，该数据集是pCLUE中阅读理解任务的数据集 
文本对话非排序 
逻辑推理 
调优 
480 
104 
去训练 
[[pCLUE_classify]] 
pCLUE是基于提示的大规模预训练数据集，用于多任务学习和零样本学习，该数据集是pCLUE中阅读理解任务的数据集 
文本对话非排序 
限定式问答 
调优 
1037 
53 
去训练 
[[pCLUE_mrc]] 
pCLUE是基于提示的大规模预训练数据集，用于多任务学习和零样本学习，该数据集是pCLUE中阅读理解任务的数据集 
文本对话非排序 
限定式问答 
调优 
657 
78 
去训练 
[[pCLUE_generate]] 
pCLUE是基于提示的大规模预训练数据集，用于多任务学习和零样本学习，该数据集是pCLUE中文本生成任务的数据集 
文本对话非排序 
文本创作 
调优 
768 
72 
去训练 
== 编程 ==

[[coig_1_leetcode]] 
从CC-BY-SA-4.0许可的集合中建立了Leetcode指令的2,589个编程问题。这些问题包含问题描述、多种编程语言和解释。考虑到输入和输出，我们将指令任务分为两类：代码到文本和文本到代码。代码到文本的任务要求产生给定的编程代码的功能描述，而文本到代码的任务则要求从问题中输出代码。根据程序问题是否有相应的解释，任务指令将被区分为有/无解释。我们准备了38种类型的说明来生成Leetcode指令。我们对每个程序问题的可用编程语言实现进行迭代，随机抽取任务为代码到文本或文本到代码，然后随机选择一个相应的指令描述。 
文本对话非排序 
代码生成 
调优 
877 
113 
去训练 
[[coig_2_counterfactural_multi_round_chat]] 

== 反事实修正 ==

反事实修正多轮聊天数据集（CCMC）是基于CN-DBpedia知识图谱数据集构建的，旨在解决当前LLM中出现的幻觉和事实不一致的问题。数据集包含约13,000个对话，每个对话平均有5轮，共约65,000轮聊天。这些对话是在学生和教师之间进行的角色扮演聊天，他们在对话中参考相关的知识。 
文本对话非排序 
角色扮演 
调优 
347 
115 
去训练 
 
[[belle_multiturn_chat_0_8M]] 
【仅限研究分析使用】【当前数据集对原始数据集进行了采样】包含约80万条由BELLE项目生成的用户与助手的多轮对话 
文本对话非排序 
开放式问答 
调优 
443 
36 
去训练 
[[belle_school_math_0_25M]] 
【仅限研究分析使用】【当前数据集对原始数据集进行了采样】包含约25万条由BELLE项目生成的中文数学题数据，包含解题过程。 
文本对话非排序 
数学 
调优 
521 
72 
去训练 
[[belle_train_2M_CN]] 
【仅限研究分析使用】【当前数据集对原始数据集进行了采样】包含约200万条由BELLE项目生成多样化的指令任务数据 
文本对话非排序 
开放式问答 
调优 
1014 
35 
去训练 
[[belle_generated_chat_0_4M]] 
【仅限研究分析使用】【当前数据集对原始数据集进行了采样】包含约40万条由BELLE项目生成的个性化角色对话数据，包含角色介绍。 
文本对话非排序 
角色扮演 
调优 
699 
115 
去训练 
[[chinese_llama_alpaca_data_zh_51k]] 
【仅限研究分析使用】中文Alpaca数据，包含51k个从ChatGPT (gpt-3.5-turbo)爬取的指令数据。 
文本对话非排序 
开放式问答 
调优 
1149 
119 
去训练 
[[coig_5_exam_instructions]] 
人工注释的考试指令数据集，从原始考试题中提取六个信息元素，包括指令、问题背景、问题、答案、答案分析和粗粒度的主题。这些考试中有很多阅读理解题，问题背景指的是这些阅读理解题的阅读材料。有六个主要的粗略科目：中文、英文、政治、生物、历史和地质。语料库中很少有数学、物理和化学问题，因为这些问题往往带有复杂的符号，很难进行注释。我们说明了问题格式百分比，说明了主要科目百分比。对于许多选择题，我们建议研究人员利用这个语料库，使用提示语对其进行进一步的后处理，或将其后处理为填空题，以进一步增加指令的多样性。 
文本对话非排序 
逻辑推理 
调优 
498 
93 
去训练 
[[xp3]] 
xP3是一个用于多任务提示微调的多语言数据集。它是46种语言的监督数据集与英语和机器翻译提示的组合，这里只包含了中文的数据 
文本对话非排序 
开放式问答 
调优 
561 
93 
去训练 
[[AGI_EVAL]] 
AGIEval是一个以人为中心的基准，专门用于评估基础模型在与人类认知和解决问题相关的任务中的一般能力。该基准来自20种面向普通人类考生的官方、公共和高标准录取和资格考试，如普通大学录取考试（如中国高考和美国SAT）、法学院录取考试、数学竞赛、律师资格考试和国家公务员考试 
文本对话非排序 
限定式问答 
评测 
938 
384 
去训练 
去评估 
[[CEVAL_STEM]] 
【仅限研究分析使用】中文多项选择题（四选一）。C-Eval是全面的中文基础模型评估套件，涵盖了52个不同学科的13948个多项选择题 
文本对话非排序 
限定式问答 
评测 
236 
156 
去训练 
去评估 
[[CEVAL_SocialScience]]
【仅限研究分析使用】中文多项选择题（四选一）。C-Eval是全面的中文基础模型评估套件，涵盖了52个不同学科的13948个多项选择题 
文本对话非排序 
限定式问答 
评测 
527 
112 
去训练 
去评估 
[[CEVAL_Other]] 
【仅限研究分析使用】中文多项选择题（四选一）。C-Eval是全面的中文基础模型评估套件，涵盖了52个不同学科的13948个多项选择题 
文本对话非排序 
限定式问答 
评测 
306 
104 
去训练 
去评估 
[[CEVAL_Humanities]] 
【仅限研究分析使用】中文多项选择题（四选一）。C-Eval是全面的中文基础模型评估套件，涵盖了52个不同学科的13948个多项选择题 
文本对话非排序 
限定式问答 
评测 
458 
110 
去训练 
去评估 
[[CMMLU_STEM]] 
【仅限研究分析使用】中文多项选择题（四选一）。CMMLU是一个综合性的中文评估基准，专门用于评估语言模型在中文语境下的知识和推理能力。CMMLU涵盖了从基础学科到高级专业水平的67个主题。它包括：需要计算和推理的自然科学，需要知识的人文科学和社会科学,以及需要生活常识的中国驾驶规则等。此外，CMMLU中的许多任务具有中国特定的答案，可能在其他地区或语言中并不普遍适用。因此是一个完全中国化的中文测试基准。 
文本对话非排序 
限定式问答 
评测 
613 
130 
去训练 
去评估 
[[CMMLU_SocialScience]] 
【仅限研究分析使用】中文多项选择题（四选一）。CMMLU是一个综合性的中文评估基准，专门用于评估语言模型在中文语境下的知识和推理能力。CMMLU涵盖了从基础学科到高级专业水平的67个主题。它包括：需要计算和推理的自然科学，需要知识的人文科学和社会科学,以及需要生活常识的中国驾驶规则等。此外，CMMLU中的许多任务具有中国特定的答案，可能在其他地区或语言中并不普遍适用。因此是一个完全中国化的中文测试基准。 
文本对话非排序 
限定式问答 
评测 
300 
105 
去训练 
去评估 
[[CMMLU_Other]] 
【仅限研究分析使用】中文多项选择题（四选一）。CMMLU是一个综合性的中文评估基准，专门用于评估语言模型在中文语境下的知识和推理能力。CMMLU涵盖了从基础学科到高级专业水平的67个主题。它包括：需要计算和推理的自然科学，需要知识的人文科学和社会科学,以及需要生活常识的中国驾驶规则等。此外，CMMLU中的许多任务具有中国特定的答案，可能在其他地区或语言中并不普遍适用。因此是一个完全中国化的中文测试基准。 
文本对话非排序 
限定式问答 
评测 
324 
107 
去训练 
去评估 
[[CMMLU_Humanities]] 
【仅限研究分析使用】中文多项选择题（四选一）。CMMLU是一个综合性的中文评估基准，专门用于评估语言模型在中文语境下的知识和推理能力。CMMLU涵盖了从基础学科到高级专业水平的67个主题。它包括：需要计算和推理的自然科学，需要知识的人文科学和社会科学,以及需要生活常识的中国驾驶规则等。此外，CMMLU中的许多任务具有中国特定的答案，可能在其他地区或语言中并不普遍适用。因此是一个完全中国化的中文测试基准。 
文本对话非排序 
限定式问答 
评测 
228 
54 
去训练 
去评估 
[[MMLU_STEM]] 
语言为英语的大规模的多任务测试，由来自不同知识分支的多项选择题（四选一）组成。该测试涵盖了人文学科、社会科学、硬科学和其他对一些人来说很重要的领域。这包括57项任务，包括初等数学、美国历史、计算机科学、法律等 
文本对话非排序 
限定式问答 
评测 
518 
89 
去训练 
去评估 
[[MMLU_SocialSciences]] 
语言为英语的大规模的多任务测试，由来自不同知识分支的多项选择题（四选一）组成。该测试涵盖了人文学科、社会科学、硬科学和其他对一些人来说很重要的领域。这包括57项任务，包括初等数学、美国历史、计算机科学、法律等 
文本对话非排序 
限定式问答 
评测 
320 
72 
去训练 
去评估 
[[MMLU_Other]] 
语言为英语的大规模的多任务测试，由来自不同知识分支的多项选择题（四选一）组成。该测试涵盖了人文学科、社会科学、硬科学和其他对一些人来说很重要的领域。这包括57项任务，包括初等数学、美国历史、计算机科学、法律等 
文本对话非排序 
限定式问答 
评测 
166 
83 
去训练 
去评估 
[[MMLU_Humanities]]
语言为英语的大规模的多任务测试，由来自不同知识分支的多项选择题（四选一）组成。该测试涵盖了人文学科、社会科学、硬科学和其他对一些人来说很重要的领域。这包括57项任务，包括初等数学、美国历史、计算机科学、法律等 
文本对话非排序 
限定式问答 
评测 
992 
145 
去训练 
去评估 
[[TCM_Ancient_Books]] 
中医药古籍文本数据集，包含大约700本的中医古书 
泛文本无标注 
post-pretrain 
调优 
985 
17 
去训练 
[[OSCAR数据集]] 
OSCAR项目（Open Super large Crawled Aggregated coRpus）是一个开源项目，旨在为机器学习（ML）和人工智能（AI）应用程序提供基于网络的多语言资源和数据集。该项目特别专注于提供大量未标记的原始数据，这些数据通常用于大型深度学习模型的预训练。 
泛文本无标注 
post-pretrain 
调优 
503 
去训练 
[[MNBVC超大规模中文语料集]] 
MNBVC数据集不但包括主流文化，也包括各个小众文化甚至火星文的数据。MNBVC数据集包括新闻、作文、小说、书籍、杂志、论文、台词、帖子、wiki、古诗、歌词、商品介绍、笑话、糗事、聊天记录等一切形式的纯文本中文数据。数据均来源于互联网收集。 
泛文本无标注 
post-pretrain 
调优 
1191 
去训练 
[[WuDaoCorporaText文本预训练数据集]] 
【仅限研究分析使用】采用20多种规则从100TB原始网页数据中清洗得出最终数据集，注重隐私数据信息的去除，源头上避免GPT-3存在的隐私泄露风险；包含教育、科技等50+个行业数据标签，可以支持多领域预训练模型的训练。 
泛文本无标注 
post-pretrain 
调优 
1127 
2 
去训练

下一编辑→

江南仁

行政员、groupone、管理员

16,816

个编辑

更改

千帆数据集管理中的预置数据集(分类）

导航菜单

个人工具

名字空间

变种

视图

更多

搜索

导航

站群链接

工具