机器阅读理解(Machine Reading Comprehension)是指让机器阅读文本,然后回答和阅读内容相关的问题。阅读理解是自然语言处理和人工智能领域的重要前沿课题,对于提升机器智能水平、使机器具有持续知识获取能力具有重要价值,近年来受到学术界和工业界的广泛关注。
为了促进阅读理解技术发展,中国中文信息学会、中国计算机学会和百度公司联手举办“2018机器阅读理解技术竞赛”。竞赛将提供面向真实应用场景的大规模中文阅读理解数据集, 旨在为研究者提供学术交流平台,进一步提升阅读理解的研究水平, 推动语言理解和人工智能领域技术和应用的发展。竞赛将在第三届“语言与智能高峰论坛”举办技术交流和颁奖。诚邀学术界和工业界的研究者和开发者参加本次竞赛!
对于给定问题_q_及其对应的文本形式的候选文档集合_D=d1, d2, ..., dn,要求参评阅读理解系统自动对问题及候选文档进行分析, 输出能够满足问题的文本答案a。目标是a能够正确、完整、简洁地回答问题_q。
数据详情 本次竞赛数据集来自搜索引擎真实应用场景,其中的问题为百度搜索用户的真实问题,每个问题对应5个候选文档文本及人工整理的优质答案。
数据集共包含30万问题,包括27万的训练集,1万开发集和2万测试集。其中20万数据已在DuReader发布,包括18万训练集、1万的开发集和1万的测试集。这部分数据可自由下载(下载地址),供参赛者训练和测试使用。报名截止后,新增的10万数据集也将在数据下载区发布。
竞赛基于测试集的人工标注答案,采用ROUGH-L和BLEU4作为评价指标,以ROUGH-L为主评价指标。针对是非及实体类型问题,对ROUGE-L和BLEU4评价指标进行了微调, 适当增加了正确识别是非答案类型及匹配实体的得分奖励, 一定程度上弥补传统ROUGE-L和BLEU4指标对是非和实体类型问题评价不敏感的问题。
*详细的评价指标说明参见数据集中包含的“评测细则“文档。