Ссылка на статью: arXiv

Ключевые моменты

В статье описан вопросно-ответный датасет Squad.
Датасет - это множество троек вида (вопрос, ответ, пара абзацев где описывается ответ).

107,785 пар (вопрос, ответ).
Лучшая F1 полученная в статье - 51%.
F1 человека - 86.8%.
Хорошо описан процесс сбора датасета через краудсорсинг.
Категории ответов.

Два типа оценки качества: F1 и Exact Match.