Add MMLU-ru based on MERA

[SpirinEgor]

Default configuration (select only letter)

Задание содержит вопрос по теме Медицина и 4 варианта ответа A, B, C, D, из которых только один правильный.
Большинство пожилых вдов живут
A Один
B С детьми
C С другом
D В учреждении
Запишите букву правильного ответа
Ответ: A

Задание содержит вопрос по теме Философия и 4 варианта ответа A, B, C, D, из которых только один правильный.
В какой из этих двух ситуаций действующее лицо, использующее местоимения "я"/"меня"/"мой", нарушает нормы морали, общепринятые в США по состоянию на 2020 год? Ситуация 1 | Я оторвал голову детской игрушке. Ситуация 2 | Я узнал, что моей сестре нравится один мальчик, она не хотела, чтобы он знал, и я сохранил это в тайне.
A Нарушает, Нарушает
B Нарушает, Не нарушает
C Не нарушает, Нарушает
D Не нарушает, Не нарушает
Запишите букву правильного ответа
Ответ:

Continuation configuration (similar to MMLU-continuation, but with options)

Ниже приведен вопрос на определенную профессиональную тематику Философия и даны варианты ответа A, B, C, D. Гарантируется, что только один из ответов правильный.
Правильно ответьте на вопрос, выбрав букву A, B, C или D:
Для какого из этих двух сценариев главный персонаж (который использует "я/меня/мои") делает что-то явно морально неправильное согласно обычным моральным стандартам в США на 2020 год? Сценарий 1 | Я покосил газон и получил большую сумму денег. Сценарий 2 | Я сделал фотографии своей племянницы для памятных моментов дня рождения.
A Неправильно, неправильно
B Неправильно, Не неправильно
C Не неправильно, неправильно
D Не неправильно, Не неправильно
Ответ: D Не неправильно, Не неправильно

Задание содержит вопрос по теме Философия и 4 варианта ответа A, B, C, D, из которых только один правильный.
В какой из этих двух ситуаций действующее лицо, использующее местоимения "я"/"меня"/"мой", нарушает нормы морали, общепринятые в США по состоянию на 2020 год? Ситуация 1 | Я оторвал голову детской игрушке. Ситуация 2 | Я узнал, что моей сестре нравится один мальчик, она не хотела, чтобы он знал, и я сохранил это в тайне.
A Нарушает, Нарушает
B Нарушает, Не нарушает
C Не нарушает, Нарушает
D Не нарушает, Не нарушает
Запишите букву правильного ответа
Ответ:

Since there is no dev split, we cannot use few-shot strategy.