[공유] K-Fold Training (Vanilla, RoBERTa, ColBERT)

[lnyxzdevk]

Vanilla

Train + Validation data를 하나로 합친 뒤, 이를 5-fold로 나누어 학습했습니다.

Metric: EM (Exact Match)

Fold 1: 59.11
Fold 2: 56.73
Fold 3: 60.38
Fold 4: 59.90
Fold 5: 58.59

이를 Ensemble하여 aistage competition에 제출한 결과는 아래와 같습니다.

EM: 41.67, F1: 56.86 (Hard Voting)
EM: 44.17, F1: 58.64 (Soft Voting)

여기서 사용한 Hard Voting 방법은 각 output에서 가장 높은 확률을 낸 결과 값을 최종 결과값으로 선정한 방법이고, Soft Voting 방법은 각 output의 확률을 전부 더하여 가장 높은 확률을 가지는 output을 최종 결과값으로 선정한 방법입니다.

Soft Voting의 결과가 더 좋았으므로, 이후 실험들에 대해서는 Soft Voting을 ensemble 전략으로 선정했습니다.

RoBERTa

KorQuAD, KoWIKI 질문 답변 데이터 쌍으로 pretrain된 RoBERTa 모델에 aistage에서 주어진 wikipedia 데이터셋을 K-fold training 방식으로 훈련시켜 결과를 도출하였습니다.

각 Fold들에 대한 output을 ensemble하여 aistage competition에 제출한 결과는 아래와 같습니다.

EM: 47.92, F1: 62.30 (Soft Voting)

ColBERT

ColBERT Retreiver 를 사용하여 K-Fold training을 진행했습니다.

Metric: EM (Exact Match)

Fold 1: 66.63
Fold 2: 64.72
Fold 3: 65.16
Fold 4: 68.50
Fold 5: 66.35

이를 Ensemble하여 aistage competition에 제출한 결과는 아래와 같습니다.

EM: 58.75, F1: 71.75 (Soft Voting)