[공유] KorQuAD & KoWIKI 질문 답변 쌍 데이터로 fine-tuning(pre-train) 이후 train_dataset 으로 fine-tune #2

[coderJoon]

klue/RoBERTa-large + KorQuAD + Ko WIKI 로 1차 fine-tune (pre-train) 을 진행하였고, 2차로 train_dataset 을 7e-7 이라는 learning_rate 로 학습을 진행한 결과 :

• evaluation :
  • "exact_match": 61.666666666666664,
  • "f1": 69.20411220043574

이후 팀원들의 조언을 받아서 좀 더 높은 learning_rate 를 사용해보는게 어떠냐는 추천으로 새로운 실험 진행.

learning_rate 9e-6 , batch_size 16 , 2epoch 학습:

• evaluation :
  • "exact_match": 68.75
  • "f1": 75.6972
  • 기존 결과보다 월등히 높은 성능향상을 볼 수 있었음. 가중치를 더 크게 바꾸어서 우리데이터에 맞게 진행한 느낌.

동일 설정, 3 epoch 학습 시 성능 :

• evalutation:
  • "exact_match": 69.5833
  • "f1" : 76.8446
  • 4 epoch 을 실험 해볼 만한 성능.

동일 설정, 4 epoch 학습 시 성능 :

• evaluation :
  • "exact_match": 66.25
  • "f1" : 74.2566
  • 4 epoch 으로 실험 했을 때, 성능이 하락한 모습. OverFitting 예상.

결론:
3 epoch 으로 학습한 Reader 모델이 제일 좋은 성능을 보여서 3 epoch 모델로 사용할 예정.

[khs0415p]

잘 읽어봤습니다. learning rate가 큰 영향을 주네요 👍