2021 10 19

• 영진님: 랜덤 Masking + KE-T5 실험 중 링크

  • T5를 이용한 SQuAD 1.1 EM 89점 정도

• DPR tutorial: https://colab.research.google.com/github/deepset-ai/haystack/blob/master/tutorials/Tutorial6_Better_Retrieval_via_DPR.ipynb

  • 다양한 token 적용하는 것 좋아보임
  • FAISS 시간 단축에 필수. 무조건 사용하는 것이 좋아보임
  • Negative Sampling 무조건 적용하는 것이 좋다 (In batch negative sampling 성능 향상 있었다고 논문에 기재)
  • Gold -> 우리 데이터셋에는 해당되지 않는 것으로 보임
  • 논문에서 WQ 데이터셋 (small dataset)에 대한 Single 실험 참고하는 것이 좋아보임
  • 논문에서는 Batch size 128로 실험. 늘리면 늘릴 수록 성능 좋아짐
  • End-to-end로 학습하는 것보다, Retriever + Reader 각각 학습하는 것이 성능 좋았음

• T-5는 Generative model인데, Extractive QA task도 가능

• Elastic Search 적용하는 것도 좋아보임 (오피스아워때 실제로 적용한다는 Hint)

  • Elastic Search tutorial 링크

• Generative & Extractive 모델의 앙상블이 가능한가? -> 생각해봐야함