[공유] (top k + 데이터 + ColBERT) dense retriever 실험 결과 #1

[papari1123]

top k와 추가데이터 유무와 ColBERT에 대한 dense retriever 실험 결과를 간략히 정리함.

1. 기존 데이터 + k=100 + ColBERT
   validation passages 240개 중 236개 hit, score = 0.9833

2. 기존 데이터 + k=10 + ColBERT
   validation passages 240개 중 219개 hit, score = 0.9125

3. 추가 데이터(ai-hub + Korquad) + k=10 + ColBERT
   validation passages 240개 중 226개 hit, score = 0.9416

추가된 데이터 + k=100 + ColBERT이면, 가장 좋은 결과가 나올 것으로 보임.

future work로 다음을 해볼 수 있음.

• 추가된 데이터 + k=100 + BM25 + ColBERT
• 추가된 데이터 + k=100 + BM25 + ColBERT + 기존 데이터로 lr 10%로 해서 finetuning
• 가장 좋은 retriever를 reader와 결합해 성능 확인