BM25 hard negative 만드는 방법

[papari1123]

• get_relevant_doc_bulk에서 queires는 string list로 주어지고, 이걸 tokenizer가 토큰화를 합니다. = tokenized_queries
• doc_scores, doc_indices를 반환합니다.

level2_mrc_nlp-level3-nlp-08/retrieval.py

Lines 485 to 501 in f3a7e80

	with timer("transform"):
	tokenized_queris = [self.tokenize_fn(query) for query in queries]
	with timer("query ex search"):
	result = np.array(
	[
	self.bm25.get_scores(tokenized_query)
	for tokenized_query in tqdm(tokenized_queris)
	]
	)
	doc_scores = []
	doc_indices = []
	for i in range(result.shape[0]):
	sorted_result = np.argsort(result[i, :])[::-1]
	doc_scores.append(result[i, :][sorted_result].tolist()[:k])
	doc_indices.append(sorted_result.tolist()[:k])
	return doc_scores, doc_indices

• 반환된 doc_indices를 이용해, top-k개 만큼의 context들을 join으로 붙여서 하나의 context로 만듭니다.
  BM25가 이 통합된 context에서 답을 찾습니다.
  

  level2_mrc_nlp-level3-nlp-08/retrieval.py

  Lines 110 to 129 in 588e104

  	for idx, example in enumerate(
  	tqdm(query_or_dataset, desc="Sparse retrieval: ")
  	):
  	tmp = {
  	# Query와 해당 id를 반환합니다.
  	"question": example["question"],
  	"id": example["id"],
  	# Retrieve한 Passage의 id, context를 반환합니다.
  	"context": " ".join(
  	[self.contexts[pid] for pid in doc_indices[idx]]
  	),
  	}
  	if "context" in example.keys() and "answers" in example.keys():
  	# validation 데이터를 사용하면 ground_truth context와 answer도 반환합니다.
  	tmp["original_context"] = example["context"]
  	tmp["answers"] = example["answers"]
  	total.append(tmp)
  	cqas = pd.DataFrame(total)
  	return cqas

• 그런데 이 단계에서 BM25 hard negative sample을 위한 rank 파일을 생성하기 위해서는, join 코드에 임시로 separator (’$%$’)를 추가하여야 합니다.

"context": "$%$".join(
                     [self.contexts[pid] for pid in doc_indices[idx]]
                    ),

• 이후 생성된 dataframe(아래 코드에서 df)를 bm25_rank.csv로 저장합니다.

level2_mrc_nlp-level3-nlp-08/inference.py

Line 124 in 588e104

df = retriever.retrieve(datasets["validation"], topk=data_args.top_k_retrieval)

• bm25_rank.csv에서 쿼리 id를 키값으로 가지는 hard negative를 뽑는 전처리가 필요하기 때문에 아래 코드를 노트북에서 돌렸습니다.
• 코드는 단순하며, context 에 답이 있는 postive sample은 제외하는 로직입니다.
• bm25에서 top-k를 작게 줬다면 주어진 query에서 모든 context에 답이 있는 경우가 생겨 hard negative 샘플이 없는 경우도 생길 수 있습니다.

from collections import defaultdict
import pandas as pd
import pickle

bm_rank = pd.read_csv('colbert/rank/bm25_rank.csv')

bm25_hard = defaultdict(list)
for idx, row in list(bm_rank.iterrows()):
    context_list = row['context'].split('$%$')
    ans = row['answers'].split("'text': [")[1].split("]}")[0][1:-1]
    id = row['id']
    for rank, context in enumerate(context_list):
        if not ans in context:
            bm25_hard[id].append(context)

with open("colbert/bm25rank_dict.pickle","wb") as fw:
    pickle.dump(bm25_hard, fw)

• 기타 보고된 문제 : BM25할 때 sequence length 길이가 초과되는 문제가 있으나, 아직 해결되지 않았습니다.

Token indices sequence length is longer than the specified maximum sequence length for this model (968 > 512). Running this sequence through the model will result in indexing errors