From a70e1cf2841d7cbaa95ba75a3bad914b5503989a Mon Sep 17 00:00:00 2001 From: yanqiangmiffy Date: Mon, 11 Nov 2024 12:32:29 +0800 Subject: [PATCH 1/5] =?UTF-8?q?features@=E6=B7=BB=E5=8A=A0=E6=A8=A1?= =?UTF-8?q?=E7=B3=8A=E5=8C=B9=E9=85=8D?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- gomate/modules/citation/citation_match.json | 122 +++++++++++++ .../modules/citation/citation_match_res.json | 166 ++++++++++++++++++ gomate/modules/citation/match_citation.py | 39 ++-- 3 files changed, 316 insertions(+), 11 deletions(-) create mode 100644 gomate/modules/citation/citation_match.json create mode 100644 gomate/modules/citation/citation_match_res.json diff --git a/gomate/modules/citation/citation_match.json b/gomate/modules/citation/citation_match.json new file mode 100644 index 0000000..2b4b24b --- /dev/null +++ b/gomate/modules/citation/citation_match.json @@ -0,0 +1,122 @@ +{ + "question": "法定年休假时间可以跨年使用吗？", + "response": "\n根据计算所的规章制度，法定年休假时间原则上不跨年使用。但是，在特定情况下，如果部门因工作需要难以在当年安排员工休假（指员工当年未休满应享受的法定年休假），可以采取以下措施：\n\n1. 部门应向员工发出《难以安排年休假的通知》（附件一，一式二份，本人一份，另一份由员工签名后留存）。\n2. 如果员工本人选择跨年度休假的，可以跨一个年度安排休法假。\n\n需要注意的是，计算所增设的年假是不允许跨年使用的。此外，只有当年在岗工作满9个月的人员才能享受当年的法定年休假；连续工作不满9个月的员工应从下一年起开始享受年休假。\n\n综上所述，法定年休假时间通常不跨年使用，但在特定条件下且经双方同意的情况下可以跨一个年度使用。", + "evidences": [ + "年休假的使用：\n原则上，法定年休假时间不跨年使用。但部门因工作需要难以在当年安排员工休假的（指员工当年未休满应享受的法定年休假），应将《难以安排年休假的通知》（附件一，一式二份，本人一份，另一份本人签名后留存）发给员工本人，本人选择跨年度休假的，可跨一个年度安排休法假。", + "年休假的使用：\n原则上，法定年休假时间不跨年使用。但部门因工作需要难以在当年安排员工休假的（指员工当年未休满应享受的法定年休假），应将《难以安排年休假的通知》（附件一，一式二份，本人一份，另一份本人签名后留存）发给员工本人，本人选择跨年度休假的，可跨一个年度安排休法假。", + "适用范围：\n原则上，只有当年在岗工作满9个月的人员，当年可以享受年休假，连续工作不满9个月的，应从下一年起开始享受年休假。", + "适用范围：\n原则上，只有当年在岗工作满9个月的人员，当年可以享受年休假，连续工作不满9个月的，应从下一年起开始享受年休假。", + "年休假的使用：\n员工当年因个人原因申请休年假的，优先扣减本人应享受年休假中的法定年休假。", + "年休假的使用：\n员工当年因个人原因申请休年假的，优先扣减本人应享受年休假中的法定年休假。", + "年休假的使用：\n计算所增设的年假不许可跨年使用。", + "年休假的使用：\n计算所增设的年假不许可跨年使用。" + ], + "selected_idx": [ + 0, + 1, + 2, + 3, + 4, + 5, + 14, + 15 + ], + "selected_docs": [ + { + "file_name": "00-计算所工作人员年休假实施办法-发文.json", + "content": "年休假的使用：\n原则上，法定年休假时间不跨年使用。但部门因工作需要难以在当年安排员工休假的（指员工当年未休满应享受的法定年休假），应将《难以安排年休假的通知》（附件一，一式二份，本人一份，另一份本人签名后留存）发给员工本人，本人选择跨年度休假的，可跨一个年度安排休法假。", + "chk_id": 13, + "doc_id": 40937, + "newsinfo": { + "content": "年休假的使用：\n原则上，法定年休假时间不跨年使用。但部门因工作需要难以在当年安排员工休假的（指员工当年未休满应享受的法定年休假），应将《难以安排年休假的通知》（附件一，一式二份，本人一份，另一份本人签名后留存）发给员工本人，本人选择跨年度休假的，可跨一个年度安排休法假。", + "source": "00-计算所工作人员年休假实施办法-发文", + "date": "", + "title": "计算所工作人员年休假实施办法" + } + }, + { + "file_name": "计算所工作人员年休假实施办法.json", + "content": "年休假的使用：\n原则上，法定年休假时间不跨年使用。但部门因工作需要难以在当年安排员工休假的（指员工当年未休满应享受的法定年休假），应将《难以安排年休假的通知》（附件一，一式二份，本人一份，另一份本人签名后留存）发给员工本人，本人选择跨年度休假的，可跨一个年度安排休法假。", + "chk_id": 13, + "doc_id": 40932, + "newsinfo": { + "content": "年休假的使用：\n原则上，法定年休假时间不跨年使用。但部门因工作需要难以在当年安排员工休假的（指员工当年未休满应享受的法定年休假），应将《难以安排年休假的通知》（附件一，一式二份，本人一份，另一份本人签名后留存）发给员工本人，本人选择跨年度休假的，可跨一个年度安排休法假。", + "source": "计算所工作人员年休假实施办法", + "date": "", + "title": "计算所工作人员年休假实施办法" + } + }, + { + "file_name": "00-计算所工作人员年休假实施办法-发文.json", + "content": "适用范围：\n原则上，只有当年在岗工作满9个月的人员，当年可以享受年休假，连续工作不满9个月的，应从下一年起开始享受年休假。", + "chk_id": 4, + "doc_id": 40937, + "newsinfo": { + "content": "适用范围：\n原则上，只有当年在岗工作满9个月的人员，当年可以享受年休假，连续工作不满9个月的，应从下一年起开始享受年休假。", + "source": "00-计算所工作人员年休假实施办法-发文", + "date": "", + "title": "计算所工作人员年休假实施办法" + } + }, + { + "file_name": "计算所工作人员年休假实施办法.json", + "content": "适用范围：\n原则上，只有当年在岗工作满9个月的人员，当年可以享受年休假，连续工作不满9个月的，应从下一年起开始享受年休假。", + "chk_id": 4, + "doc_id": 40932, + "newsinfo": { + "content": "适用范围：\n原则上，只有当年在岗工作满9个月的人员，当年可以享受年休假，连续工作不满9个月的，应从下一年起开始享受年休假。", + "source": "计算所工作人员年休假实施办法", + "date": "", + "title": "计算所工作人员年休假实施办法" + } + }, + { + "file_name": "00-计算所工作人员年休假实施办法-发文.json", + "content": "年休假的使用：\n员工当年因个人原因申请休年假的，优先扣减本人应享受年休假中的法定年休假。", + "chk_id": 12, + "doc_id": 40937, + "newsinfo": { + "content": "年休假的使用：\n员工当年因个人原因申请休年假的，优先扣减本人应享受年休假中的法定年休假。", + "source": "00-计算所工作人员年休假实施办法-发文", + "date": "", + "title": "计算所工作人员年休假实施办法" + } + }, + { + "file_name": "计算所工作人员年休假实施办法.json", + "content": "年休假的使用：\n员工当年因个人原因申请休年假的，优先扣减本人应享受年休假中的法定年休假。", + "chk_id": 12, + "doc_id": 40932, + "newsinfo": { + "content": "年休假的使用：\n员工当年因个人原因申请休年假的，优先扣减本人应享受年休假中的法定年休假。", + "source": "计算所工作人员年休假实施办法", + "date": "", + "title": "计算所工作人员年休假实施办法" + } + }, + { + "file_name": "00-计算所工作人员年休假实施办法-发文.json", + "content": "年休假的使用：\n计算所增设的年假不许可跨年使用。", + "chk_id": 14, + "doc_id": 40937, + "newsinfo": { + "content": "年休假的使用：\n计算所增设的年假不许可跨年使用。", + "source": "00-计算所工作人员年休假实施办法-发文", + "date": "", + "title": "计算所工作人员年休假实施办法" + } + }, + { + "file_name": "计算所工作人员年休假实施办法.json", + "content": "年休假的使用：\n计算所增设的年假不许可跨年使用。", + "chk_id": 14, + "doc_id": 40932, + "newsinfo": { + "content": "年休假的使用：\n计算所增设的年假不许可跨年使用。", + "source": "计算所工作人员年休假实施办法", + "date": "", + "title": "计算所工作人员年休假实施办法" + } + } + ] +} \ No newline at end of file diff --git a/gomate/modules/citation/citation_match_res.json b/gomate/modules/citation/citation_match_res.json new file mode 100644 index 0000000..b6e33c6 --- /dev/null +++ b/gomate/modules/citation/citation_match_res.json @@ -0,0 +1,166 @@ +{ + "question": "法定年休假时间可以跨年使用吗？", + "response": "\n根据计算所的规章制度，法定年休假时间原则上不跨年使用。但是，在特定情况下，如果部门因工作需要难以在当年安排员工休假（指员工当年未休满应享受的法定年休假），可以采取以下措施：\n\n1. 部门应向员工发出《难以安排年休假的通知》（附件一，一式二份，本人一份，另一份由员工签名后留存）。\n2. 如果员工本人选择跨年度休假的，可以跨一个年度安排休法假。\n\n需要注意的是，计算所增设的年假是不允许跨年使用的。此外，只有当年在岗工作满9个月的人员才能享受当年的法定年休假；连续工作不满9个月的员工应从下一年起开始享受年休假。\n\n综上所述，法定年休假时间通常不跨年使用，但在特定条件下且经双方同意的情况下可以跨一个年度使用。", + "evidences": [ + "年休假的使用：\n原则上，法定年休假时间不跨年使用。但部门因工作需要难以在当年安排员工休假的（指员工当年未休满应享受的法定年休假），应将《难以安排年休假的通知》（附件一，一式二份，本人一份，另一份本人签名后留存）发给员工本人，本人选择跨年度休假的，可跨一个年度安排休法假。", + "年休假的使用：\n原则上，法定年休假时间不跨年使用。但部门因工作需要难以在当年安排员工休假的（指员工当年未休满应享受的法定年休假），应将《难以安排年休假的通知》（附件一，一式二份，本人一份，另一份本人签名后留存）发给员工本人，本人选择跨年度休假的，可跨一个年度安排休法假。", + "适用范围：\n原则上，只有当年在岗工作满9个月的人员，当年可以享受年休假，连续工作不满9个月的，应从下一年起开始享受年休假。", + "适用范围：\n原则上，只有当年在岗工作满9个月的人员，当年可以享受年休假，连续工作不满9个月的，应从下一年起开始享受年休假。", + "年休假的使用：\n员工当年因个人原因申请休年假的，优先扣减本人应享受年休假中的法定年休假。", + "年休假的使用：\n员工当年因个人原因申请休年假的，优先扣减本人应享受年休假中的法定年休假。", + "年休假的使用：\n计算所增设的年假不许可跨年使用。", + "年休假的使用：\n计算所增设的年假不许可跨年使用。" + ], + "selected_idx": [ + 0, + 1, + 2, + 3, + 4, + 5, + 14, + 15 + ], + "selected_docs": [ + { + "file_name": "00-计算所工作人员年休假实施办法-发文.json", + "content": "年休假的使用：\n原则上，法定年休假时间不跨年使用。但部门因工作需要难以在当年安排员工休假的（指员工当年未休满应享受的法定年休假），应将《难以安排年休假的通知》（附件一，一式二份，本人一份，另一份本人签名后留存）发给员工本人，本人选择跨年度休假的，可跨一个年度安排休法假。", + "chk_id": 13, + "doc_id": 40937, + "newsinfo": { + "content": "年休假的使用：\n原则上，法定年休假时间不跨年使用。但部门因工作需要难以在当年安排员工休假的（指员工当年未休满应享受的法定年休假），应将《难以安排年休假的通知》（附件一，一式二份，本人一份，另一份本人签名后留存）发给员工本人，本人选择跨年度休假的，可跨一个年度安排休法假。", + "source": "00-计算所工作人员年休假实施办法-发文", + "date": "", + "title": "计算所工作人员年休假实施办法" + } + }, + { + "file_name": "计算所工作人员年休假实施办法.json", + "content": "年休假的使用：\n原则上，法定年休假时间不跨年使用。但部门因工作需要难以在当年安排员工休假的（指员工当年未休满应享受的法定年休假），应将《难以安排年休假的通知》（附件一，一式二份，本人一份，另一份本人签名后留存）发给员工本人，本人选择跨年度休假的，可跨一个年度安排休法假。", + "chk_id": 13, + "doc_id": 40932, + "newsinfo": { + "content": "年休假的使用：\n原则上，法定年休假时间不跨年使用。但部门因工作需要难以在当年安排员工休假的（指员工当年未休满应享受的法定年休假），应将《难以安排年休假的通知》（附件一，一式二份，本人一份，另一份本人签名后留存）发给员工本人，本人选择跨年度休假的，可跨一个年度安排休法假。", + "source": "计算所工作人员年休假实施办法", + "date": "", + "title": "计算所工作人员年休假实施办法" + } + }, + { + "file_name": "00-计算所工作人员年休假实施办法-发文.json", + "content": "适用范围：\n原则上，只有当年在岗工作满9个月的人员，当年可以享受年休假，连续工作不满9个月的，应从下一年起开始享受年休假。", + "chk_id": 4, + "doc_id": 40937, + "newsinfo": { + "content": "适用范围：\n原则上，只有当年在岗工作满9个月的人员，当年可以享受年休假，连续工作不满9个月的，应从下一年起开始享受年休假。", + "source": "00-计算所工作人员年休假实施办法-发文", + "date": "", + "title": "计算所工作人员年休假实施办法" + } + }, + { + "file_name": "计算所工作人员年休假实施办法.json", + "content": "适用范围：\n原则上，只有当年在岗工作满9个月的人员，当年可以享受年休假，连续工作不满9个月的，应从下一年起开始享受年休假。", + "chk_id": 4, + "doc_id": 40932, + "newsinfo": { + "content": "适用范围：\n原则上，只有当年在岗工作满9个月的人员，当年可以享受年休假，连续工作不满9个月的，应从下一年起开始享受年休假。", + "source": "计算所工作人员年休假实施办法", + "date": "", + "title": "计算所工作人员年休假实施办法" + } + }, + { + "file_name": "00-计算所工作人员年休假实施办法-发文.json", + "content": "年休假的使用：\n员工当年因个人原因申请休年假的，优先扣减本人应享受年休假中的法定年休假。", + "chk_id": 12, + "doc_id": 40937, + "newsinfo": { + "content": "年休假的使用：\n员工当年因个人原因申请休年假的，优先扣减本人应享受年休假中的法定年休假。", + "source": "00-计算所工作人员年休假实施办法-发文", + "date": "", + "title": "计算所工作人员年休假实施办法" + } + }, + { + "file_name": "计算所工作人员年休假实施办法.json", + "content": "年休假的使用：\n员工当年因个人原因申请休年假的，优先扣减本人应享受年休假中的法定年休假。", + "chk_id": 12, + "doc_id": 40932, + "newsinfo": { + "content": "年休假的使用：\n员工当年因个人原因申请休年假的，优先扣减本人应享受年休假中的法定年休假。", + "source": "计算所工作人员年休假实施办法", + "date": "", + "title": "计算所工作人员年休假实施办法" + } + }, + { + "file_name": "00-计算所工作人员年休假实施办法-发文.json", + "content": "年休假的使用：\n计算所增设的年假不许可跨年使用。", + "chk_id": 14, + "doc_id": 40937, + "newsinfo": { + "content": "年休假的使用：\n计算所增设的年假不许可跨年使用。", + "source": "00-计算所工作人员年休假实施办法-发文", + "date": "", + "title": "计算所工作人员年休假实施办法" + } + }, + { + "file_name": "计算所工作人员年休假实施办法.json", + "content": "年休假的使用：\n计算所增设的年假不许可跨年使用。", + "chk_id": 14, + "doc_id": 40932, + "newsinfo": { + "content": "年休假的使用：\n计算所增设的年假不许可跨年使用。", + "source": "计算所工作人员年休假实施办法", + "date": "", + "title": "计算所工作人员年休假实施办法" + } + } + ], + "result": "\n根据计算所的规章制度，法定年休假时间原则上不跨年使用。[1]但是，在特定情况下，如果部门因工作需要难以在当年安排员工休假（指员工当年未休满应享受的法定年休假），可以采取以下措施：[1]\n\n1. 部门应向员工发出《难以安排年休假的通知》（附件一，一式二份，本人一份，另一份由员工签名后留存）。[1]\n2. 如果员工本人选择跨年度休假的，可以跨一个年度安排休法假。[1]\n\n需要注意的是，计算所增设的年假是不允许跨年使用的。此外，只有当年在岗工作满9个月的人员才能享受当年的法定年休假；[1]连续工作不满9个月的员工应从下一年起开始享受年休假。[1]\n\n综上所述，法定年休假时间通常不跨年使用，但在特定条件下且经双方同意的情况下可以跨一个年度使用。", + "quote_list": [ + { + "doc_list": [ + { + "doc_id": 40937, + "chk_id": 13, + "doc_source": "00-计算所工作人员年休假实施办法-发文", + "doc_date": "", + "doc_title": "计算所工作人员年休假实施办法", + "chk_content": "年休假的使用：\n原则上，法定年休假时间不跨年使用。但部门因工作需要难以在当年安排员工休假的（指员工当年未休满应享受的法定年休假），应将《难以安排年休假的通知》（附件一，一式二份，本人一份，另一份本人签名后留存）发给员工本人，本人选择跨年度休假的，可跨一个年度安排休法假。", + "best_ratio": 0.7142857142857143, + "highlight": [ + [ + 8, + 24 + ] + ] + }, + { + "doc_id": 40932, + "chk_id": 13, + "doc_source": "计算所工作人员年休假实施办法", + "doc_date": "", + "doc_title": "计算所工作人员年休假实施办法", + "chk_content": "年休假的使用：\n原则上，法定年休假时间不跨年使用。但部门因工作需要难以在当年安排员工休假的（指员工当年未休满应享受的法定年休假），应将《难以安排年休假的通知》（附件一，一式二份，本人一份，另一份本人签名后留存）发给员工本人，本人选择跨年度休假的，可跨一个年度安排休法假。", + "best_ratio": 0.7142857142857143, + "highlight": [ + [ + 8, + 24 + ] + ] + } + ], + "chk_content": "年休假的使用：\n原则上，法定年休假时间不跨年使用。但部门因工作需要难以在当年安排员工休假的（指员工当年未休满应享受的法定年休假），应将《难以安排年休假的通知》（附件一，一式二份，本人一份，另一份本人签名后留存）发给员工本人，本人选择跨年度休假的，可跨一个年度安排休法假。", + "highlight": [ + [ + 8, + 24 + ] + ] + } + ] +} \ No newline at end of file diff --git a/gomate/modules/citation/match_citation.py b/gomate/modules/citation/match_citation.py index aeee658..61d4ff7 100644 --- a/gomate/modules/citation/match_citation.py +++ b/gomate/modules/citation/match_citation.py @@ -85,12 +85,17 @@ def ground_response( "selected_docs": selected_docs } # Save to JSON file - output_file = "citation_match.json" - with open(output_file, 'w', encoding='utf-8') as f: - json.dump(json_data, f, ensure_ascii=False, indent=4) + try: + output_file = "/home/yanqiang/code/citation_match.json" + with open(output_file, 'w', encoding='utf-8') as f: + json.dump(json_data, f, ensure_ascii=False, indent=4) + except Exception as e: + output_file = "citation_match.json" + with open(output_file, 'w', encoding='utf-8') as f: + json.dump(json_data, f, ensure_ascii=False, indent=4) loguru.logger.info(f"Parameters saved to {output_file}") sentences = self.cut(response) - + # print(sentences) contents = [{"content": sentence} for sentence in sentences] for cit_idx, citation in enumerate(contents): citation['citation_content'] = [] @@ -125,7 +130,7 @@ def ground_response( citation['best_idx'].append(best_idx) citation['best_ratio'].append(best_ratio) citation['highlighted_start_end'].append(highlighted_start_end) - print(contents) + # print(contents) citation_cnt = 0 is_citation_exists = [] @@ -143,7 +148,6 @@ def ground_response( is_group_exists = [] for citation_idx, citation in enumerate(contents): final_response.append(f"{citation['content']}") - best_idxes = citation['best_idx'] if len(best_idxes) > 0: is_doc_id_exists = [] @@ -193,11 +197,24 @@ def ground_response( if doc_id_list not in is_group_exists: quote_list.append(group_data) best_indices += 1 - final_response.append(f"{[best_indices]}") + + # 检查 final_response 的最后一个元素是否以换行符结尾 + if final_response and final_response[-1].endswith("\n"): + # 去除换行符,并将其添加到新的元素中 + final_response[-1] = final_response[-1][:-1] + final_response.append(f"{[best_indices]}\n") + else: + final_response.append(f"{[best_indices]}") + is_group_exists.append(doc_id_list) else: - # print("已存在") - final_response.append(f"{[is_group_exists.index(doc_id_list) + 1]}") + # 检查 final_response 的最后一个元素是否以换行符结尾 + if final_response and final_response[-1].endswith("\n"): + # 去除换行符,并将其添加到新的元素中 + final_response[-1] = final_response[-1][:-1] + final_response.append(f"{[is_group_exists.index(doc_id_list) + 1]}\n") + else: + final_response.append(f"{[is_group_exists.index(doc_id_list) + 1]}") data = {'result': ''.join(final_response), 'quote_list': quote_list, 'summary': ''} # Save to JSON file @@ -208,14 +225,14 @@ def ground_response( json.dump(json_data, f, ensure_ascii=False, indent=4) loguru.logger.info(f"Parameters saved to {output_file}") - print(json_data) + # print(json_data) return data if __name__ == '__main__': mc = MatchCitation() - with open(f'{PROJECT_BASE}/data/docs/citations_samples/sample19.json', 'r', encoding='utf-8') as f: + with open(f'{PROJECT_BASE}/data/docs/citations_samples/citation_match.json', 'r', encoding='utf-8') as f: input_data = json.load(f) result = mc.ground_response( question=input_data["question"], From cc981a8a2ce45de9f6981dcc99dfe013eb34e2ec Mon Sep 17 00:00:00 2001 From: yanqiangmiffy Date: Mon, 11 Nov 2024 13:20:35 +0800 Subject: [PATCH 2/5] =?UTF-8?q?judger@=E5=9F=BA=E4=BA=8E=E5=A4=A7=E6=A8=A1?= =?UTF-8?q?=E5=9E=8B=E5=88=A4=E6=96=AD=E6=96=87=E6=A1=A3=E6=98=AF=E5=90=A6?= =?UTF-8?q?=E7=BB=99=E5=92=8C=E9=97=AE=E9=A2=98=E7=9B=B8=E5=85=B3?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- api/apps/core/judge/bodys.py | 1 + api/apps/core/judge/views.py | 31 +- api/apps/core/rerank/views.py | 3 - examples/judger/chatgpt_judger.py | 23 + examples/judger/citation.json | 668 ++++++++++++++++++++++++ gomate/modules/judger/chatgpt_judger.py | 86 +++ 6 files changed, 801 insertions(+), 11 deletions(-) create mode 100644 examples/judger/chatgpt_judger.py create mode 100644 examples/judger/citation.json create mode 100644 gomate/modules/judger/chatgpt_judger.py diff --git a/api/apps/core/judge/bodys.py b/api/apps/core/judge/bodys.py index f9c54fd..e50e4e4 100644 --- a/api/apps/core/judge/bodys.py +++ b/api/apps/core/judge/bodys.py @@ -29,3 +29,4 @@ class JudgeBody(BaseModel): "此外，成员国还在知识产权、电子商务、竞争、政府采购和中小企业等领域制订了高标准的自由贸易规则。 　　根据RCEP规定，协定签署后，RCEP各成员国将各自履行国内法律审批程序。协定生效需15个成员中至少9个成员批准，其中至少包括6个东盟成员国和中国、日本、韩国、澳大利亚和新西兰中至少3个国家。 　　新签署的协定吸引了全世界的注意力，具有以下重要意义：首先，RCEP是当今世界上最大的自由贸易协定。该协定覆盖22亿人口，约占世界人口的30%，国内生产总值（GDP）达26.", "Nov 15, 2020 ... RCEP成员国包括东盟10国与中国、日本、韩国、澳大利亚、新西兰。RCEP是全球最大的自贸协定，15个成员国总人口、经济体量、贸易总额均占全球总量约30% ..." ], description="重排序检索文档") + method: str = Field("llm", description="使用方法llm或者bge") diff --git a/api/apps/core/judge/views.py b/api/apps/core/judge/views.py index 1b825a6..bb3bba5 100644 --- a/api/apps/core/judge/views.py +++ b/api/apps/core/judge/views.py @@ -15,25 +15,40 @@ from api.apps.core.judge.bodys import JudgeBody from api.apps.handle.response.json_response import ApiResponse from gomate.modules.judger.bge_judger import BgeJudger, BgeJudgerConfig +from gomate.modules.judger.chatgpt_judger import OpenaiJudger, OpenaiJudgerConfig judge_router = APIRouter() + judge_config = BgeJudgerConfig( model_name_or_path="/data/users/searchgpt/pretrained_models/bge-reranker-large" ) bge_judger = BgeJudger(judge_config) +judger_config = OpenaiJudgerConfig( + api_url="https://aicloud.oneainexus.cn:30013/inference/aicloud-yanqiang/gomatellm/" +) +openai_judger = OpenaiJudger(judger_config) + # Create @judge_router.post("/judge/", response_model=None, summary="判断文档相关性") async def judge(judge_body: JudgeBody): contexts = judge_body.contexts query = judge_body.query - loguru.logger.info(query) - loguru.logger.info(contexts) - judge_docs = bge_judger.judge( - query=query, - documents=contexts, - is_sorted=False - ) - loguru.logger.info(judge_docs) + method = judge_body.method + + if method == 'llm': + loguru.logger.info("llm judge ...") + judge_docs = openai_judger.judge( + query=query, + documents=contexts, + is_sorted=False + ) + else: + loguru.logger.info("bge judge...") + judge_docs = bge_judger.judge( + query=query, + documents=contexts, + is_sorted=False + ) return ApiResponse(judge_docs, message="判断文档是否相关成功") diff --git a/api/apps/core/rerank/views.py b/api/apps/core/rerank/views.py index abcc3e6..eeef97f 100644 --- a/api/apps/core/rerank/views.py +++ b/api/apps/core/rerank/views.py @@ -31,12 +31,9 @@ async def rerank(rerank_body: RerankBody): contexts = rerank_body.contexts query=rerank_body.query - loguru.logger.info(query) - loguru.logger.info(contexts) top_docs = bge_reranker.rerank( query=query, documents=contexts, is_sorted=False ) - loguru.logger.info(top_docs) return ApiResponse(top_docs, message="重排序检索文档成功") diff --git a/examples/judger/chatgpt_judger.py b/examples/judger/chatgpt_judger.py new file mode 100644 index 0000000..609d715 --- /dev/null +++ b/examples/judger/chatgpt_judger.py @@ -0,0 +1,23 @@ +import json + +from gomate.modules.judger.chatgpt_judger import OpenaiJudger, OpenaiJudgerConfig + +if __name__ == '__main__': + + with open('citation.json', 'r', encoding="utf-8") as f: + data = json.load(f) + + judger_config = OpenaiJudgerConfig( + api_url="https://aicloud.oneainexus.cn:30013/inference/aicloud-yanqiang/gomatellm/" + ) + openai_judger = OpenaiJudger(judger_config) + + documents = [ + f"标题：{doc['newsinfo']['title']}\n日期：{doc['newsinfo']['date']}\n内容：{doc['newsinfo']['content']}\n" for doc + in data['selected_docs'] + ] + top_docs = openai_judger.judge( + query="在“一带一路”国际合作高峰论坛上，习近平讲了什么？", + documents=documents, + ) + print(top_docs) diff --git a/examples/judger/citation.json b/examples/judger/citation.json new file mode 100644 index 0000000..dfbc497 --- /dev/null +++ b/examples/judger/citation.json @@ -0,0 +1,668 @@ +{ + "question": "在“一带一路”国际合作高峰论坛上，习近平讲了什么？", + "response": "\n```json\n{\n \"summary\": \"在“一带一路”国际合作高峰论坛上，习近平强调了“一带一路”倡议的重要性，提出了共建人类命运共同体的理念，并详细阐述了“一带一路”建设的原则和目标。\",\n \"contents\": [\n {\n \"title\": \"“一带一路”倡议的重要性\",\n \"content\": \"习近平强调，“一带一路”建设是我们推动构建人类命运共同体的重要实践平台。几年来，“一带一路”建设从理念到行动，发展成为实实在在的国际合作，取得了令人瞩目的成就。\"\n },\n {\n \"title\": \"共建人类命运共同体\",\n \"content\": \"习近平指出，世界正处于百年未有之大变局。国际合作的前景、全球性挑战的出路、人类社会的未来，引起越来越多有识之士的思考。我们主张，要树立人类命运共同体意识，建设好、呵护好人类共有的地球家园。\"\n },\n {\n \"title\": \"“一带一路”建设的原则\",\n \"content\": \"习近平强调，“一带一路”建设秉持的是共商、共建、共享原则，不是封闭的，而是开放包容的；不是中国一家的独奏，而是沿线国家的合唱。我们要坚持多边主义，推动形成以高峰论坛为引领、各领域多双边合作为支撑的架构。\"\n },\n {\n \"title\": \"'一带一路'的目标\",\n \"content\": \"习近平指出，“一带一路”建设的目的就是共商合作大计，共建合作平台，共享合作成果，让‘一带一路’建设更好造福各国人民。我们要加强同联合国2030年可持续发展议程的对接。共建‘一带一路’突出发展视角，将为落实联合国2030年可持续发展议程、推动广大发展中国家可持续发展作出重要贡献。\"\n },\n {\n \"title\": \"'一带一路'的合作前景\",\n \"content\": \"习近平强调，“一带一路”的朋友圈越来越大，好伙伴越来越多，合作质量越来越高，发展前景越来越好。中国愿同各方一道，落实好本届高峰论坛各项共识，共同推动共建‘一带一路’合作走深走实、行稳致远、高质量发展。\"\n }\n ]\n}\n```", + "evidences": [ + "\n习近平指出，中方主办这次高峰论坛，目的就是共商合作大计，共建合作平台，共享合作成果，让“一带一路”建设更好造福各国人民。", + "\n习近平在致辞中说，中国古语说，时在中春，阳和方起。在这个孕育希望的季节，第二届“一带一路”国际合作高峰论坛如约而至。首先，我谨代表中国政府和中国人民，代表我的夫人，并以我个人的名义，对各位嘉宾表示热烈的欢迎！", + "\n习近平在开幕辞中指出，首届“一带一路”国际合作高峰论坛举行两年来，我们本着共商共建共享原则，全面推进政策沟通、设施联通、贸易畅通、资金融通、民心相通，为世界经济增长注入了新动力，为全球发展开辟了新空间。我们再次举行高峰论坛，就是希望同各方一道，让共建“一带一路”走深走实，更好造福各国人民。", + "\n习近平指出，当前形势下，即将举办的“一带一路”国际合作高峰论坛有利于凝聚各方共识，深化国际合作，推动经济全球化进程向更加开放、包容、普惠、平衡、共赢方向发展。越南是“一带一路”沿线重要国家。希望中越双方以这次高峰论坛为契机，加强发展战略对接，推进各领域务实合作，实现共同发展、共同繁荣。", + "\n习近平指出，中方赞同把高质量基础设施建设作为推进包容发展的重要抓手。不久前在北京成功举办的第二届“一带一路”国际合作高峰论坛围绕高质量共建“一带一路”达成广泛共识和丰硕成果。我们要坚持共商共建共享原则，践行开放、绿色、廉洁的理念，致力于实现高标准、惠民生、可持续的目标。最终目的是通过全方位互联互通，更好融入全球供应链、产业链、价值链，实现联动发展。我们要加强同联合国2030年可持续发展议程的对接。共建“一带一路”突出发展视角，将为落实联合国2030年可持续发展议程、推动广大发展中国家可持续发展作出重要贡献。共建“一带一路”致力于推动国际社会各成员共同发展，已成为造福各方的国际公共产品和开放包容的国际合作平台。我们欢迎所有感兴趣的合作伙伴共同参与，携手做大互利共赢的“蛋糕”，将在国际社会共同愿景和普遍共识基础上，继续推进政策沟通对接以及务实合作，为推动世界经济强劲、可持续、平衡、包容增长作出贡献，实现各国高质量发展和共同繁荣。", + "\n习近平指出，中方赞同把高质量基础设施建设作为推进包容发展的重要抓手。不久前在北京成功举办的第二届“一带一路”国际合作高峰论坛围绕高质量共建“一带一路”达成广泛共识和丰硕成果。我们要坚持共商共建共享原则，践行开放、绿色、廉洁的理念，致力于实现高标准、惠民生、可持续的目标。最终目的是通过全方位互联互通，更好融入全球供应链、产业链、价值链，实现联动发展。我们要加强同联合国2030年可持续发展议程的对接。共建“一带一路”突出发展视角，将为落实联合国2030年可持续发展议程、推动广大发展中国家可持续发展作出重要贡献。共建“一带一路”致力于推动国际社会各成员共同发展，已成为造福各方的国际公共产品和开放包容的国际合作平台。我们欢迎所有感兴趣的合作伙伴共同参与，携手做大互利共赢的“蛋糕”，将在国际社会共同愿景和普遍共识基础上，继续推进政策沟通对接以及务实合作，为推动世界经济强劲、可持续、平衡、包容增长作出贡献，实现各国高质量发展和共同繁荣。", + "\n习近平强调，“一带一路”建设是我们推动构建人类命运共同体的重要实践平台。几年来，“一带一路”建设从理念到行动，发展成为实实在在的国际合作，取得了令人瞩目的成就。要抓好首届“一带一路”国际合作高峰论坛成果的落实，凝聚各方共识，规划合作愿景，扩大对外开放，加强同各国的沟通、协商、合作，推动“一带一路”建设走深走实、行稳致远，更好造福各国人民。", + "\n习近平指出，4年前，我提出共建“一带一路”倡议，得到国际社会热烈响应。今年5月，中国成功主办“一带一路”国际合作高峰论坛，同有关国家和国际组织一道勾画“一带一路”建设合作愿景，提出一系列支持沿线国家可持续发展的务实举措。", + "\n习近平指出，4年前，我提出共建“一带一路”倡议，得到国际社会热烈响应。今年5月，中国成功主办“一带一路”国际合作高峰论坛，同有关国家和国际组织一道勾画“一带一路”建设合作愿景，提出一系列支持沿线国家可持续发展的务实举措。", + "\n习近平发表致辞，代表中国政府和中国人民热烈欢迎各位嘉宾。习近平指出，在这个孕育希望的季节，第二届“一带一路”国际合作高峰论坛如约而至。我们跨越万里，相会北京，更要珍惜这次难得的聚会。", + "\n习近平强调，昨天，第二届“一带一路”国际合作高峰论坛成功闭幕。共建“一带一路”就是要建设一条开放发展之路，同时也必须是一条绿色发展之路。中国愿同各国一道，共同建设美丽地球家园，共同构建人类命运共同体。建设生态文明，功在当代，利在千秋。让我们从自己、从现在做起，把接力棒一棒一棒传下去。", + "\n习近平强调，昨天，第二届“一带一路”国际合作高峰论坛成功闭幕。共建“一带一路”就是要建设一条开放发展之路，同时也必须是一条绿色发展之路。中国愿同各国一道，共同建设美丽地球家园，共同构建人类命运共同体。建设生态文明，功在当代，利在千秋。让我们从自己、从现在做起，把接力棒一棒一棒传下去。", + "\n习近平指出，第三届“一带一路”国际合作高峰论坛成功举办，共建“一带一路”进入高质量发展的新阶段。科技合作是共建“一带一路”合作的重要组成部分。中方将弘扬以和平合作、开放包容、互学互鉴、互利共赢为核心的丝路精神，深入实施“一带一路”科技创新行动计划，推进国际科技创新交流，与各国共同挖掘创新增长潜力，激发创新合作潜能，强化创新伙伴关系，促进创新成果更多惠及各国人民，助力共建“一带一路”高质量发展，推动构建人类命运共同体。", + "\n习近平宣布，今年5月，中国将在北京主办“一带一路”国际合作高峰论坛，共商合作大计，共建合作平台，共享合作成果，为解决当前世界和区域经济面临的问题寻找方案，为实现联动式发展注入新能量，让“一带一路”建设更好造福各国人民。", + "\n习近平宣布，今年5月，中国将在北京主办“一带一路”国际合作高峰论坛，共商合作大计，共建合作平台，共享合作成果，为解决当前世界和区域经济面临的问题寻找方案，为实现联动式发展注入新能量，让“一带一路”建设更好造福各国人民。", + "\n习近平指出，两年前，我们在这里举行首届高峰论坛，规划政策沟通、设施联通、贸易畅通、资金融通、民心相通的合作蓝图。今天，来自世界各地的朋友再次聚首。我期待着同大家一起，共同开创共建“一带一路”的美好未来。", + "\n习近平指出，两年前，我们在这里举行首届高峰论坛，规划政策沟通、设施联通、贸易畅通、资金融通、民心相通的合作蓝图。今天，来自世界各地的朋友再次聚首。我期待着同大家一起，共同开创共建“一带一路”的美好未来。", + "\n习近平强调，共建“一带一路”倡议，目的是聚焦互联互通，深化务实合作，携手应对人类面临的各种风险挑战，实现互利共赢、共同发展。在各方共同努力下，首届高峰论坛的各项成果顺利落实，150多个国家和国际组织同中国签署共建“一带一路”合作协议。从亚欧大陆到非洲、美洲、大洋洲，共建“一带一路”为世界经济增长开辟了新空间，为国际贸易和投资搭建了新平台，为完善全球经济治理拓展了新实践，为增进各国民生福祉作出了新贡献，成为共同的机遇之路、繁荣之路。", + "\n习近平指出，共建“一带一路”倡议提出10年来，取得许多实实在在的成果，展现出蓬勃向上的生机活力。桃李不言，下自成蹊。共建“一带一路”已经成为广受欢迎的全球公共产品和国际合作平台。联合国是共建“一带一路”的重要伙伴。中方愿同联合国机构一道，扎实推进高质量共建“一带一路”，为世界的和平与发展作出贡献。中方支持联合国以及古特雷斯秘书长的工作，愿同联合国机构加强合作，促进多边主义和世界多极化，推动全球治理朝着更加公正合理的方向发展。", + "\n习近平指出，我们要把“一带一路”建设国际合作同落实联合国2030年可持续发展议程、二十国集团领导人杭州峰会成果结合起来，同亚太经合组织、东盟、非盟、欧亚经济联盟、欧盟、拉共体区域发展规划对接起来，同有关国家提出的发展规划协调起来，产生“一加一大于二”的效果。", + "\n习近平指出，我们要把“一带一路”建设国际合作同落实联合国2030年可持续发展议程、二十国集团领导人杭州峰会成果结合起来，同亚太经合组织、东盟、非盟、欧亚经济联盟、欧盟、拉共体区域发展规划对接起来，同有关国家提出的发展规划协调起来，产生“一加一大于二”的效果。", + "\n习近平指出，普京总统连续3次出席“一带一路”国际合作高峰论坛，体现了俄方对共建“一带一路”倡议的支持。俄罗斯是中国开展共建“一带一路”国际合作的重要伙伴。中俄东线天然气管道等重大基础设施项目投入运营，为两国人民带来了实打实的好处。中方愿同俄方及欧亚经济联盟各国一道，推动共建“一带一路”与欧亚经济联盟对接，开展更高水平、更深层次的区域合作，希望中蒙俄天然气管道项目尽早取得实质性进展，开展好“万里茶道”跨境旅游合作，把中蒙俄经济走廊打造成一条高质量联通发展之路。", + "\n习近平强调，我们要把上海合作组织打造成互利共赢的典范。要倡导维护多边贸易体制、构建开放型世界经济，推动在贸易和投资自由化便利化方面作出更多制度性安排，用好中国国际进口博览会等合作共享平台，促进区域经济进一步开放、交流、融合。要认真落实第二届“一带一路”国际合作高峰论坛成果，推动共建“一带一路”倡议同各国发展战略及欧亚经济联盟等区域合作倡议深入对接，着力构建全方位互联互通格局。", + "\n习近平指出，“一带一路”倡议提出后，得到国际社会广泛关注，各有关国家积极响应。参与共建“一带一路”的众多国家政策协调不断加强，重大经贸项目加快实施，基础设施联通网络正在形成，产业和金融合作稳步推进，各国民间往来更加密切，为各国人民带来了实实在在的福祉。", + "\n习近平指出，世界正处于百年未有之大变局。国际合作的前景、全球性挑战的出路、人类社会的未来，引起越来越多有识之士的思考。我们主张，要树立人类命运共同体意识，建设好、呵护好人类共有的地球家园。对人类长远未来，各国都承担着一份责任。中国是一个发展中大国，但我们不回避应尽的国际责任。中国谋求合作共赢，在实现自身发展的同时帮助广大发展中国家谋求共同进步。中国始终奉行正确义利观，在自身还很贫穷的时候就给予了非洲国家无私帮助。我们提出“一带一路”合作倡议，就是为了与各国实现互利共赢。", + "\n习近平在第二届“一带一路”国际合作高峰论坛开幕式上的主旨演讲中指出，我们深知，尽管成就辉煌，但前方还有一座座山峰需要翻越，还有一个个险滩等待跋涉。我们将继续沿着中国特色社会主义道路大步向前，坚持全面深化改革，坚持高质量发展，坚持扩大对外开放，坚持走和平发展道路，推动构建人类命运共同体。", + "\n习近平强调，我们将坚持多边主义，推动形成以高峰论坛为引领、各领域多双边合作为支撑的架构，使我们的合作既有理念引领、行动跟进，也有机制保障。", + "\n习近平强调，今年是新中国成立70周年。作为世界最大的发展中国家和负责任大国，中国始终坚定不移履行可持续发展承诺，高度重视加强可持续发展国际合作。2013年，我提出共建“一带一路”倡议，旨在实现各国互利共赢、共同发展。共建“一带一路”同联合国2030年可持续发展议程在目标、原则、实施路径上高度契合，得到国际社会积极响应和支持。今年4月，第二届“一带一路”国际合作高峰论坛在北京成功举办，各方一致同意推进高质量共建“一带一路”，走绿色、低碳、可持续发展之路。", + "\n习近平指出，第四，我们要全面加强国际协作。双方要密切在联合国、上海合作组织、亚信、“中国+中亚五国”等多边机制内的通力协作，及时就国际治理、粮食安全、能源安全、产业链供应链稳定、地区热点等问题交换意见，反对单边主义和阵营对抗，共同推动国际秩序朝着更加公正合理的方向发展。", + "\n习近平指出，第四，我们要全面加强国际协作。双方要密切在联合国、上海合作组织、亚信、“中国+中亚五国”等多边机制内的通力协作，及时就国际治理、粮食安全、能源安全、产业链供应链稳定、地区热点等问题交换意见，反对单边主义和阵营对抗，共同推动国际秩序朝着更加公正合理的方向发展。", + "\n习近平指出，“一带一路”是大家携手前进的阳光大道，不是某一方的私家小路，追求的是发展，崇尚的是共赢，传递的是希望。我们将同各方继续高质量共建“一带一路”，践行共商共建共享原则，弘扬开放、绿色、廉洁理念，努力实现高标准、惠民生、可持续目标。我们将建设更紧密的卫生合作伙伴关系，更紧密的互联互通伙伴关系，更紧密的绿色发展伙伴关系，更紧密的开放包容伙伴关系，为人类走向共同繁荣作出积极贡献。", + "\n习近平指出，“一带一路”是大家携手前进的阳光大道，不是某一方的私家小路，追求的是发展，崇尚的是共赢，传递的是希望。我们将同各方继续高质量共建“一带一路”，践行共商共建共享原则，弘扬开放、绿色、廉洁理念，努力实现高标准、惠民生、可持续目标。我们将建设更紧密的卫生合作伙伴关系，更紧密的互联互通伙伴关系，更紧密的绿色发展伙伴关系，更紧密的开放包容伙伴关系，为人类走向共同繁荣作出积极贡献。", + "\n习近平指出，“一带一路”建设秉持的是共商、共建、共享原则，不是封闭的，而是开放包容的；不是中国一家的独奏，而是沿线国家的合唱。", + "\n习近平指出，中国发展同亚洲命运息息相关。亚洲国家合作之路宽广，发展前景看好。亚洲国家应该坚持联合自强，互利合作，包容开放，实现共同发展繁荣。中国坚定不移走和平发展道路，践行亲、诚、惠、容的周边外交理念，奉行开放的区域主义。我提出建设丝绸之路经济带和21世纪海上丝绸之路的倡议，目的是共同打造沿线区域经济一体化新格局。一个不断发展的中国必将为亚洲发展作出更大贡献。", + "\n习近平指出，中国发展同亚洲命运息息相关。亚洲国家合作之路宽广，发展前景看好。亚洲国家应该坚持联合自强，互利合作，包容开放，实现共同发展繁荣。中国坚定不移走和平发展道路，践行亲、诚、惠、容的周边外交理念，奉行开放的区域主义。我提出建设丝绸之路经济带和21世纪海上丝绸之路的倡议，目的是共同打造沿线区域经济一体化新格局。一个不断发展的中国必将为亚洲发展作出更大贡献。", + "\n习近平强调，“一带一路”建设是我们推动构建人类命运共同体的重要实践平台。几年来，“一带一路”建设从理念到行动，发展成为实实在在的国际合作，取得了令人瞩目的成就。", + "\n习近平指出，欢迎总统先生来华出席第二届“一带一路”国际合作高峰论坛。在本届论坛上，各国领导人将本着共商共建共享原则，讨论发展政策对接、基础设施互联互通、可持续发展等共同关心的议题，为促进世界经济增长、推动国际经济合作作出更大贡献。莫桑比克是古代海上丝绸之路的重要一站，近年来积极参与共建“一带一路”。双方已经就共同推进“一带一路”合作规划达成一致，要致力于推动互利合作提质增效，加强人文交流合作，让中莫“同志加兄弟”的传统友谊不断得到继承和发扬。", + "\n习近平强调，经济全球化是生产力发展的必然结果和客观需要，是历史前进的大势。要更好地适应、引导、管理经济全球化，让经济全球化的正面效应更多释放出来。全球治理是经济全球化的必然要求。各国利益与共，命运相连，必须摒弃逐利争霸的旧模式，走以制度、规则来协调关系和利益的新道路。中国一贯主张各国平等相待，走符合自身国情的发展道路，共同努力，互利共赢。我们走中国特色社会主义道路取得了一些治国理政经验，愿通过联合国这个平台同各国分享。中国提出“一带一路”倡议就是为了同各国分享发展机遇和成果。希望联合国在落实2030年可持续发展议程方面有更大作为。", + "\n习近平指出，10年的历程证明，共建“一带一路”站在了历史正确一边，符合时代进步的逻辑，走的是人间正道。我们要有乱云飞渡仍从容的定力，本着对历史、对人民、对世界负责的态度，携手应对各种全球性风险和挑战，为子孙后代创造和平、发展、合作、共赢的美好未来。", + "\n习近平强调，当今世界变乱交织，百年变局加速演进，人类社会面临前所未有的挑战，发展中国家比以往任何时候都更需要加强团结合作。中方愿同赤道几内亚等广大发展中国家一道，弘扬和平共处五项原则精神，在国际事务中加强协调配合，维护发展中国家共同利益和国际公平正义，推动构建人类命运共同体。发展同非洲国家团结合作是中国外交政策的重要基石。中方愿同非方开好新一届中非合作论坛峰会，进一步弘扬传统友好，深化团结协作，共商未来发展合作大计，开启构建中非命运共同体的新篇章。", + "\n习近平强调，这届论坛对外传递了一个明确信号：共建“一带一路”的朋友圈越来越大，好伙伴越来越多，合作质量越来越高，发展前景越来越好。中国愿同各方一道，落实好本届高峰论坛各项共识，以绘制“工笔画”的精神，共同推动共建“一带一路”合作走深走实、行稳致远、高质量发展，开创更加美好的未来。", + "世界机遇\n习近平指出，“一带一路”建设秉持的是共商、共建、共享原则，不是封闭的，而是开放包容的；不是中国一家的独奏，而是沿线国家的合唱。“一带一路”建设不是要替代现有地区合作机制和倡议，而是要在已有基础上，推动沿线国家实现发展战略相互对接、优势互补。", + "\n习近平强调，作为亚欧大家庭的一员，中国的发展离不开亚欧地区，也惠及亚欧地区。中方真诚希望，共建“一带一路”同欧亚经济联盟建设对接合作走深走实，各国团结协作、勠力同心，携手开创亚欧合作新局面。今年下半年，中方将举办第三届“一带一路”国际合作高峰论坛。中方愿同“一带一路”共建国和欧亚经济联盟成员国一道，继续高举和平、发展、合作、共赢旗帜，共享机遇，共克时艰，共创未来，携手谱写多极化世界文明进步新篇章。", + "\n习近平指出，当今世界，各国人民前途命运越来越紧密相联。人类文明是多元并存的。进入新时代的中国，我们一方面坚持文化自信，大力发展教育、科技、文化事业，提高文明素质，一方面秉持“世界大同”、和合共生的传统理念，主张各国文化相互尊重，交流互鉴。中国提出“一带一路”倡议，既要促进共同发展，也要促进民心相通。中国愿为促进世界文明对话和人类发展进步作出更大贡献。", + "\n习近平强调，中国式现代化和欧洲一体化是中欧各自着眼未来作出的战略选择，中欧应该相互尊重，相互支持，加强发展战略对接，实现共同发展。共建“一带一路”倡议是开放平台，为世界上150多个国家和人民带来了实实在在的好处。赠人玫瑰，手有余香。中方愿继续推进高质量共建“一带一路”，包括同欧盟“全球门户”计划对接，一道帮助发展中国家加快发展。双方要在联合国、二十国集团等多边框架内加强沟通和协调，坚持多边主义，反对阵营对抗，推动政治解决国际和地区热点问题，就人工智能等事关人类未来的重大问题开展对话和合作，为增进全人类福祉、应对全球性挑战作出贡献。", + "\n习近平发表重要讲话强调，丝绸之路经济带和21世纪海上丝绸之路倡议顺应了时代要求和各国加快发展的愿望，提供了一个包容性巨大的发展平台，具有深厚历史渊源和人文基础，能够把快速发展的中国经济同沿线国家的利益结合起来。", + "\n习近平发表重要讲话强调，丝绸之路经济带和21世纪海上丝绸之路倡议顺应了时代要求和各国加快发展的愿望，提供了一个包容性巨大的发展平台，具有深厚历史渊源和人文基础，能够把快速发展的中国经济同沿线国家的利益结合起来。" + ], + "selected_idx": [ + 0, + 1, + 2, + 3, + 4, + 5, + 6, + 7, + 8, + 9, + 10, + 11, + 12, + 13, + 14, + 15, + 16, + 17, + 18, + 19, + 20, + 22, + 23, + 24, + 25, + 26, + 27, + 28, + 31, + 32, + 33, + 34, + 35, + 36, + 37, + 38, + 39, + 40, + 41, + 42, + 43, + 44, + 45, + 46, + 47, + 48, + 49 + ], + "selected_docs": [ + { + "file_name": "29277185.json", + "content": "\n习近平指出，中方主办这次高峰论坛，目的就是共商合作大计，共建合作平台，共享合作成果，让“一带一路”建设更好造福各国人民。", + "chk_id": 1, + "doc_id": 45301, + "newsinfo": { + "content": "\n习近平指出，中方主办这次高峰论坛，目的就是共商合作大计，共建合作平台，共享合作成果，让“一带一路”建设更好造福各国人民。", + "source": "人民网－人民日报", + "date": "2017-05-16", + "title": "“一带一路”国际合作高峰论坛举行圆桌峰会 习近平主持会议并致辞" + } + }, + { + "file_name": "31053285.json", + "content": "\n习近平在致辞中说，中国古语说，时在中春，阳和方起。在这个孕育希望的季节，第二届“一带一路”国际合作高峰论坛如约而至。首先，我谨代表中国政府和中国人民，代表我的夫人，并以我个人的名义，对各位嘉宾表示热烈的欢迎！", + "chk_id": 0, + "doc_id": 47046, + "newsinfo": { + "content": "\n习近平在致辞中说，中国古语说，时在中春，阳和方起。在这个孕育希望的季节，第二届“一带一路”国际合作高峰论坛如约而至。首先，我谨代表中国政府和中国人民，代表我的夫人，并以我个人的名义，对各位嘉宾表示热烈的欢迎！", + "source": "人民网－人民日报", + "date": "2019-04-27", + "title": "在第二届“一带一路”国际合作高峰论坛欢迎宴会上的祝酒辞" + } + }, + { + "file_name": "31053839.json", + "content": "\n习近平在开幕辞中指出，首届“一带一路”国际合作高峰论坛举行两年来，我们本着共商共建共享原则，全面推进政策沟通、设施联通、贸易畅通、资金融通、民心相通，为世界经济增长注入了新动力，为全球发展开辟了新空间。我们再次举行高峰论坛，就是希望同各方一道，让共建“一带一路”走深走实，更好造福各国人民。", + "chk_id": 0, + "doc_id": 47052, + "newsinfo": { + "content": "\n习近平在开幕辞中指出，首届“一带一路”国际合作高峰论坛举行两年来，我们本着共商共建共享原则，全面推进政策沟通、设施联通、贸易畅通、资金融通、民心相通，为世界经济增长注入了新动力，为全球发展开辟了新空间。我们再次举行高峰论坛，就是希望同各方一道，让共建“一带一路”走深走实，更好造福各国人民。", + "source": "人民网－人民日报", + "date": "2019-04-28", + "title": "第二届“一带一路”国际合作高峰论坛举行圆桌峰会 习近平主持会议并致辞" + } + }, + { + "file_name": "29269894.json", + "content": "\n习近平指出，当前形势下，即将举办的“一带一路”国际合作高峰论坛有利于凝聚各方共识，深化国际合作，推动经济全球化进程向更加开放、包容、普惠、平衡、共赢方向发展。越南是“一带一路”沿线重要国家。希望中越双方以这次高峰论坛为契机，加强发展战略对接，推进各领域务实合作，实现共同发展、共同繁荣。", + "chk_id": 2, + "doc_id": 45264, + "newsinfo": { + "content": "\n习近平指出，当前形势下，即将举办的“一带一路”国际合作高峰论坛有利于凝聚各方共识，深化国际合作，推动经济全球化进程向更加开放、包容、普惠、平衡、共赢方向发展。越南是“一带一路”沿线重要国家。希望中越双方以这次高峰论坛为契机，加强发展战略对接，推进各领域务实合作，实现共同发展、共同繁荣。", + "source": "人民网－人民日报", + "date": "2017-05-12", + "title": "习近平同越南国家主席陈大光会谈" + } + }, + { + "file_name": "31203804.json", + "content": "\n习近平指出，中方赞同把高质量基础设施建设作为推进包容发展的重要抓手。不久前在北京成功举办的第二届“一带一路”国际合作高峰论坛围绕高质量共建“一带一路”达成广泛共识和丰硕成果。我们要坚持共商共建共享原则，践行开放、绿色、廉洁的理念，致力于实现高标准、惠民生、可持续的目标。最终目的是通过全方位互联互通，更好融入全球供应链、产业链、价值链，实现联动发展。我们要加强同联合国2030年可持续发展议程的对接。共建“一带一路”突出发展视角，将为落实联合国2030年可持续发展议程、推动广大发展中国家可持续发展作出重要贡献。共建“一带一路”致力于推动国际社会各成员共同发展，已成为造福各方的国际公共产品和开放包容的国际合作平台。我们欢迎所有感兴趣的合作伙伴共同参与，携手做大互利共赢的“蛋糕”，将在国际社会共同愿景和普遍共识基础上，继续推进政策沟通对接以及务实合作，为推动世界经济强劲、可持续、平衡、包容增长作出贡献，实现各国高质量发展和共同繁荣。", + "chk_id": 0, + "doc_id": 47296, + "newsinfo": { + "content": "\n习近平指出，中方赞同把高质量基础设施建设作为推进包容发展的重要抓手。不久前在北京成功举办的第二届“一带一路”国际合作高峰论坛围绕高质量共建“一带一路”达成广泛共识和丰硕成果。我们要坚持共商共建共享原则，践行开放、绿色、廉洁的理念，致力于实现高标准、惠民生、可持续的目标。最终目的是通过全方位互联互通，更好融入全球供应链、产业链、价值链，实现联动发展。我们要加强同联合国2030年可持续发展议程的对接。共建“一带一路”突出发展视角，将为落实联合国2030年可持续发展议程、推动广大发展中国家可持续发展作出重要贡献。共建“一带一路”致力于推动国际社会各成员共同发展，已成为造福各方的国际公共产品和开放包容的国际合作平台。我们欢迎所有感兴趣的合作伙伴共同参与，携手做大互利共赢的“蛋糕”，将在国际社会共同愿景和普遍共识基础上，继续推进政策沟通对接以及务实合作，为推动世界经济强劲、可持续、平衡、包容增长作出贡献，实现各国高质量发展和共同繁荣。", + "source": "人民网－人民日报", + "date": "2019-06-30", + "title": "习近平继续出席二十国集团领导人第十四次峰会" + } + }, + { + "file_name": "31203383.json", + "content": "\n习近平指出，中方赞同把高质量基础设施建设作为推进包容发展的重要抓手。不久前在北京成功举办的第二届“一带一路”国际合作高峰论坛围绕高质量共建“一带一路”达成广泛共识和丰硕成果。我们要坚持共商共建共享原则，践行开放、绿色、廉洁的理念，致力于实现高标准、惠民生、可持续的目标。最终目的是通过全方位互联互通，更好融入全球供应链、产业链、价值链，实现联动发展。我们要加强同联合国2030年可持续发展议程的对接。共建“一带一路”突出发展视角，将为落实联合国2030年可持续发展议程、推动广大发展中国家可持续发展作出重要贡献。共建“一带一路”致力于推动国际社会各成员共同发展，已成为造福各方的国际公共产品和开放包容的国际合作平台。我们欢迎所有感兴趣的合作伙伴共同参与，携手做大互利共赢的“蛋糕”，将在国际社会共同愿景和普遍共识基础上，继续推进政策沟通对接以及务实合作，为推动世界经济强劲、可持续、平衡、包容增长作出贡献，实现各国高质量发展和共同繁荣。", + "chk_id": 0, + "doc_id": 47293, + "newsinfo": { + "content": "\n习近平指出，中方赞同把高质量基础设施建设作为推进包容发展的重要抓手。不久前在北京成功举办的第二届“一带一路”国际合作高峰论坛围绕高质量共建“一带一路”达成广泛共识和丰硕成果。我们要坚持共商共建共享原则，践行开放、绿色、廉洁的理念，致力于实现高标准、惠民生、可持续的目标。最终目的是通过全方位互联互通，更好融入全球供应链、产业链、价值链，实现联动发展。我们要加强同联合国2030年可持续发展议程的对接。共建“一带一路”突出发展视角，将为落实联合国2030年可持续发展议程、推动广大发展中国家可持续发展作出重要贡献。共建“一带一路”致力于推动国际社会各成员共同发展，已成为造福各方的国际公共产品和开放包容的国际合作平台。我们欢迎所有感兴趣的合作伙伴共同参与，携手做大互利共赢的“蛋糕”，将在国际社会共同愿景和普遍共识基础上，继续推进政策沟通对接以及务实合作，为推动世界经济强劲、可持续、平衡、包容增长作出贡献，实现各国高质量发展和共同繁荣。", + "source": "新华社", + "date": "2019-06-29", + "title": "习近平继续出席二十国集团领导人第十四次峰会" + } + }, + { + "file_name": "29992657.json", + "content": "\n习近平强调，“一带一路”建设是我们推动构建人类命运共同体的重要实践平台。几年来，“一带一路”建设从理念到行动，发展成为实实在在的国际合作，取得了令人瞩目的成就。要抓好首届“一带一路”国际合作高峰论坛成果的落实，凝聚各方共识，规划合作愿景，扩大对外开放，加强同各国的沟通、协商、合作，推动“一带一路”建设走深走实、行稳致远，更好造福各国人民。", + "chk_id": 1, + "doc_id": 46069, + "newsinfo": { + "content": "\n习近平强调，“一带一路”建设是我们推动构建人类命运共同体的重要实践平台。几年来，“一带一路”建设从理念到行动，发展成为实实在在的国际合作，取得了令人瞩目的成就。要抓好首届“一带一路”国际合作高峰论坛成果的落实，凝聚各方共识，规划合作愿景，扩大对外开放，加强同各国的沟通、协商、合作，推动“一带一路”建设走深走实、行稳致远，更好造福各国人民。", + "source": "人民网－人民日报", + "date": "2018-05-16", + "title": "习近平：加强党中央对外事工作的集中统一领导 努力开创中国特色大国外交新局面" + } + }, + { + "file_name": "29516999.json", + "content": "\n习近平指出，4年前，我提出共建“一带一路”倡议，得到国际社会热烈响应。今年5月，中国成功主办“一带一路”国际合作高峰论坛，同有关国家和国际组织一道勾画“一带一路”建设合作愿景，提出一系列支持沿线国家可持续发展的务实举措。", + "chk_id": 3, + "doc_id": 45570, + "newsinfo": { + "content": "\n习近平指出，4年前，我提出共建“一带一路”倡议，得到国际社会热烈响应。今年5月，中国成功主办“一带一路”国际合作高峰论坛，同有关国家和国际组织一道勾画“一带一路”建设合作愿景，提出一系列支持沿线国家可持续发展的务实举措。", + "source": "新华社", + "date": "2017-09-05", + "title": "习近平在新兴市场国家与发展中国家对话会上的发言" + } + }, + { + "file_name": "29517438.json", + "content": "\n习近平指出，4年前，我提出共建“一带一路”倡议，得到国际社会热烈响应。今年5月，中国成功主办“一带一路”国际合作高峰论坛，同有关国家和国际组织一道勾画“一带一路”建设合作愿景，提出一系列支持沿线国家可持续发展的务实举措。", + "chk_id": 2, + "doc_id": 45573, + "newsinfo": { + "content": "\n习近平指出，4年前，我提出共建“一带一路”倡议，得到国际社会热烈响应。今年5月，中国成功主办“一带一路”国际合作高峰论坛，同有关国家和国际组织一道勾画“一带一路”建设合作愿景，提出一系列支持沿线国家可持续发展的务实举措。", + "source": "人民网－人民日报", + "date": "2017-09-06", + "title": "习近平主持新兴市场国家与发展中国家对话会并发表重要讲话" + } + }, + { + "file_name": "31053282.json", + "content": "\n习近平发表致辞，代表中国政府和中国人民热烈欢迎各位嘉宾。习近平指出，在这个孕育希望的季节，第二届“一带一路”国际合作高峰论坛如约而至。我们跨越万里，相会北京，更要珍惜这次难得的聚会。", + "chk_id": 0, + "doc_id": 47043, + "newsinfo": { + "content": "\n习近平发表致辞，代表中国政府和中国人民热烈欢迎各位嘉宾。习近平指出，在这个孕育希望的季节，第二届“一带一路”国际合作高峰论坛如约而至。我们跨越万里，相会北京，更要珍惜这次难得的聚会。", + "source": "人民网－人民日报", + "date": "2019-04-27", + "title": "习近平和彭丽媛欢迎出席第二届“一带一路”国际合作高峰论坛的外方领导人夫妇及嘉宾" + } + }, + { + "file_name": "31055863.json", + "content": "\n习近平强调，昨天，第二届“一带一路”国际合作高峰论坛成功闭幕。共建“一带一路”就是要建设一条开放发展之路，同时也必须是一条绿色发展之路。中国愿同各国一道，共同建设美丽地球家园，共同构建人类命运共同体。建设生态文明，功在当代，利在千秋。让我们从自己、从现在做起，把接力棒一棒一棒传下去。", + "chk_id": 2, + "doc_id": 47068, + "newsinfo": { + "content": "\n习近平强调，昨天，第二届“一带一路”国际合作高峰论坛成功闭幕。共建“一带一路”就是要建设一条开放发展之路，同时也必须是一条绿色发展之路。中国愿同各国一道，共同建设美丽地球家园，共同构建人类命运共同体。建设生态文明，功在当代，利在千秋。让我们从自己、从现在做起，把接力棒一棒一棒传下去。", + "source": "人民网－人民日报", + "date": "2019-04-29", + "title": "习近平：共谋绿色生活，共建美丽家园" + } + }, + { + "file_name": "31055858.json", + "content": "\n习近平强调，昨天，第二届“一带一路”国际合作高峰论坛成功闭幕。共建“一带一路”就是要建设一条开放发展之路，同时也必须是一条绿色发展之路。中国愿同各国一道，共同建设美丽地球家园，共同构建人类命运共同体。建设生态文明，功在当代，利在千秋。让我们从自己、从现在做起，把接力棒一棒一棒传下去。", + "chk_id": 2, + "doc_id": 47063, + "newsinfo": { + "content": "\n习近平强调，昨天，第二届“一带一路”国际合作高峰论坛成功闭幕。共建“一带一路”就是要建设一条开放发展之路，同时也必须是一条绿色发展之路。中国愿同各国一道，共同建设美丽地球家园，共同构建人类命运共同体。建设生态文明，功在当代，利在千秋。让我们从自己、从现在做起，把接力棒一棒一棒传下去。", + "source": "人民网－人民日报", + "date": "2019-04-29", + "title": "习近平出席二〇一九年中国北京世界园艺博览会开幕式并发表重要讲话" + } + }, + { + "file_name": "40112598.json", + "content": "\n习近平指出，第三届“一带一路”国际合作高峰论坛成功举办，共建“一带一路”进入高质量发展的新阶段。科技合作是共建“一带一路”合作的重要组成部分。中方将弘扬以和平合作、开放包容、互学互鉴、互利共赢为核心的丝路精神，深入实施“一带一路”科技创新行动计划，推进国际科技创新交流，与各国共同挖掘创新增长潜力，激发创新合作潜能，强化创新伙伴关系，促进创新成果更多惠及各国人民，助力共建“一带一路”高质量发展，推动构建人类命运共同体。", + "chk_id": 0, + "doc_id": 50465, + "newsinfo": { + "content": "\n习近平指出，第三届“一带一路”国际合作高峰论坛成功举办，共建“一带一路”进入高质量发展的新阶段。科技合作是共建“一带一路”合作的重要组成部分。中方将弘扬以和平合作、开放包容、互学互鉴、互利共赢为核心的丝路精神，深入实施“一带一路”科技创新行动计划，推进国际科技创新交流，与各国共同挖掘创新增长潜力，激发创新合作潜能，强化创新伙伴关系，促进创新成果更多惠及各国人民，助力共建“一带一路”高质量发展，推动构建人类命运共同体。", + "source": "人民网－人民日报", + "date": "2023-11-07", + "title": "习近平向首届“一带一路”科技交流大会致贺信" + } + }, + { + "file_name": "29032027.json", + "content": "\n习近平宣布，今年5月，中国将在北京主办“一带一路”国际合作高峰论坛，共商合作大计，共建合作平台，共享合作成果，为解决当前世界和区域经济面临的问题寻找方案，为实现联动式发展注入新能量，让“一带一路”建设更好造福各国人民。", + "chk_id": 7, + "doc_id": 45116, + "newsinfo": { + "content": "\n习近平宣布，今年5月，中国将在北京主办“一带一路”国际合作高峰论坛，共商合作大计，共建合作平台，共享合作成果，为解决当前世界和区域经济面临的问题寻找方案，为实现联动式发展注入新能量，让“一带一路”建设更好造福各国人民。", + "source": "人民网－人民日报", + "date": "2017-01-18", + "title": "习近平在世界经济论坛2017年年会开幕式上的主旨演讲" + } + }, + { + "file_name": "29031823.json", + "content": "\n习近平宣布，今年5月，中国将在北京主办“一带一路”国际合作高峰论坛，共商合作大计，共建合作平台，共享合作成果，为解决当前世界和区域经济面临的问题寻找方案，为实现联动式发展注入新能量，让“一带一路”建设更好造福各国人民。", + "chk_id": 5, + "doc_id": 45111, + "newsinfo": { + "content": "\n习近平宣布，今年5月，中国将在北京主办“一带一路”国际合作高峰论坛，共商合作大计，共建合作平台，共享合作成果，为解决当前世界和区域经济面临的问题寻找方案，为实现联动式发展注入新能量，让“一带一路”建设更好造福各国人民。", + "source": "人民网－人民日报", + "date": "2017-01-18", + "title": "习近平出席世界经济论坛2017年年会开幕式并发表主旨演讲" + } + }, + { + "file_name": "31053291.json", + "content": "\n习近平指出，两年前，我们在这里举行首届高峰论坛，规划政策沟通、设施联通、贸易畅通、资金融通、民心相通的合作蓝图。今天，来自世界各地的朋友再次聚首。我期待着同大家一起，共同开创共建“一带一路”的美好未来。", + "chk_id": 0, + "doc_id": 47050, + "newsinfo": { + "content": "\n习近平指出，两年前，我们在这里举行首届高峰论坛，规划政策沟通、设施联通、贸易畅通、资金融通、民心相通的合作蓝图。今天，来自世界各地的朋友再次聚首。我期待着同大家一起，共同开创共建“一带一路”的美好未来。", + "source": "人民网－人民日报", + "date": "2019-04-27", + "title": "齐心开创共建“一带一路”美好未来" + } + }, + { + "file_name": "31052660.json", + "content": "\n习近平指出，两年前，我们在这里举行首届高峰论坛，规划政策沟通、设施联通、贸易畅通、资金融通、民心相通的合作蓝图。今天，来自世界各地的朋友再次聚首。我期待着同大家一起，共同开创共建“一带一路”的美好未来。", + "chk_id": 0, + "doc_id": 47038, + "newsinfo": { + "content": "\n习近平指出，两年前，我们在这里举行首届高峰论坛，规划政策沟通、设施联通、贸易畅通、资金融通、民心相通的合作蓝图。今天，来自世界各地的朋友再次聚首。我期待着同大家一起，共同开创共建“一带一路”的美好未来。", + "source": "新华网", + "date": "2019-04-26", + "title": "习近平出席第二届“一带一路”国际合作高峰论坛开幕式并发表主旨演讲" + } + }, + { + "file_name": "31053281.json", + "content": "\n习近平强调，共建“一带一路”倡议，目的是聚焦互联互通，深化务实合作，携手应对人类面临的各种风险挑战，实现互利共赢、共同发展。在各方共同努力下，首届高峰论坛的各项成果顺利落实，150多个国家和国际组织同中国签署共建“一带一路”合作协议。从亚欧大陆到非洲、美洲、大洋洲，共建“一带一路”为世界经济增长开辟了新空间，为国际贸易和投资搭建了新平台，为完善全球经济治理拓展了新实践，为增进各国民生福祉作出了新贡献，成为共同的机遇之路、繁荣之路。", + "chk_id": 0, + "doc_id": 47042, + "newsinfo": { + "content": "\n习近平强调，共建“一带一路”倡议，目的是聚焦互联互通，深化务实合作，携手应对人类面临的各种风险挑战，实现互利共赢、共同发展。在各方共同努力下，首届高峰论坛的各项成果顺利落实，150多个国家和国际组织同中国签署共建“一带一路”合作协议。从亚欧大陆到非洲、美洲、大洋洲，共建“一带一路”为世界经济增长开辟了新空间，为国际贸易和投资搭建了新平台，为完善全球经济治理拓展了新实践，为增进各国民生福祉作出了新贡献，成为共同的机遇之路、繁荣之路。", + "source": "人民网－人民日报", + "date": "2019-04-27", + "title": "习近平出席第二届“一带一路”国际合作高峰论坛开幕式并发表主旨演讲" + } + }, + { + "file_name": "40098621.json", + "content": "\n习近平指出，共建“一带一路”倡议提出10年来，取得许多实实在在的成果，展现出蓬勃向上的生机活力。桃李不言，下自成蹊。共建“一带一路”已经成为广受欢迎的全球公共产品和国际合作平台。联合国是共建“一带一路”的重要伙伴。中方愿同联合国机构一道，扎实推进高质量共建“一带一路”，为世界的和平与发展作出贡献。中方支持联合国以及古特雷斯秘书长的工作，愿同联合国机构加强合作，促进多边主义和世界多极化，推动全球治理朝着更加公正合理的方向发展。", + "chk_id": 1, + "doc_id": 50419, + "newsinfo": { + "content": "\n习近平指出，共建“一带一路”倡议提出10年来，取得许多实实在在的成果，展现出蓬勃向上的生机活力。桃李不言，下自成蹊。共建“一带一路”已经成为广受欢迎的全球公共产品和国际合作平台。联合国是共建“一带一路”的重要伙伴。中方愿同联合国机构一道，扎实推进高质量共建“一带一路”，为世界的和平与发展作出贡献。中方支持联合国以及古特雷斯秘书长的工作，愿同联合国机构加强合作，促进多边主义和世界多极化，推动全球治理朝着更加公正合理的方向发展。", + "source": "人民网－人民日报", + "date": "2023-10-19", + "title": "习近平会见联合国秘书长古特雷斯" + } + }, + { + "file_name": "29276943.json", + "content": "\n习近平指出，我们要把“一带一路”建设国际合作同落实联合国2030年可持续发展议程、二十国集团领导人杭州峰会成果结合起来，同亚太经合组织、东盟、非盟、欧亚经济联盟、欧盟、拉共体区域发展规划对接起来，同有关国家提出的发展规划协调起来，产生“一加一大于二”的效果。", + "chk_id": 1, + "doc_id": 45299, + "newsinfo": { + "content": "\n习近平指出，我们要把“一带一路”建设国际合作同落实联合国2030年可持续发展议程、二十国集团领导人杭州峰会成果结合起来，同亚太经合组织、东盟、非盟、欧亚经济联盟、欧盟、拉共体区域发展规划对接起来，同有关国家提出的发展规划协调起来，产生“一加一大于二”的效果。", + "source": "新华社", + "date": "2017-05-15", + "title": "习近平在“一带一路”国际合作高峰论坛圆桌峰会上的闭幕辞（全文）" + } + }, + { + "file_name": "29276920.json", + "content": "\n习近平指出，我们要把“一带一路”建设国际合作同落实联合国2030年可持续发展议程、二十国集团领导人杭州峰会成果结合起来，同亚太经合组织、东盟、非盟、欧亚经济联盟、欧盟、拉共体区域发展规划对接起来，同有关国家提出的发展规划协调起来，产生“一加一大于二”的效果。", + "chk_id": 2, + "doc_id": 45298, + "newsinfo": { + "content": "\n习近平指出，我们要把“一带一路”建设国际合作同落实联合国2030年可持续发展议程、二十国集团领导人杭州峰会成果结合起来，同亚太经合组织、东盟、非盟、欧亚经济联盟、欧盟、拉共体区域发展规划对接起来，同有关国家提出的发展规划协调起来，产生“一加一大于二”的效果。", + "source": "新华社", + "date": "2017-05-15", + "title": "习近平在“一带一路”国际合作高峰论坛圆桌峰会上的开幕辞" + } + }, + { + "file_name": "40098612.json", + "content": "\n习近平指出，普京总统连续3次出席“一带一路”国际合作高峰论坛，体现了俄方对共建“一带一路”倡议的支持。俄罗斯是中国开展共建“一带一路”国际合作的重要伙伴。中俄东线天然气管道等重大基础设施项目投入运营，为两国人民带来了实打实的好处。中方愿同俄方及欧亚经济联盟各国一道，推动共建“一带一路”与欧亚经济联盟对接，开展更高水平、更深层次的区域合作，希望中蒙俄天然气管道项目尽早取得实质性进展，开展好“万里茶道”跨境旅游合作，把中蒙俄经济走廊打造成一条高质量联通发展之路。", + "chk_id": 0, + "doc_id": 50414, + "newsinfo": { + "content": "\n习近平指出，普京总统连续3次出席“一带一路”国际合作高峰论坛，体现了俄方对共建“一带一路”倡议的支持。俄罗斯是中国开展共建“一带一路”国际合作的重要伙伴。中俄东线天然气管道等重大基础设施项目投入运营，为两国人民带来了实打实的好处。中方愿同俄方及欧亚经济联盟各国一道，推动共建“一带一路”与欧亚经济联盟对接，开展更高水平、更深层次的区域合作，希望中蒙俄天然气管道项目尽早取得实质性进展，开展好“万里茶道”跨境旅游合作，把中蒙俄经济走廊打造成一条高质量联通发展之路。", + "source": "人民网－人民日报", + "date": "2023-10-19", + "title": "习近平同俄罗斯总统普京会谈" + } + }, + { + "file_name": "31144408.json", + "content": "\n习近平强调，我们要把上海合作组织打造成互利共赢的典范。要倡导维护多边贸易体制、构建开放型世界经济，推动在贸易和投资自由化便利化方面作出更多制度性安排，用好中国国际进口博览会等合作共享平台，促进区域经济进一步开放、交流、融合。要认真落实第二届“一带一路”国际合作高峰论坛成果，推动共建“一带一路”倡议同各国发展战略及欧亚经济联盟等区域合作倡议深入对接，着力构建全方位互联互通格局。", + "chk_id": 2, + "doc_id": 47215, + "newsinfo": { + "content": "\n习近平强调，我们要把上海合作组织打造成互利共赢的典范。要倡导维护多边贸易体制、构建开放型世界经济，推动在贸易和投资自由化便利化方面作出更多制度性安排，用好中国国际进口博览会等合作共享平台，促进区域经济进一步开放、交流、融合。要认真落实第二届“一带一路”国际合作高峰论坛成果，推动共建“一带一路”倡议同各国发展战略及欧亚经济联盟等区域合作倡议深入对接，着力构建全方位互联互通格局。", + "source": "新华社", + "date": "2019-06-14", + "title": "习近平出席上海合作组织成员国元首理事会第十九次会议并发表重要讲话" + } + }, + { + "file_name": "30280526.json", + "content": "\n习近平指出，“一带一路”倡议提出后，得到国际社会广泛关注，各有关国家积极响应。参与共建“一带一路”的众多国家政策协调不断加强，重大经贸项目加快实施，基础设施联通网络正在形成，产业和金融合作稳步推进，各国民间往来更加密切，为各国人民带来了实实在在的福祉。", + "chk_id": 0, + "doc_id": 46406, + "newsinfo": { + "content": "\n习近平指出，“一带一路”倡议提出后，得到国际社会广泛关注，各有关国家积极响应。参与共建“一带一路”的众多国家政策协调不断加强，重大经贸项目加快实施，基础设施联通网络正在形成，产业和金融合作稳步推进，各国民间往来更加密切，为各国人民带来了实实在在的福祉。", + "source": "人民网－人民日报", + "date": "2018-09-08", + "title": "习近平发表视频祝贺纪念“一带一路”倡议在哈萨克斯坦提出5周年商务论坛开幕" + } + }, + { + "file_name": "31007596.json", + "content": "\n习近平指出，世界正处于百年未有之大变局。国际合作的前景、全球性挑战的出路、人类社会的未来，引起越来越多有识之士的思考。我们主张，要树立人类命运共同体意识，建设好、呵护好人类共有的地球家园。对人类长远未来，各国都承担着一份责任。中国是一个发展中大国，但我们不回避应尽的国际责任。中国谋求合作共赢，在实现自身发展的同时帮助广大发展中国家谋求共同进步。中国始终奉行正确义利观，在自身还很贫穷的时候就给予了非洲国家无私帮助。我们提出“一带一路”合作倡议，就是为了与各国实现互利共赢。", + "chk_id": 0, + "doc_id": 46958, + "newsinfo": { + "content": "\n习近平指出，世界正处于百年未有之大变局。国际合作的前景、全球性挑战的出路、人类社会的未来，引起越来越多有识之士的思考。我们主张，要树立人类命运共同体意识，建设好、呵护好人类共有的地球家园。对人类长远未来，各国都承担着一份责任。中国是一个发展中大国，但我们不回避应尽的国际责任。中国谋求合作共赢，在实现自身发展的同时帮助广大发展中国家谋求共同进步。中国始终奉行正确义利观，在自身还很贫穷的时候就给予了非洲国家无私帮助。我们提出“一带一路”合作倡议，就是为了与各国实现互利共赢。", + "source": "新华社", + "date": "2019-04-01", + "title": "习近平会见“元老会”代表团" + } + }, + { + "file_name": "31332893.json", + "content": "\n习近平在第二届“一带一路”国际合作高峰论坛开幕式上的主旨演讲中指出，我们深知，尽管成就辉煌，但前方还有一座座山峰需要翻越，还有一个个险滩等待跋涉。我们将继续沿着中国特色社会主义道路大步向前，坚持全面深化改革，坚持高质量发展，坚持扩大对外开放，坚持走和平发展道路，推动构建人类命运共同体。", + "chk_id": 11, + "doc_id": 47400, + "newsinfo": { + "content": "\n习近平在第二届“一带一路”国际合作高峰论坛开幕式上的主旨演讲中指出，我们深知，尽管成就辉煌，但前方还有一座座山峰需要翻越，还有一个个险滩等待跋涉。我们将继续沿着中国特色社会主义道路大步向前，坚持全面深化改革，坚持高质量发展，坚持扩大对外开放，坚持走和平发展道路，推动构建人类命运共同体。", + "source": "人民网-中国共产党新闻网", + "date": "2019-09-03", + "title": "民族复兴的精神动力！习近平总书记这样谈抗战精神" + } + }, + { + "file_name": "31053842.json", + "content": "\n习近平强调，我们将坚持多边主义，推动形成以高峰论坛为引领、各领域多双边合作为支撑的架构，使我们的合作既有理念引领、行动跟进，也有机制保障。", + "chk_id": 2, + "doc_id": 47055, + "newsinfo": { + "content": "\n习近平强调，我们将坚持多边主义，推动形成以高峰论坛为引领、各领域多双边合作为支撑的架构，使我们的合作既有理念引领、行动跟进，也有机制保障。", + "source": "人民网－人民日报", + "date": "2019-04-28", + "title": "习近平在第二届“一带一路”国际合作高峰论坛记者会上的讲话" + } + }, + { + "file_name": "31125372.json", + "content": "\n习近平强调，今年是新中国成立70周年。作为世界最大的发展中国家和负责任大国，中国始终坚定不移履行可持续发展承诺，高度重视加强可持续发展国际合作。2013年，我提出共建“一带一路”倡议，旨在实现各国互利共赢、共同发展。共建“一带一路”同联合国2030年可持续发展议程在目标、原则、实施路径上高度契合，得到国际社会积极响应和支持。今年4月，第二届“一带一路”国际合作高峰论坛在北京成功举办，各方一致同意推进高质量共建“一带一路”，走绿色、低碳、可持续发展之路。", + "chk_id": 0, + "doc_id": 47198, + "newsinfo": { + "content": "\n习近平强调，今年是新中国成立70周年。作为世界最大的发展中国家和负责任大国，中国始终坚定不移履行可持续发展承诺，高度重视加强可持续发展国际合作。2013年，我提出共建“一带一路”倡议，旨在实现各国互利共赢、共同发展。共建“一带一路”同联合国2030年可持续发展议程在目标、原则、实施路径上高度契合，得到国际社会积极响应和支持。今年4月，第二届“一带一路”国际合作高峰论坛在北京成功举办，各方一致同意推进高质量共建“一带一路”，走绿色、低碳、可持续发展之路。", + "source": "人民网－人民日报", + "date": "2019-06-08", + "title": "习近平出席第二十三届圣彼得堡国际经济论坛全会并致辞" + } + }, + { + "file_name": "32525532.json", + "content": "\n习近平指出，第四，我们要全面加强国际协作。双方要密切在联合国、上海合作组织、亚信、“中国+中亚五国”等多边机制内的通力协作，及时就国际治理、粮食安全、能源安全、产业链供应链稳定、地区热点等问题交换意见，反对单边主义和阵营对抗，共同推动国际秩序朝着更加公正合理的方向发展。", + "chk_id": 3, + "doc_id": 49767, + "newsinfo": { + "content": "\n习近平指出，第四，我们要全面加强国际协作。双方要密切在联合国、上海合作组织、亚信、“中国+中亚五国”等多边机制内的通力协作，及时就国际治理、粮食安全、能源安全、产业链供应链稳定、地区热点等问题交换意见，反对单边主义和阵营对抗，共同推动国际秩序朝着更加公正合理的方向发展。", + "source": "人民网－人民日报", + "date": "2022-09-14", + "title": "推动中哈关系在继往开来中实现更大发展" + } + }, + { + "file_name": "32525309.json", + "content": "\n习近平指出，第四，我们要全面加强国际协作。双方要密切在联合国、上海合作组织、亚信、“中国+中亚五国”等多边机制内的通力协作，及时就国际治理、粮食安全、能源安全、产业链供应链稳定、地区热点等问题交换意见，反对单边主义和阵营对抗，共同推动国际秩序朝着更加公正合理的方向发展。", + "chk_id": 3, + "doc_id": 49765, + "newsinfo": { + "content": "\n习近平指出，第四，我们要全面加强国际协作。双方要密切在联合国、上海合作组织、亚信、“中国+中亚五国”等多边机制内的通力协作，及时就国际治理、粮食安全、能源安全、产业链供应链稳定、地区热点等问题交换意见，反对单边主义和阵营对抗，共同推动国际秩序朝着更加公正合理的方向发展。", + "source": "新华网", + "date": "2022-09-13", + "title": "习近平在哈萨克斯坦媒体发表署名文章" + } + }, + { + "file_name": "32083391.json", + "content": "\n习近平指出，“一带一路”是大家携手前进的阳光大道，不是某一方的私家小路，追求的是发展，崇尚的是共赢，传递的是希望。我们将同各方继续高质量共建“一带一路”，践行共商共建共享原则，弘扬开放、绿色、廉洁理念，努力实现高标准、惠民生、可持续目标。我们将建设更紧密的卫生合作伙伴关系，更紧密的互联互通伙伴关系，更紧密的绿色发展伙伴关系，更紧密的开放包容伙伴关系，为人类走向共同繁荣作出积极贡献。", + "chk_id": 2, + "doc_id": 48779, + "newsinfo": { + "content": "\n习近平指出，“一带一路”是大家携手前进的阳光大道，不是某一方的私家小路，追求的是发展，崇尚的是共赢，传递的是希望。我们将同各方继续高质量共建“一带一路”，践行共商共建共享原则，弘扬开放、绿色、廉洁理念，努力实现高标准、惠民生、可持续目标。我们将建设更紧密的卫生合作伙伴关系，更紧密的互联互通伙伴关系，更紧密的绿色发展伙伴关系，更紧密的开放包容伙伴关系，为人类走向共同繁荣作出积极贡献。", + "source": "人民网－人民日报", + "date": "2021-04-21", + "title": "习近平在博鳌亚洲论坛2021年年会开幕式上发表主旨演讲" + } + }, + { + "file_name": "32082688.json", + "content": "\n习近平指出，“一带一路”是大家携手前进的阳光大道，不是某一方的私家小路，追求的是发展，崇尚的是共赢，传递的是希望。我们将同各方继续高质量共建“一带一路”，践行共商共建共享原则，弘扬开放、绿色、廉洁理念，努力实现高标准、惠民生、可持续目标。我们将建设更紧密的卫生合作伙伴关系，更紧密的互联互通伙伴关系，更紧密的绿色发展伙伴关系，更紧密的开放包容伙伴关系，为人类走向共同繁荣作出积极贡献。", + "chk_id": 2, + "doc_id": 48773, + "newsinfo": { + "content": "\n习近平指出，“一带一路”是大家携手前进的阳光大道，不是某一方的私家小路，追求的是发展，崇尚的是共赢，传递的是希望。我们将同各方继续高质量共建“一带一路”，践行共商共建共享原则，弘扬开放、绿色、廉洁理念，努力实现高标准、惠民生、可持续目标。我们将建设更紧密的卫生合作伙伴关系，更紧密的互联互通伙伴关系，更紧密的绿色发展伙伴关系，更紧密的开放包容伙伴关系，为人类走向共同繁荣作出积极贡献。", + "source": "新华网", + "date": "2021-04-20", + "title": "习近平在博鳌亚洲论坛2021年年会开幕式上发表主旨演讲 倡议亚洲和世界各国回应时代呼唤，携手共克疫情，加强全球治理，高质量共建“一带一路”，朝着构建人类命运共同体方向不断迈进" + } + }, + { + "file_name": "26765906.json", + "content": "\n习近平指出，“一带一路”建设秉持的是共商、共建、共享原则，不是封闭的，而是开放包容的；不是中国一家的独奏，而是沿线国家的合唱。", + "chk_id": 5, + "doc_id": 42997, + "newsinfo": { + "content": "\n习近平指出，“一带一路”建设秉持的是共商、共建、共享原则，不是封闭的，而是开放包容的；不是中国一家的独奏，而是沿线国家的合唱。", + "source": "人民网－人民日报", + "date": "2015-03-29", + "title": " 习近平出席博鳌亚洲论坛2015年年会开幕式并发表主旨演讲 " + } + }, + { + "file_name": "25935273.json", + "content": "\n习近平指出，中国发展同亚洲命运息息相关。亚洲国家合作之路宽广，发展前景看好。亚洲国家应该坚持联合自强，互利合作，包容开放，实现共同发展繁荣。中国坚定不移走和平发展道路，践行亲、诚、惠、容的周边外交理念，奉行开放的区域主义。我提出建设丝绸之路经济带和21世纪海上丝绸之路的倡议，目的是共同打造沿线区域经济一体化新格局。一个不断发展的中国必将为亚洲发展作出更大贡献。", + "chk_id": 2, + "doc_id": 42572, + "newsinfo": { + "content": "\n习近平指出，中国发展同亚洲命运息息相关。亚洲国家合作之路宽广，发展前景看好。亚洲国家应该坚持联合自强，互利合作，包容开放，实现共同发展繁荣。中国坚定不移走和平发展道路，践行亲、诚、惠、容的周边外交理念，奉行开放的区域主义。我提出建设丝绸之路经济带和21世纪海上丝绸之路的倡议，目的是共同打造沿线区域经济一体化新格局。一个不断发展的中国必将为亚洲发展作出更大贡献。", + "source": "人民网－人民日报", + "date": "2014-10-30", + "title": "习近平会见博鳌亚洲论坛理事会代表" + } + }, + { + "file_name": "25934075.json", + "content": "\n习近平指出，中国发展同亚洲命运息息相关。亚洲国家合作之路宽广，发展前景看好。亚洲国家应该坚持联合自强，互利合作，包容开放，实现共同发展繁荣。中国坚定不移走和平发展道路，践行亲、诚、惠、容的周边外交理念，奉行开放的区域主义。我提出建设丝绸之路经济带和21世纪海上丝绸之路的倡议，目的是共同打造沿线区域经济一体化新格局。一个不断发展的中国必将为亚洲发展作出更大贡献。", + "chk_id": 1, + "doc_id": 42569, + "newsinfo": { + "content": "\n习近平指出，中国发展同亚洲命运息息相关。亚洲国家合作之路宽广，发展前景看好。亚洲国家应该坚持联合自强，互利合作，包容开放，实现共同发展繁荣。中国坚定不移走和平发展道路，践行亲、诚、惠、容的周边外交理念，奉行开放的区域主义。我提出建设丝绸之路经济带和21世纪海上丝绸之路的倡议，目的是共同打造沿线区域经济一体化新格局。一个不断发展的中国必将为亚洲发展作出更大贡献。", + "source": "新华网", + "date": "2014-10-29", + "title": "习近平会见博鳌亚洲论坛理事会代表" + } + }, + { + "file_name": "29992327.json", + "content": "\n习近平强调，“一带一路”建设是我们推动构建人类命运共同体的重要实践平台。几年来，“一带一路”建设从理念到行动，发展成为实实在在的国际合作，取得了令人瞩目的成就。", + "chk_id": 2, + "doc_id": 46066, + "newsinfo": { + "content": "\n习近平强调，“一带一路”建设是我们推动构建人类命运共同体的重要实践平台。几年来，“一带一路”建设从理念到行动，发展成为实实在在的国际合作，取得了令人瞩目的成就。", + "source": "新华社", + "date": "2018-05-15", + "title": "习近平主持召开中央外事工作委员会第一次会议" + } + }, + { + "file_name": "31047659.json", + "content": "\n习近平指出，欢迎总统先生来华出席第二届“一带一路”国际合作高峰论坛。在本届论坛上，各国领导人将本着共商共建共享原则，讨论发展政策对接、基础设施互联互通、可持续发展等共同关心的议题，为促进世界经济增长、推动国际经济合作作出更大贡献。莫桑比克是古代海上丝绸之路的重要一站，近年来积极参与共建“一带一路”。双方已经就共同推进“一带一路”合作规划达成一致，要致力于推动互利合作提质增效，加强人文交流合作，让中莫“同志加兄弟”的传统友谊不断得到继承和发扬。", + "chk_id": 0, + "doc_id": 47004, + "newsinfo": { + "content": "\n习近平指出，欢迎总统先生来华出席第二届“一带一路”国际合作高峰论坛。在本届论坛上，各国领导人将本着共商共建共享原则，讨论发展政策对接、基础设施互联互通、可持续发展等共同关心的议题，为促进世界经济增长、推动国际经济合作作出更大贡献。莫桑比克是古代海上丝绸之路的重要一站，近年来积极参与共建“一带一路”。双方已经就共同推进“一带一路”合作规划达成一致，要致力于推动互利合作提质增效，加强人文交流合作，让中莫“同志加兄弟”的传统友谊不断得到继承和发扬。", + "source": "新华社", + "date": "2019-04-24", + "title": "习近平会见莫桑比克总统纽西" + } + }, + { + "file_name": "29033965.json", + "content": "\n习近平强调，经济全球化是生产力发展的必然结果和客观需要，是历史前进的大势。要更好地适应、引导、管理经济全球化，让经济全球化的正面效应更多释放出来。全球治理是经济全球化的必然要求。各国利益与共，命运相连，必须摒弃逐利争霸的旧模式，走以制度、规则来协调关系和利益的新道路。中国一贯主张各国平等相待，走符合自身国情的发展道路，共同努力，互利共赢。我们走中国特色社会主义道路取得了一些治国理政经验，愿通过联合国这个平台同各国分享。中国提出“一带一路”倡议就是为了同各国分享发展机遇和成果。希望联合国在落实2030年可持续发展议程方面有更大作为。", + "chk_id": 1, + "doc_id": 45118, + "newsinfo": { + "content": "\n习近平强调，经济全球化是生产力发展的必然结果和客观需要，是历史前进的大势。要更好地适应、引导、管理经济全球化，让经济全球化的正面效应更多释放出来。全球治理是经济全球化的必然要求。各国利益与共，命运相连，必须摒弃逐利争霸的旧模式，走以制度、规则来协调关系和利益的新道路。中国一贯主张各国平等相待，走符合自身国情的发展道路，共同努力，互利共赢。我们走中国特色社会主义道路取得了一些治国理政经验，愿通过联合国这个平台同各国分享。中国提出“一带一路”倡议就是为了同各国分享发展机遇和成果。希望联合国在落实2030年可持续发展议程方面有更大作为。", + "source": "人民网－人民日报", + "date": "2017-01-19", + "title": "习近平会见第71届联合国大会主席汤姆森和联合国秘书长古特雷斯" + } + }, + { + "file_name": "40098617.json", + "content": "\n习近平指出，10年的历程证明，共建“一带一路”站在了历史正确一边，符合时代进步的逻辑，走的是人间正道。我们要有乱云飞渡仍从容的定力，本着对历史、对人民、对世界负责的态度，携手应对各种全球性风险和挑战，为子孙后代创造和平、发展、合作、共赢的美好未来。", + "chk_id": 4, + "doc_id": 50415, + "newsinfo": { + "content": "\n习近平指出，10年的历程证明，共建“一带一路”站在了历史正确一边，符合时代进步的逻辑，走的是人间正道。我们要有乱云飞渡仍从容的定力，本着对历史、对人民、对世界负责的态度，携手应对各种全球性风险和挑战，为子孙后代创造和平、发展、合作、共赢的美好未来。", + "source": "人民网－人民日报", + "date": "2023-10-19", + "title": "建设开放包容、互联互通、共同发展的世界" + } + }, + { + "file_name": "40245658.json", + "content": "\n习近平强调，当今世界变乱交织，百年变局加速演进，人类社会面临前所未有的挑战，发展中国家比以往任何时候都更需要加强团结合作。中方愿同赤道几内亚等广大发展中国家一道，弘扬和平共处五项原则精神，在国际事务中加强协调配合，维护发展中国家共同利益和国际公平正义，推动构建人类命运共同体。发展同非洲国家团结合作是中国外交政策的重要基石。中方愿同非方开好新一届中非合作论坛峰会，进一步弘扬传统友好，深化团结协作，共商未来发展合作大计，开启构建中非命运共同体的新篇章。", + "chk_id": 2, + "doc_id": 50690, + "newsinfo": { + "content": "\n习近平强调，当今世界变乱交织，百年变局加速演进，人类社会面临前所未有的挑战，发展中国家比以往任何时候都更需要加强团结合作。中方愿同赤道几内亚等广大发展中国家一道，弘扬和平共处五项原则精神，在国际事务中加强协调配合，维护发展中国家共同利益和国际公平正义，推动构建人类命运共同体。发展同非洲国家团结合作是中国外交政策的重要基石。中方愿同非方开好新一届中非合作论坛峰会，进一步弘扬传统友好，深化团结协作，共商未来发展合作大计，开启构建中非命运共同体的新篇章。", + "source": "人民网－人民日报", + "date": "2024-05-29", + "title": "习近平同赤道几内亚总统奥比昂会谈" + } + }, + { + "file_name": "31053839.json", + "content": "\n习近平强调，这届论坛对外传递了一个明确信号：共建“一带一路”的朋友圈越来越大，好伙伴越来越多，合作质量越来越高，发展前景越来越好。中国愿同各方一道，落实好本届高峰论坛各项共识，以绘制“工笔画”的精神，共同推动共建“一带一路”合作走深走实、行稳致远、高质量发展，开创更加美好的未来。", + "chk_id": 1, + "doc_id": 47052, + "newsinfo": { + "content": "\n习近平强调，这届论坛对外传递了一个明确信号：共建“一带一路”的朋友圈越来越大，好伙伴越来越多，合作质量越来越高，发展前景越来越好。中国愿同各方一道，落实好本届高峰论坛各项共识，以绘制“工笔画”的精神，共同推动共建“一带一路”合作走深走实、行稳致远、高质量发展，开创更加美好的未来。", + "source": "人民网－人民日报", + "date": "2019-04-28", + "title": "第二届“一带一路”国际合作高峰论坛举行圆桌峰会 习近平主持会议并致辞" + } + }, + { + "file_name": "30984416.json", + "content": "世界机遇\n习近平指出，“一带一路”建设秉持的是共商、共建、共享原则，不是封闭的，而是开放包容的；不是中国一家的独奏，而是沿线国家的合唱。“一带一路”建设不是要替代现有地区合作机制和倡议，而是要在已有基础上，推动沿线国家实现发展战略相互对接、优势互补。", + "chk_id": 11, + "doc_id": 46905, + "newsinfo": { + "content": "世界机遇\n习近平指出，“一带一路”建设秉持的是共商、共建、共享原则，不是封闭的，而是开放包容的；不是中国一家的独奏，而是沿线国家的合唱。“一带一路”建设不是要替代现有地区合作机制和倡议，而是要在已有基础上，推动沿线国家实现发展战略相互对接、优势互补。", + "source": "人民网－人民日报海外版", + "date": "2019-03-20", + "title": "习近平谈一带一路" + } + }, + { + "file_name": "32694280.json", + "content": "\n习近平强调，作为亚欧大家庭的一员，中国的发展离不开亚欧地区，也惠及亚欧地区。中方真诚希望，共建“一带一路”同欧亚经济联盟建设对接合作走深走实，各国团结协作、勠力同心，携手开创亚欧合作新局面。今年下半年，中方将举办第三届“一带一路”国际合作高峰论坛。中方愿同“一带一路”共建国和欧亚经济联盟成员国一道，继续高举和平、发展、合作、共赢旗帜，共享机遇，共克时艰，共创未来，携手谱写多极化世界文明进步新篇章。", + "chk_id": 2, + "doc_id": 50226, + "newsinfo": { + "content": "\n习近平强调，作为亚欧大家庭的一员，中国的发展离不开亚欧地区，也惠及亚欧地区。中方真诚希望，共建“一带一路”同欧亚经济联盟建设对接合作走深走实，各国团结协作、勠力同心，携手开创亚欧合作新局面。今年下半年，中方将举办第三届“一带一路”国际合作高峰论坛。中方愿同“一带一路”共建国和欧亚经济联盟成员国一道，继续高举和平、发展、合作、共赢旗帜，共享机遇，共克时艰，共创未来，携手谱写多极化世界文明进步新篇章。", + "source": "人民网－人民日报", + "date": "2023-05-25", + "title": "习近平出席欧亚经济联盟第二届欧亚经济论坛全会开幕式并致辞" + } + }, + { + "file_name": "30150912.json", + "content": "\n习近平指出，当今世界，各国人民前途命运越来越紧密相联。人类文明是多元并存的。进入新时代的中国，我们一方面坚持文化自信，大力发展教育、科技、文化事业，提高文明素质，一方面秉持“世界大同”、和合共生的传统理念，主张各国文化相互尊重，交流互鉴。中国提出“一带一路”倡议，既要促进共同发展，也要促进民心相通。中国愿为促进世界文明对话和人类发展进步作出更大贡献。", + "chk_id": 0, + "doc_id": 46235, + "newsinfo": { + "content": "\n习近平指出，当今世界，各国人民前途命运越来越紧密相联。人类文明是多元并存的。进入新时代的中国，我们一方面坚持文化自信，大力发展教育、科技、文化事业，提高文明素质，一方面秉持“世界大同”、和合共生的传统理念，主张各国文化相互尊重，交流互鉴。中国提出“一带一路”倡议，既要促进共同发展，也要促进民心相通。中国愿为促进世界文明对话和人类发展进步作出更大贡献。", + "source": "人民网－人民日报", + "date": "2018-07-17", + "title": "习近平会见联合国教科文组织总干事阿祖莱" + } + }, + { + "file_name": "40134412.json", + "content": "\n习近平强调，中国式现代化和欧洲一体化是中欧各自着眼未来作出的战略选择，中欧应该相互尊重，相互支持，加强发展战略对接，实现共同发展。共建“一带一路”倡议是开放平台，为世界上150多个国家和人民带来了实实在在的好处。赠人玫瑰，手有余香。中方愿继续推进高质量共建“一带一路”，包括同欧盟“全球门户”计划对接，一道帮助发展中国家加快发展。双方要在联合国、二十国集团等多边框架内加强沟通和协调，坚持多边主义，反对阵营对抗，推动政治解决国际和地区热点问题，就人工智能等事关人类未来的重大问题开展对话和合作，为增进全人类福祉、应对全球性挑战作出贡献。", + "chk_id": 2, + "doc_id": 50529, + "newsinfo": { + "content": "\n习近平强调，中国式现代化和欧洲一体化是中欧各自着眼未来作出的战略选择，中欧应该相互尊重，相互支持，加强发展战略对接，实现共同发展。共建“一带一路”倡议是开放平台，为世界上150多个国家和人民带来了实实在在的好处。赠人玫瑰，手有余香。中方愿继续推进高质量共建“一带一路”，包括同欧盟“全球门户”计划对接，一道帮助发展中国家加快发展。双方要在联合国、二十国集团等多边框架内加强沟通和协调，坚持多边主义，反对阵营对抗，推动政治解决国际和地区热点问题，就人工智能等事关人类未来的重大问题开展对话和合作，为增进全人类福祉、应对全球性挑战作出贡献。", + "source": "人民网－人民日报", + "date": "2023-12-08", + "title": "习近平会见欧洲理事会主席米歇尔和欧盟委员会主席冯德莱恩" + } + }, + { + "file_name": "25990858.json", + "content": "\n习近平发表重要讲话强调，丝绸之路经济带和21世纪海上丝绸之路倡议顺应了时代要求和各国加快发展的愿望，提供了一个包容性巨大的发展平台，具有深厚历史渊源和人文基础，能够把快速发展的中国经济同沿线国家的利益结合起来。", + "chk_id": 0, + "doc_id": 42588, + "newsinfo": { + "content": "\n习近平发表重要讲话强调，丝绸之路经济带和21世纪海上丝绸之路倡议顺应了时代要求和各国加快发展的愿望，提供了一个包容性巨大的发展平台，具有深厚历史渊源和人文基础，能够把快速发展的中国经济同沿线国家的利益结合起来。", + "source": "人民网－人民日报", + "date": "2014-11-07", + "title": "习近平：加快推进丝绸之路经济带和21世纪海上丝绸之路建设" + } + }, + { + "file_name": "25988633.json", + "content": "\n习近平发表重要讲话强调，丝绸之路经济带和21世纪海上丝绸之路倡议顺应了时代要求和各国加快发展的愿望，提供了一个包容性巨大的发展平台，具有深厚历史渊源和人文基础，能够把快速发展的中国经济同沿线国家的利益结合起来。", + "chk_id": 0, + "doc_id": 42586, + "newsinfo": { + "content": "\n习近平发表重要讲话强调，丝绸之路经济带和21世纪海上丝绸之路倡议顺应了时代要求和各国加快发展的愿望，提供了一个包容性巨大的发展平台，具有深厚历史渊源和人文基础，能够把快速发展的中国经济同沿线国家的利益结合起来。", + "source": "新华网", + "date": "2014-11-06", + "title": "习近平：加快推进丝绸之路经济带和21世纪海上丝绸之路建设" + } + } + ] +} \ No newline at end of file diff --git a/gomate/modules/judger/chatgpt_judger.py b/gomate/modules/judger/chatgpt_judger.py new file mode 100644 index 0000000..20ac433 --- /dev/null +++ b/gomate/modules/judger/chatgpt_judger.py @@ -0,0 +1,86 @@ +import time +from typing import List, Any +import requests +from tqdm import tqdm +from gomate.modules.judger.base import BaseJudger + +class OpenaiJudgerConfig: + """ + """ + def __init__(self, api_url='http://gomatellm-service.aicloud-yanqiang.svc.cluster.local'): + self.api_url = api_url + + def log_config(self): + # Log the current configuration settings + return f""" + BgejudgerConfig: + API URL: {self.api_url} + """ + + +class OpenaiJudger(BaseJudger): + """ + A judger that utilizes a BERT-based model for sequence classification + to judge a list of documents based on their relevance to a given query. + """ + + def __init__(self, config): + super().__init__() + self.config = config + self.api_url = self.config.api_url + print('Successful Init ChatGPT Judger ') + + def judge(self, query: str, documents: List[str], k: int = 5, is_sorted: bool = False) -> list[dict[str, Any]]: + system_prompt = """ + 给定一个查询 A 和一段文章,判断该文章是否包含对该查询的答案,并提供 1 或 0的预测结果。 + 关键步骤如下: + + 检查查询是否包含特定会议或活动的名称。 + 如果包含,检查文章标题或内容是否提到了相同的会议或活动名称。 + + 如果提到了会议/活动名称,返回1， 如果没有提到会议/活动名称,返回0。 + 如果查询中没有包含特定的会议/活动名称,检查文章内容是否与查询相关。如果内容相关,返回 1，如果内容不相关,返回0。 + + 只返回预测结果1或者0，不要解释原因，不要输出额外内容 + + 查询：{query} + 文章：{passage} + + """ + print("Start Judge query and doc") + start_time = time.time() + judge_docs = [] + for passage in tqdm(documents): + # API endpoint + # Request payload + payload = { + "prompt": system_prompt.format(query=query, passage=passage), + "teampture": 0.1, + "top_k": 8 + } + try: + # Send POST request + response = requests.post(self.api_url, json=payload) + # Check if request was successful + response.raise_for_status() + + judge_docs.append( + { + 'doc': passage, + 'score': int(response.json()['response'].strip()), + 'label': int(response.json()['response'].strip()) + + } + ) + except requests.exceptions.RequestException as e: + print(f"An error occurred: {e}") + judge_docs.append( + { + 'doc': passage, + 'score': 0, + 'label': 0 + } + ) + end_time = time.time() + print(end_time - start_time) + return judge_docs From ef9dfb364e95056b20a92a61020d8a72346617cd Mon Sep 17 00:00:00 2001 From: yanqiangmiffy Date: Tue, 12 Nov 2024 15:01:30 +0800 Subject: [PATCH 3/5] features@rewriter judger --- api/apps/core/rewrite/bodys.py | 21 +++ api/apps/core/rewrite/models.py | 38 +++++ api/apps/core/rewrite/views.py | 32 ++++ api/main.py | 2 + examples/judger/bgejudger_exmpale.py | 6 +- examples/judger/chatgpt_judger.py | 7 +- examples/rewriters/openai_rewriter_example.py | 13 ++ gomate/modules/judger/chatgpt_judger.py | 49 ++++-- gomate/modules/rewriter/openai_rewrite.py | 144 ++++++++++++++++++ 9 files changed, 296 insertions(+), 16 deletions(-) create mode 100644 api/apps/core/rewrite/bodys.py create mode 100644 api/apps/core/rewrite/models.py create mode 100644 api/apps/core/rewrite/views.py create mode 100644 examples/rewriters/openai_rewriter_example.py create mode 100644 gomate/modules/rewriter/openai_rewrite.py diff --git a/api/apps/core/rewrite/bodys.py b/api/apps/core/rewrite/bodys.py new file mode 100644 index 0000000..fb39224 --- /dev/null +++ b/api/apps/core/rewrite/bodys.py @@ -0,0 +1,21 @@ +#!/usr/bin/env python +# -*- coding:utf-8 _*- +""" +@author:quincy qiang +@license: Apache Licence +@file: bodys.py +@time: 2024/06/13 +@contact: yanqiangmiffy@gamil.com +@software: PyCharm +@description: coding.. +""" +from typing import List + +from pydantic import BaseModel, Field + + +class RewriteBody(BaseModel): + """ + # 入参模型定义 + """ + query: str = Field("RCEP具体包括哪些国家", description="查询query") diff --git a/api/apps/core/rewrite/models.py b/api/apps/core/rewrite/models.py new file mode 100644 index 0000000..f0ec08d --- /dev/null +++ b/api/apps/core/rewrite/models.py @@ -0,0 +1,38 @@ +#!/usr/bin/env python +# -*- coding:utf-8 _*- +""" +@author:quincy qiang +@license: Apache Licence +@file: models.py +@time: 2024/06/13 +@contact: yanqiangmiffy@gamil.com +@software: PyCharm +@description: coding.. +""" +from pydantic import BaseModel +from pydantic import Field +from enum import IntEnum +from tortoise import fields +from apps.core.base import AbstractModel + +# class ApplicationModel(BaseModel): +# application_name: str = Field("应用名称", description="应用名称") +# knowledge_id: str = Field("应用名称", description="知识库结合id") +# service_name: str = Field("官方体验服务", description="模型服务名称") +# model_name: str = Field("GoGPT2.0", description="大模型名称") +# temperature: float = Field(0.5, description="多样性大小") + + +class Application(AbstractModel): + application_name = fields.CharField(max_length=150, description="应用名称") + knowledge_id = fields.IntField(default=1, description="知识库id") + # knowledge_name=fields.CharField(max_length=150,description="知识库名称") + # service_name = fields.CharField(max_length=150, description="模型服务名称") + # model_name = fields.CharField(max_length=150, description="大模型名称") + service_id=fields.IntField(default=1,description="模型服务id") + model_id=fields.IntField(default=1,description="模型id") + temperature = fields.FloatField(default=0.5, description="多样性大小") + + class Meta: + table = "rag_application" + diff --git a/api/apps/core/rewrite/views.py b/api/apps/core/rewrite/views.py new file mode 100644 index 0000000..efb73fa --- /dev/null +++ b/api/apps/core/rewrite/views.py @@ -0,0 +1,32 @@ +#!/usr/bin/env python +# -*- coding:utf-8 _*- +""" +@author:quincy qiang +@license: Apache Licence +@file: views.py +@time: 2024/06/13 +@contact: yanqiangmiffy@gamil.com +@software: PyCharm +@description: coding.. +""" +import loguru +from fastapi import APIRouter + +from api.apps.core.rewrite.bodys import RewriteBody +from api.apps.handle.response.json_response import ApiResponse +from gomate.modules.rewriter.openai_rewrite import OpenaiRewriter,OpenaiRewriterConfig + + +rewriter_router = APIRouter() + +rewriter_config = OpenaiRewriterConfig( + api_url="http://10.208.63.29:8888" +) +openai_rewriter = OpenaiRewriter(rewriter_config) + +# Create +@rewriter_router.post("/rewrite/", response_model=None, summary="改写查询") +async def rewrite(rewrite_body: RewriteBody): + query = rewrite_body.query + response = openai_rewriter.rewrite(query) + return ApiResponse(response, message="改写查询") diff --git a/api/main.py b/api/main.py index 3f856fa..e3c564c 100644 --- a/api/main.py +++ b/api/main.py @@ -25,6 +25,7 @@ from apps.core.parser.views import parse_router from apps.core.citation.views import citation_router from apps.core.refiner.views import refiner_router +from apps.core.rewrite.views import rewriter_router import uvicorn app_config = AppConfig() @@ -34,6 +35,7 @@ app.include_router(parse_router, prefix="/gomate_tool", tags=["parser"]) app.include_router(citation_router, prefix="/gomate_tool", tags=["citation"]) app.include_router(refiner_router, prefix="/gomate_tool", tags=["refiner"]) +app.include_router(rewriter_router, prefix="/gomate_tool", tags=["rewrite"]) if __name__ == '__main__': uvicorn.run('main:app', host=app_config.API_HOST, port=app_config.API_PORT, workers=8, reload=True) diff --git a/examples/judger/bgejudger_exmpale.py b/examples/judger/bgejudger_exmpale.py index 8e610cd..9c58abc 100644 --- a/examples/judger/bgejudger_exmpale.py +++ b/examples/judger/bgejudger_exmpale.py @@ -9,7 +9,7 @@ @software: PyCharm @description: coding.. """ - +import pandas as pd from gomate.modules.judger.bge_judger import BgeJudger, BgeJudgerConfig if __name__ == '__main__': @@ -22,8 +22,8 @@ '习近平主席着眼全人类福祉，积极促进世界和平，主张对话而不对抗，提出的共建“一带一路”和全球发展倡议、全球安全倡议、全球文明倡议，为解决当今世界面临的问题，推动建设更加和平、美好的世界提供了战略引领，巴方高度赞赏并全力支持中巴经济走廊有力促进了巴基斯坦国家发展，实实在在地造福了巴基斯坦人民巴方将学习借鉴中国的治国理政经验，同中方持续高质量共建“一带一路”，深化各领域务实合作巴政府再次对今年3月达苏恐袭事件造成中方人员遇难表示深切哀悼，将坚决打击并严惩涉案恐怖分子，采取切实有效措施，确保在巴中方人员、机构的安全我愿重申，没有任何势力能够阻挡中国发展壮大，没有任何势力能够动摇巴中铁杆友谊巴方将坚定不移做中国最可信赖的朋友和伙伴一个中国原则是巴政府坚定不移的承诺，台湾是中国领土不可分割的一部分巴方将继续毫不迟疑地坚定支持中国在涉台、涉藏、涉疆、南海等所有核心利益问题上的立场王毅、张又侠参加会见。', '新华社北京6月7日电 （记者孙奕）6月7日下午，国家主席习近平在北京人民大会堂会见来华正式访问的巴基斯坦总理夏巴兹。习近平指出，中国和巴基斯坦是山水相连的好邻居、信义相交的好朋友，更是守望相助的好伙伴、患难与共的好兄弟。中巴全天候战略合作伙伴关系不断深化，拥有坚实的民意基础、强大的内生动力、广阔的发展前景。中方愿同巴方坚定相互支持，拉紧合作纽带，深化战略协调，加快构建新时代更加紧密的中巴命运共同体，为地区和平、稳定、发展、繁荣作出更大贡献。习近平强调，中巴铁杆友谊历久弥坚，关键在于双方始终相互理解、高度信任、坚定支持。感谢巴方在涉及中国核心利益和重大关切问题上长期坚定支持中国。中方也将一如既往坚定支持巴方捍卫国家主权和领土完整，支持巴方走符合本国国情的发展道路，支持巴方坚定打击恐怖主义。中方愿推动高质量共建“一带一路”同巴方发展规划对接，因地制宜开展农业、矿业、社会民生等领域合作，以打造中巴经济走廊“升级版”为中心，共建增长、民生、创新、绿色、开放“五大走廊”，推动高质量共建中巴经济走廊走深走实，助力巴基斯坦经济社会发展。希望巴方持续创造安全、稳定、可预期的营商环境，切实保障在巴中方人员、项目、机构安全。中方愿同巴方加强在联合国、上海合作组织等多边机制内的协调配合，共同推动平等有序的世界多极化和普惠包容的经济全球化，聚焦发展议程，应对安全挑战，完善全球治理，维护发展中国家共同利益和国际公平正义。夏巴兹表示，在习近平主席英明领导下，中国在脱贫、反腐和发展方面取得世界瞩目的伟大成就。习近平主席的远见卓识和杰出领导力，得到巴基斯坦人民和世界各国人民的由衷敬佩和高度评价。习近平主席着眼全人类福祉，积极促进世界和平，主张对话而不对抗，提出的共建“一带一路”和全球发展倡议、全球安全倡议、全球文明倡议，为解决当今世界面临的问题，推动建设更加和平、美好的世界提供了战略引领，巴方高度赞赏并全力支持。中巴经济走廊有力促进了巴基斯坦国家发展，实实在在地造福了巴基斯坦人民。巴方将学习借鉴中国的治国理政经验，同中方持续高质量共建“一带一路”，深化各领域务实合作。' ] - top_docs = bge_judger.judge( + judge_docs = bge_judger.judge( query="发展新质生产力", documents=contexts, ) - print(top_docs) + print(judge_docs) diff --git a/examples/judger/chatgpt_judger.py b/examples/judger/chatgpt_judger.py index 609d715..faa89e3 100644 --- a/examples/judger/chatgpt_judger.py +++ b/examples/judger/chatgpt_judger.py @@ -1,5 +1,7 @@ import json +import pandas as pd + from gomate.modules.judger.chatgpt_judger import OpenaiJudger, OpenaiJudgerConfig if __name__ == '__main__': @@ -16,8 +18,9 @@ f"标题：{doc['newsinfo']['title']}\n日期：{doc['newsinfo']['date']}\n内容：{doc['newsinfo']['content']}\n" for doc in data['selected_docs'] ] - top_docs = openai_judger.judge( + judge_docs = openai_judger.judge( query="在“一带一路”国际合作高峰论坛上，习近平讲了什么？", documents=documents, ) - print(top_docs) + # print(judge_docs) + print(pd.DataFrame(judge_docs)) \ No newline at end of file diff --git a/examples/rewriters/openai_rewriter_example.py b/examples/rewriters/openai_rewriter_example.py new file mode 100644 index 0000000..6b337a7 --- /dev/null +++ b/examples/rewriters/openai_rewriter_example.py @@ -0,0 +1,13 @@ +from gomate.modules.rewriter.openai_rewrite import OpenaiRewriter,OpenaiRewriterConfig +if __name__ == '__main__': + + rewriter_config = OpenaiRewriterConfig( + api_url="https://aicloud.oneainexus.cn:30013/inference/aicloud-yanqiang/gomatellm/" + ) + openai_rewriter = OpenaiRewriter(rewriter_config) + + query="在“一带一路”国际合作高峰论坛上，习近平讲了什么？" + query="习近平关于改革开放有什么最新的论述？" + + result=openai_rewriter.rewrite(query) + print(result) \ No newline at end of file diff --git a/gomate/modules/judger/chatgpt_judger.py b/gomate/modules/judger/chatgpt_judger.py index 20ac433..8deaa9e 100644 --- a/gomate/modules/judger/chatgpt_judger.py +++ b/gomate/modules/judger/chatgpt_judger.py @@ -1,12 +1,16 @@ import time from typing import List, Any + import requests -from tqdm import tqdm +from tqdm import tqdm + from gomate.modules.judger.base import BaseJudger + class OpenaiJudgerConfig: """ """ + def __init__(self, api_url='http://gomatellm-service.aicloud-yanqiang.svc.cluster.local'): self.api_url = api_url @@ -32,22 +36,45 @@ def __init__(self, config): def judge(self, query: str, documents: List[str], k: int = 5, is_sorted: bool = False) -> list[dict[str, Any]]: system_prompt = """ - 给定一个查询 A 和一段文章,判断该文章是否包含对该查询的答案,并提供 1 或 0的预测结果。 - 关键步骤如下: + 判断给定文章是否回答了查询，请严格遵循以下步骤并返回结果 1 或 0： - 检查查询是否包含特定会议或活动的名称。 - 如果包含,检查文章标题或内容是否提到了相同的会议或活动名称。 + 1. 会议或活动名称检查： + - 如果查询包含会议或活动的名称，请检查文章标题是否提到会议相关名称。 + - 若标题提到该名称，返回 1；若未提到该名称，返回 0。 + - 如果查询中出现会议或者活动名称，需要严格遵守上面规则，不确定是否提及名称返回0 - 如果提到了会议/活动名称,返回1， 如果没有提到会议/活动名称,返回0。 - 如果查询中没有包含特定的会议/活动名称,检查文章内容是否与查询相关。如果内容相关,返回 1，如果内容不相关,返回0。 + 2. 相关性检查： + - 如果查询中没有会议或活动名称，则判断文章内容是否与查询相关。 + - 若内容相关，返回 1；若不相关，返回 0。 - 只返回预测结果1或者0，不要解释原因，不要输出额外内容 + 注意：只返回 1 或 0，不解释原因，不输出其他内容。 + + 示例1： + 查询：在“一带一路”国际合作高峰论坛上，习近平讲了什么？ + 新闻：标题：“一带一路”国际合作高峰论坛举行圆桌峰会 习近平主持会议并致辞日期：2017-05-16内容：习近平指出，中方主办这次高峰论坛，目的就是共商合作大计，共建合作平台，共享合作成果，让“一带一路”建设更好造福各国人民。 + 返回：1 + + 示例2： + 查询：在“一带一路”国际合作高峰论坛上，习近平讲了什么？ + 新闻：习近平：加快推进丝绸之路经济带和21世纪海上丝绸之路建设日期：2014-11-06内容：习近平发表重要讲话强调，丝绸之路经济带和21世纪海上丝绸之路倡议顺应了时代要求和各国加快发展的愿望，提供了一个包容性巨大的发展平台，具有深厚历史渊源和人文基础，能够把快速发展的中国经济同沿线国家的利益结合起来。 + 返回：0 + + 示例3： + 查询：在全国卫生与健康大会上，习对医疗卫生服务体系改革有哪些具体部署？ + 新闻：标题：习近平在教育文化卫生体育领域专家代表座谈会上的讲话日期：2020-09-23内容：习近平强调，要深化医疗卫生体制改革，加快健全分级诊疗制度、现代医院管理制度、全民医保制度、药品供应保障制度、综合监管制度，合理制定并落实公立医疗卫生机构人员编制标准并建立动态核增机制。 + 返回：0 + + 示例3： + 查询：在全国卫生与健康大会上，习对医疗卫生服务体系改革有哪些具体部署？ + 新闻：标题：习近平：构建起强大的公共卫生体系 为维护人民健康提供有力保障日期：2020-09-15内容：习近平指出，要改革完善疾病预防控制体系。疾病预防控制体系是保护人民健康、保障公共卫生安全、维护经济社会稳定的重要保障。要立足更精准更有效地防，在理顺体制机制、明确功能定位、提升专业能力等方面加大改革力度。 + 返回：0 - 查询：{query} - 文章：{passage} + 查询：{query} + 文章：{passage} + """ - """ print("Start Judge query and doc") + print(query) start_time = time.time() judge_docs = [] for passage in tqdm(documents): diff --git a/gomate/modules/rewriter/openai_rewrite.py b/gomate/modules/rewriter/openai_rewrite.py new file mode 100644 index 0000000..4772633 --- /dev/null +++ b/gomate/modules/rewriter/openai_rewrite.py @@ -0,0 +1,144 @@ +import time +from typing import List, Any +import requests +from tqdm import tqdm +from gomate.modules.rewriter.base import BaseRewriter +import json +import re + + +class OpenaiRewriterConfig: + """ + """ + + def __init__(self, api_url='http://gomatellm-service.aicloud-yanqiang.svc.cluster.local'): + self.api_url = api_url + + def log_config(self): + # Log the current configuration settings + return f""" + BgeRewriterConfig: + API URL: {self.api_url} + """ + + +class OpenaiRewriter(BaseRewriter): + """ + A Rewriter that utilizes a BERT-based model for sequence classification + to judge a list of documents based on their relevance to a given query. + """ + + def __init__(self, config): + super().__init__() + self.config = config + self.api_url = self.config.api_url + print('Successful Init ChatGPT Rewriter ') + + def parse_response(self, response_data: str): + """ + 解析JSON响应字符串，如果解析失败则返回默认空值 + Args: + json_string (str): JSON格式的响应字符串 + + Returns: + dict: 包含location、date和event字段的字典，解析失败时返回空值 + """ + # 定义默认的返回结构 + default_response = { + "location": "", + "date": "", + "event": "" + } + + try: + # 如果response是字符串，则需要再次解析 + if isinstance(response_data, str): + try: + response_data = re.sub(r'^.*?```json\n|```$', '', response_data, flags=re.DOTALL) + response_data = json.loads(response_data) + except json.JSONDecodeError: + print("报错") + return default_response + + # 从解析后的数据中提取字段，如果不存在则使用空字符串 + result = { + "location": response_data.get("location", ""), + "date": response_data.get("date", ""), + "event": response_data.get("event", "") + } + + return result + + except json.JSONDecodeError: + print("报错") + return default_response + except Exception: + print("报错") + return default_response + + def rewrite(self, query): + system_prompt = """ +请分析用户问题并提取其中的地点、时间、活动或会议名称，将这些信息以JSON格式输出。如果信息不全或用户未提及，则标记为""。按以下格式生成JSON输出： + { + "location": "地点或国家名称（如有）", + "date": "时间日期或者时间范围（比如最新或最近等）（如有）", + "event": "活动或会议名称（如有）" + } + + 示例： + 输入："在“一带一路”国际合作高峰论坛上，习近平讲了什么？" + 输出：{ + "location": "", + "date": "", + "event": "一带一路国际合作高峰论坛" + } + + 输入："在全国卫生与健康大会上，习近平对医疗卫生服务体系改革有哪些具体部署？" + 输出：{ + "location": "", + "date": "", + "event": "全国卫生与健康大会" + } + + 输入："在中央外事工作会议上，习对对外工作和外交战略有哪些具体部署？" + 输出：{ + "location": "", + "date": "", + "event": "中央外事工作会议" + } + + 输入："习近平在福建考察有什么重要指示？" + 输出：{ + "location": "福建", + "date": "", + "event": "" + } + + 输入："习近平在福建考察有什么重要指示？" + 输出：{ + "location": "福建", + "date": "", + "event": "" + } + 输入："习近平关于新质生产力有什么最新的论述？" + 输出：{ + "location": "", + "date": "最新", + "event": "" + } + + 用户问题： + """ + + # Request payload + payload = { + "prompt": system_prompt + "\n" + query, + "teampture": 0.2, + "top_k": 20 + } + print(system_prompt + "\n" + query) + response = requests.post(self.api_url, json=payload) + response = response.json() + response = self.parse_response(response['response']) + return response + From 9acad440f3940a0352d77e8653cbadb60a861fc4 Mon Sep 17 00:00:00 2001 From: yanqiangmiffy Date: Fri, 15 Nov 2024 13:04:06 +0800 Subject: [PATCH 4/5] =?UTF-8?q?update@=E4=BF=AE=E6=94=B9views?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- api/apps/core/parser/views.py | 4 ++-- 1 file changed, 2 insertions(+), 2 deletions(-) diff --git a/api/apps/core/parser/views.py b/api/apps/core/parser/views.py index f872213..1f281e2 100644 --- a/api/apps/core/parser/views.py +++ b/api/apps/core/parser/views.py @@ -76,8 +76,8 @@ async def parser(file: UploadFile = File(...), chunk_size: int = 512): chunks = tc.chunk_sentences(contents, chunk_size=chunk_size) results.append( { - 'source': '来源', - 'title': '标题', + 'source': filename, + 'title': filename, 'date': '20241008', 'sec_num': 0, 'content': ''.join(chunks), From 40a9b23cc562b3e29944f0201a84401bce36280c Mon Sep 17 00:00:00 2001 From: yanqiangmiffy <1185918903@qq.com> Date: Thu, 21 Nov 2024 11:20:06 +0800 Subject: [PATCH 5/5] =?UTF-8?q?features@=E6=B7=BB=E5=8A=A0engine:es=20mini?= =?UTF-8?q?o=20mongo?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- gomate/modules/engine/__init__.py | 0 gomate/modules/engine/es.py | 73 +++++++++ gomate/modules/engine/minio.py | 245 ++++++++++++++++++++++++++++++ gomate/modules/engine/mongo.py | 124 +++++++++++++++ requirements.txt | 6 +- 5 files changed, 447 insertions(+), 1 deletion(-) create mode 100644 gomate/modules/engine/__init__.py create mode 100644 gomate/modules/engine/es.py create mode 100644 gomate/modules/engine/minio.py create mode 100644 gomate/modules/engine/mongo.py diff --git a/gomate/modules/engine/__init__.py b/gomate/modules/engine/__init__.py new file mode 100644 index 0000000..e69de29 diff --git a/gomate/modules/engine/es.py b/gomate/modules/engine/es.py new file mode 100644 index 0000000..ec1b596 --- /dev/null +++ b/gomate/modules/engine/es.py @@ -0,0 +1,73 @@ +from elasticsearch import Elasticsearch + +class ESClient: + def __init__(self, host:str="x.x.x.x:9200", user:str="elastic", password:str="elastic", timeout:int=50): + """ + Initialize the Elasticsearch client. + :param host: Elasticsearch host (e.g., "http://127.0.0.1:9200") + :param user: Username for HTTP authentication (optional) + :param password: Password for HTTP authentication (optional) + :param timeout: Request timeout in seconds (default is 50) + """ + self.client = Elasticsearch( + hosts=[host], + timeout=timeout, + http_auth=(user, password) if user and password else None + ) + + def search(self, index, query): + """ + Perform a search query on the specified index. + + :param index: Elasticsearch index to search in + :param query: Query body in Elasticsearch DSL format + :return: Search results + """ + response = self.client.search(index=index, body=query) + return response['hits']['hits'] + + def match_phrase_query(self, index, fields, values): + """ + Perform a match_phrase query on the specified index. + index = "document_shard_index_lm" + fields = ["content", "content", "content"] + values = ["9月10日", "澳", "大狗"] + :param index: Elasticsearch index to search in + :param fields: List of fields to search in + :param values: List of values to search for (must match the length of fields) + :return: Search results + """ + if len(fields) != len(values): + raise ValueError("The number of fields must match the number of values") + + query = { + "track_total_hits": True, + "query": { + "bool": { + "must": [ + {"match_phrase": {field: value}} for field, value in zip(fields, values) + ] + } + } + } + + return self.search(index, query) + +# Example usage +if __name__ == '__main__': + # Configuration + host = "http://127.0.0.1:9200" + user = "elastic" + password = "elastic" + + # Initialize the ESClient + es_client = ESClient(host, user=user, password=password) + + # Define the query parameters + index = "document_shard_index_lm" + fields = ["content", "content", "content"] + values = ["9月10日", "澳", "大狗"] + + # Perform the search + results = es_client.match_phrase_query(index, fields, values) + print(results) \ No newline at end of file diff --git a/gomate/modules/engine/minio.py b/gomate/modules/engine/minio.py new file mode 100644 index 0000000..f5ff1e3 --- /dev/null +++ b/gomate/modules/engine/minio.py @@ -0,0 +1,245 @@ +import os +import loguru +from minio import Minio +from minio.error import S3Error +from datetime import timedelta +from minio.deleteobjects import DeleteObject +from tqdm import trange + +class MinioConfig(): + endpoint = '127.0.0.1:9001' + access_key = 'minioadmin' + secret_key = 'minioadmin' + secure = False + + +class Bucket(object): + client = None + policy = '{"Version":"2012-10-17","Statement":[{"Effect":"Allow","Principal":{"AWS":["*"]},"Action":["s3:GetBucketLocation","s3:ListBucket"],"Resource":["arn:aws:s3:::%s"]},{"Effect":"Allow","Principal":{"AWS":["*"]},"Action":["s3:GetObject"],"Resource":["arn:aws:s3:::%s/*"]}]}' + def __new__(cls, *args, **kwargs): + if not cls.client: + cls.client = object.__new__(cls) + return cls.client + def __init__(self, secure=False): + self.service = MinioConfig.endpoint + self.client = Minio(MinioConfig.endpoint, MinioConfig.access_key, MinioConfig.secret_key, secure=secure) + def exists_bucket(self, bucket_name): + """ + 判断桶是否存在 + :param bucket_name: 桶名称 + :return: + """ + return self.client.bucket_exists(bucket_name=bucket_name) + def create_bucket(self, bucket_name:str, is_policy:bool=True): + """ + 创建桶 + 赋予策略 + :param bucket_name: 桶名 + :param is_policy: 策略 + :return: + """ + if self.exists_bucket(bucket_name=bucket_name): + return False + else: + self.client.make_bucket(bucket_name = bucket_name) + if is_policy: + policy = self.policy % (bucket_name, bucket_name) + self.client.set_bucket_policy(bucket_name=bucket_name, policy=policy) + return True + + def get_bucket_list(self): + """ + 列出存储桶 + :return: + """ + buckets = self.client.list_buckets() + bucket_list = [] + for bucket in buckets: + bucket_list.append( + {"bucket_name": bucket.name, "create_time": bucket.creation_date} + ) + return bucket_list + + def remove_bucket(self, bucket_name): + """ + 删除桶 + :param bucket_name: + :return: + """ + try: + self.client.remove_bucket(bucket_name=bucket_name) + except S3Error as e: + print("[error]:", e) + return False + return True + def bucket_list_files(self, bucket_name, prefix): + """ + 列出存储桶中所有对象 + :param bucket_name: 同名 + :param prefix: 前缀 + :return: + """ + try: + files_list = self.client.list_objects(bucket_name=bucket_name, prefix=prefix, recursive=True) + for obj in files_list: + print(obj.bucket_name, + # obj.object_name.encode('utf-8'), + obj.object_name, + obj.last_modified, + obj.etag, obj.size, obj.content_type) + + return files_list + except S3Error as e: + print("[error]:", e) + def bucket_policy(self, bucket_name): + """ + 列出桶存储策略 + :param bucket_name: + :return: + """ + try: + policy = self.client.get_bucket_policy(bucket_name) + except S3Error as e: + print("[error]:", e) + return None + return policy + + def download_file(self, bucket_name, file, file_path, stream=1024*32): + """ + 从bucket 下载文件 + 写入指定文件 + :return: + """ + try: + data = self.client.get_object(bucket_name, file) + with open(file_path, "wb") as fp: + for d in data.stream(stream): + fp.write(d) + except S3Error as e: + print("[error]:", e) + def fget_file(self, bucket_name, file, file_path): + """ + 下载保存文件保存本地 + :param bucket_name: + :param file: + :param file_path: + :return: + """ + self.client.fget_object(bucket_name, file, file_path) + def copy_file(self, bucket_name, file, file_path): + """ + 拷贝文件（最大支持5GB） + :param bucket_name: + :param file: + :param file_path: + :return: + """ + self.client.copy_object(bucket_name, file, file_path) + def upload_file(self,bucket_name, file, file_path, content_type): + """ + 上传文件 + 写入 + :param bucket_name: 桶名 + :param file: 文件名 + :param file_path: 本地文件路径 + :param content_type: 文件类型 + :return: + """ + try: + with open(file_path, "rb") as file_data: + file_stat = os.stat(file_path) + self.client.put_object(bucket_name, file, file_data, file_stat.st_size, content_type=content_type) + except S3Error as e: + print("[error]:", e) + def fput_file(self, bucket_name, file, file_path): + """ + 上传文件 + :param bucket_name: 桶名 + :param file: 文件名 + :param file_path: 本地文件路径 + :return: + """ + try: + self.client.fput_object(bucket_name, file, file_path) + except S3Error as e: + print("[error]:", e) + + def stat_object(self, bucket_name, file): + """ + 获取文件元数据 + :param bucket_name: + :param file: + :return: + """ + try: + data = self.client.stat_object(bucket_name, file) + print(data.bucket_name) + print(data.object_name) + print(data.last_modified) + print(data.etag) + print(data.size) + print(data.metadata) + print(data.content_type) + except S3Error as e: + print("[error]:", e) + def remove_file(self, bucket_name, file): + """ + 移除单个文件 + :return: + """ + self.client.remove_object(bucket_name, file) + def remove_files(self, bucket_name, file_list): + """ + 删除多个文件 + :return: + """ + delete_object_list = [DeleteObject(file) for file in file_list] + for del_err in self.client.remove_objects(bucket_name, delete_object_list): + print("del_err", del_err) + def presigned_get_file(self, bucket_name, file, days=7): + """ + 生成一个http GET操作 签证URL + :return: + """ + return self.client.presigned_get_object(bucket_name, file, expires=timedelta(days=days)) + + def Upload_folder(self, bucket_name, folder): + """ + 功能描述：将本地文件（夹），传输到MinIO指定Buckets + PS1:支持断点续传 + 公众号：CV初学者 + + :param bucket_name: MinIO的Buckets名称 + :param folder: 本地待传文件夹地址 + :param client: 用户信息 + :return: + """ + for root, dirs, files in os.walk(folder, topdown=False, followlinks=False): + for i in trange(len(files)): + filename = files[i] + object_name = os.path.join(root, filename)[2:].replace('\\', '/') + file_path = os.path.join(root, filename) + try: + # 通过文件上传到对象中 fput_object(存储桶名称, 对象名称, 本地文件的路径) + self.client.fput_object(bucket_name=bucket_name, object_name="vector_store/"+filename, file_path=file_path) + except Exception as e: + loguru.logger.error(e) + print('Upload error') + # try: + # # 获取对象的元数据，能成功，就说明对象存在，否则对象出错，对象不存在 + # self.client.stat_object(bucket_name=bucket_name, object_name=object_name) + # except: + # try: + # # 通过文件上传到对象中 fput_object(存储桶名称, 对象名称, 本地文件的路径) + # self.client.fput_object(bucket_name=bucket_name, object_name=object_name, file_path=file_path) + # except: + # print('Upload error') + + def pull_bucket(self, bucket_name, destination_dir): + objects = self.client.list_objects(bucket_name, recursive=True) + for obj in objects: + object_name = obj.object_name + destination_path = os.path.join(destination_dir, object_name) + self.client.fget_object(bucket_name, object_name, destination_path) + + +if __name__ == '__main__': + minio_obj = Bucket() + minio_obj.bucket_list_files("b2809084cfd2f2ecd28db8172d3c5cd6",None) diff --git a/gomate/modules/engine/mongo.py b/gomate/modules/engine/mongo.py new file mode 100644 index 0000000..ee07ab6 --- /dev/null +++ b/gomate/modules/engine/mongo.py @@ -0,0 +1,124 @@ +#!/usr/bin/env python +# -*- coding:utf-8 _*- +""" +@author:quincy qiang +@license: Apache Licence +@file: mongo_utils.py +@time: 2022/11/18 +@contact: yanqiangmiffy@gamil.com +@software: PyCharm +@description: coding.. +""" +import sys +import json +from datetime import date, datetime + +import numpy as np +import pymongo +from bson import ObjectId + +class MongoConfig: + client = 'mongodb://root:root@127.0.0.1:6080/' + +class NpEncoder(json.JSONEncoder): + def default(self, obj): + if isinstance(obj, np.integer): + return int(obj) + elif isinstance(obj, np.floating): + return float(obj) + elif isinstance(obj, np.ndarray): + return obj.tolist() + elif isinstance(obj, ObjectId): + return str(obj) + elif isinstance(obj, datetime): + return obj.strftime('%Y-%m-%d %H:%M:%S') + elif isinstance(obj, date): + return obj.strftime('%Y-%m-%d') + elif isinstance(obj, ObjectId): + return str(obj) + else: + return super(NpEncoder, self).default(obj) + + +class MongoCursor(object): + def __init__(self): + self.db = self.get_conn() + + def get_conn(self): + # client = pymongo.MongoClient("mongodb://root:golaxyintelligence@10.208.61.115:20000/") + client = pymongo.MongoClient(MongoConfig.client) + # print(client.database_names()) + db = client['RAG'] + return db + + def get_prompts(self): + """ + 获取任务标签 + """ + collection = self.db['prompts'] + data = [json.loads(json.dumps(task, cls=NpEncoder, ensure_ascii=False)) for task in collection.find()][0] + # print(data) + print(data['_id']) + del data['_id'] + return data + + def insert_one(self, document, collection_name): + # print(document) + collection = self.db[collection_name] + result = collection.insert_one(document) + # print(result.inserted_id) + result={'id':result.inserted_id} + result=json.loads(json.dumps(result, cls=NpEncoder, ensure_ascii=False)) + return result + + def find_one(self, id, collection_name): + collection = self.db[collection_name] + result = collection.find_one({'_id': ObjectId(id)}) + # print(type(result)) + result = json.loads(json.dumps(result, cls=NpEncoder, ensure_ascii=False)) + result = self.rename(result, '_id', 'id') + return result + + def delete_one(self, id, collection_name): + collection = self.db[collection_name] + result = collection.delete_one({'_id': ObjectId(id)}) + return result + + def find_many(self, query, collection_name): + collection = self.db[collection_name] + results = collection.find(query, sort=[("update_time", pymongo.DESCENDING)]) + results = [json.loads(json.dumps(task, cls=NpEncoder, ensure_ascii=False)) for task in results] + results = [self.rename(result, 'title', 'name') for result in results] + results = [self.rename(result, 'update_time', 'update_date') for result in results] + return results + + def update_one(self, id, collection_name, **kwargs): + """ + + :param id: + :param collection_name: + :param update: {'$set': kwargs} + :return: + """ + collection = self.db[collection_name] + result = collection.update_one(filter={'_id': ObjectId(id)}, update={'$set': kwargs}) + # print(type(result.raw_result)) + message = result.raw_result + if message['updatedExisting']: + message['message'] = "保存成功" + else: + message['message'] = "保存失败，请检查id是否存在" + return message + + def rename(self, old_dict, old_name, new_name): + new_dict = {} + for key, value in zip(old_dict.keys(), old_dict.values()): + new_key = key if key != old_name else new_name + new_dict[new_key] = old_dict[key] + return new_dict + + +if __name__ == '__main__': + mc = MongoCursor() + print(mc.get_prompts()) + print(mc.find_one("650d1d8d3731e344eca11d63", "docs")) diff --git a/requirements.txt b/requirements.txt index 0c1aa5b..a96f76e 100644 --- a/requirements.txt +++ b/requirements.txt @@ -53,4 +53,8 @@ FlagEmbedding chardet openpyxl protobuf -peft \ No newline at end of file +peft +minio +bson +elasticsearch +pymongo==4.8.0 \ No newline at end of file