这张图展示了一个自动化处理学术论文的工作流程,具体步骤如下:
在阅读学术论文时,用户遇到了以下几个常见问题:
- 网络不稳定,导致无法方便地查看论文内容。
- 需要逐个点击链接,查看每篇论文,操作繁琐。
- 尽管可以看懂英文论文,但由于语言障碍,阅读速度较慢,效率较低。
- 快速梳理论文的创新点和核心内容耗费大量时间和精力。
这个模块展示了如何通过邮箱接收来自 Google 学术订阅、Gmail 或 QQ 邮箱中的学术论文推送。通过以下几个步骤获取最新的论文信息:
- imap协议读取邮件:系统首先使用 imap 协议访问邮箱中的未读学术订阅邮件。
- 通过内容解析技术抓取链接:系统会自动抓取邮件中包含的学术论文链接。
- 从邮件中提取论文链接:从推送邮件中提取出论文的链接,供后续流程使用。
- 接收论文链接到 Firecrawl 平台:Firecrawl 平台是一个爬虫服务,它可以根据输入的 URL 抓取整个网站的内容,并将其转换为干净的 Markdown 或结构化数据。
- 抓取论文内容:系统会抓取论文的标题、摘要以及其他有价值的信息,为后续处理提供基础数据。
该部分展示了多智能体系统如何协同工作来处理论文数据:
- 网页抓取Agent:这个智能体负责抓取论文的网页内容,并将其提取为干净的文本数据。
- 论文翻译Agent:在获取原始论文内容后,翻译Agent会使用大语言模型(如 LLaMA、MiniGPT 等)对文本进行翻译,帮助用户克服语言障碍。
- 论文提取Agent:这个Agent负责提取论文的核心内容,包括研究方法、解决方案和创新点,为用户生成精简且有用的论文摘要。
- 论文整理Agent:根据论文的类型和用户需求,生成不同格式的 Markdown 文件,便于用户整理和阅读。
- 根据不同类别的论文,系统会输出结构化的 Markdown 文件。这些文件内容清晰,便于用户理解和直接使用,如整理笔记、写作报告等。
- Firecrawl:这是一个用于网页抓取和数据处理的框架,负责抓取论文内容,并将其转化为 LLM(大语言模型)可读的数据格式。 url:https://github.com/mendableai/firecrawl
- CrewAI:这是一个多智能体协作框架,智能体能够扮演不同角色协同工作,共同完成复杂任务,如抓取、翻译和提取论文内容等。url:https://www.crewai.com/
- CrewAI: ollama 方便集成各种大模型 https://ollama.com/
这个工作流程实现了从接收论文推送邮件到输出最终可阅读和使用的论文摘要的自动化处理,大大提高了学术论文的阅读和总结效率,特别适合研究人员和学术从业者使用。