Skip to content

Web Scraper written in NodeJs. Structured for scraping different web sites with cron-jobs.

Notifications You must be signed in to change notification settings

Thekiso10/Draco-Reign-Spider-Web

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

48 Commits
 
 
 
 

Repository files navigation

Draco Reign - Spider Web

Draco Reign - Spider Web, que es una parte integral de la suite Draco Reign, está diseñada para llevar a cabo la extracción de datos de la web mediante técnicas de scraping. Este proyecto se enfoca en el desarrollo del back-end, implementado en Node.js, y utiliza las potentes bibliotecas de Puppeteer y Express para lograr su funcionalidad.

Descripción General

Draco Reign - Spider Web es una herramienta que te permite recopilar información valiosa de sitios web de manera automatizada. Ya sea para la obtención de datos para análisis, monitoreo de sitios web, o cualquier otro propósito, esta aplicación está diseñada para brindarte un poderoso conjunto de herramientas para realizar el scraping de manera eficiente y efectiva.

Webs scaneadas

El proyecto obtiende los datos de las siguientes webs:

Dependencias y versiones

  • Node.js >= v18.18.0
  • express v4.17.1
  • node-cron v2.0.3
  • puppeteer v10.2.0
  • puppeteer-cluster v0.23.0

Ejecutar el proyecto

  1. Descarga las dependencias necesarias:
npm install
  1. Una vez que todas las dependencias estén instaladas, puedes ejecutar el proyecto:
npm run serve

Esto iniciará un servidor Express en el puerto 8000.

Problemas y Sugerencias

Si encuentras algún problema o tienes alguna sugerencia para mejorar Draco Reign - Spider Web, por favor, abre un issue en nuestro repositorio de GitHub. Tu retroalimentación es muy valiosa para nosotros y nos ayuda a hacer de esta herramienta algo aún mejor.

Versión

Versión Actual: 2.2.0