Skip to content
View shopshipshake's full-sized avatar
😃
Alpha Male
😃
Alpha Male

Block or report shopshipshake

Block user

Prevent this user from interacting with your repositories and sending you notifications. Learn more about blocking users.

You must be logged in to block users.

Please don't include any personal information such as legal names or email addresses. Maximum 100 characters, markdown supported. This note will be visible to only you.
Report abuse

Contact GitHub support about this user’s behavior. Learn more about reporting abuse.

Report abuse
shopshipshake/README.md

Shopshipshake

简介: 本项目用于 服务电商运营部门选品,并利用Django框架搭建后台管理系统。数据库将存储所有爬取到的数据并通过后台管理系统可视化。使用人员可以通过后台管理系统通过筛选选出理想的商品。这个功能将有效提高选品的效率,并赋能于公司其他部门。

配置环境: 需要python3以上版本。

所需要的包:requests,selenium,pymysql,threading,lxml, oss2, goto

Django版本: 2.2 (根据需求以及兼容性适当做出些修改)

goto安装不上可以安装goto-statement

当前已有爬虫代码的南非独立站:KIKUU, FIX, JJHOUSE, LOVELYWHOLE, KILIMALL, VALUECO, JUMIA, BIDORBUY, ACKERMANS, CJDROPSHIPPING, MRP, ZANDO, YELLOWSUBTRADING d等(不排除这些网站会更新而导致代码没法用的情况)。

如果该网站是基于shopify建站,则可通过 https://github.com/lagenar/shopify-scraper.git 内的代码完成爬取。不需要重新编写爬虫代码。所有的爬虫代码在crawl/stage1 里面呈现。

爬虫代码分为三个阶段。第一阶段是爬取南非独立站,我们获得每个商品独立的ID,标题,价格,和最重要的图片链接。ID作为唯一的标识符,可以用作去重的标准。

第二阶段通过调取1688api: https://open.1688.com/api/apiTool.htm?ns=com.alibaba.linkplus&n=alibaba.cross.similar.offer.search&v=1 ,从而通过图片获取相关供应商的信息。可以按照公司的需求选取销量优先还是价格低廉优先。

第三阶段:当拥有1688供应商的链接后,通过爬取每个供应商页面的相关信息作为选取商品的标准。代码中选取的标准为:已售商品数量、服务能力、回头率、旺旺响应、厂房面积、员工人数、评价数目、好评率、商品评分、重量、配送速度。

操作方法: 先run任意一个drive

关于电商选品的内容以及其他电商相关内容,欢迎关注ShopShipShake语雀:https://shopshipshake.yuque.com/shopshipshake/commerce_events/niprt0

Project Owner: Alvin Rong

Main Contributor: Chenchuhui Hu, Chenyun Zhang, Alvin Rong, Ruiqing Shi

Popular repositories Loading

  1. Shopshipshake Shopshipshake Public

    shopshipshake

    JavaScript 8 2

  2. business business Public