Skip to content

several improvements

Pre-release
Pre-release
Compare
Choose a tag to compare
@Danceiny Danceiny released this 17 May 12:09
v0.1.6
7319f00
This commit was created on GitHub.com and signed with GitHub’s verified signature. The key has expired.
GPG key ID: 4AEE18F83AFDEB23
Expired
Learn about vigilant mode.

See CHANGELOG.

  • ItemClassloader的相关优化：

    • 增加load方法，支持绝对路径的类加载
    • PEParser实例化的时候即加载itemname参数对应的类

  • TaskRequest增加了url有效性检查。

  • utils增加了以下方法：

    • is_url(url)
    • item2dict(item)

  • 新增extract_all_keys参数，为真值时可直接提取JSON响应的所有字段（可以理解为，extract_keys=*）

  • 修复PEParser._parse_textbug：在没有parent参数且响应的json不是JSONArray状况下，支持的解析参数与API标准不一致

  • 修复context参数为空时crawled_time字段缺失

  • _parse_start_url调用时传入不存在的tpl_index_or_id时抛出异常，而非静默返回None

  • ItemClassLoader的settings使用普通get方法获取具体配置项，以支持dict类型的settings参数

Assets 4
Loading