站长下载:中国新一代站长门户网!

站长论坛最近更新热门排行软件提交
当前位置:首页 > 源码下载 > JSP源码 > 其他源码 - WebMagic(Java爬虫框架)v0.6.1
WebMagic(Java爬虫框架)v0.6.1
0
0

WebMagic(Java爬虫框架)v0.6.1

  • 源码介绍
WebMagic(Java爬虫框架)简介

webmagic采用完全模块化的设计,功能覆盖整个爬虫的生命周期(链接提取、页面下载、内容抽取、持久化),支持多线程抓取,分布式抓取,并支持自动重试、自定义UA/cookie等功能。

WebMagic(Java爬虫框架)更新日记

修改默认策略为信任所有 https 证书 #444 @ckex

修复使用 startUrls 添加 url 时,如果使用了 cookie 会出现空指针的问题 #438

PhantomJSDownloader 支持 crawl.js 路径自定义 #414 @jsbd

POST 请求支持 302 跳转 #443 @xbynet

WebMagic(Java爬虫框架)页面展示

同类推挤:站长常用源码

文章评论 站长交流QQ群:①77270208

请自觉遵守互联网相关政策法规,评论内容只代表网友观点,与本站立场无关!
网友评论
  • 这篇文章还没有收到评论,赶紧来抢沙发吧~

关于站长下载 | 联系方式 | 发展历程 | 版权声明 | 下载帮助(?) | 广告联系 | 网站地图 | 友情链接

Copyright 2005-2019 Downzz.Com 【站长下载】 版权所有 浙ICP备17005543号 | 浙公网安备 42011102000245号

声明: 本站部分内容属于原创转载请注明出处 如有侵权行为请严格参照本站【版权声明】与我们联系,我们将在48小时内容进行处理!