设为首页收藏本站

EPS数据狗论坛

 找回密码
 立即注册

QQ登录

只需一步,快速开始

查看: 4232|回复: 9

数据时代的反爬虫绝技

  [复制链接]

267

主题

5576

金钱

9470

积分

高级用户

发表于 2016-10-21 16:39:23 | 显示全部楼层 |阅读模式
网络爬虫已经成了很普及的网络技术,会代码的可以自己捣鼓一个高级的“人工智能”爬虫,不会的也可以从网上下载一个开源的,然后找个机器或一些代理服务器,就可以肆无忌惮的薅羊毛了。轻的是,爬虫占用网络和机器资源,影响网站服务访问速度。重的是窃取宝贵的版权数据,尤其是数据时代,数据经常会是一个公司的核心竞争力。所以,爬和反爬永远是一个攻防战斗。
今天,我们就来回顾现有的反爬虫技术。最后揭示了两个反爬虫绝技。
反爬虫技术:
统计IP访问(TCP/IP层面)
同一IP短时间内多次访问同一页面,或是同一账户短时间内多次进行相同操作。这个,基于IP或是cookie的访问日志统计,或是实时的访问统计,都可以发现爬虫,进而用captcha来测试,或是直接iptable来屏蔽。
复杂一些的情况是获取很多的IP,然后,每次访问随机的选取IP,对于这种情况,必须求助与基于用户行为的反爬技术。
检测HEADER(HTTP协议层面)
早期的爬虫不大用心,经常会随便写个user-agent,或是省略了referer,这种很好检测。变得聪明后,它们开始模拟不同的user-agent和referer了。但cookie这个东西,由于server可以快速随机变化,而且是传递状态信息的,给爬虫的编程带来了一些难度,但也不是不可以逾越的。
侦测用户行为(浏览器层面)
账号注册登录,javascript和AJAX的动态页面和动态数据请求,图片表示和captcha,这些都是利用用户行为的反爬虫技术,而且得到了广泛的采用,而且取得了很好的效果。
道高一尺,魔高一丈,现在流行的”人工智能“爬虫,哈哈,人工智能很流行,我们也借用一下。实际上,它是机器调用浏览器内核,然后利用类似phantomJS等来执行JS来模拟人的操作以及触发页面中的JS脚本。它可以填写表单,点击按钮,滚动页面,总之,完完整整的把人浏览页面获取数据的过程模拟一遍。对于手机APP,也有类似的模拟触屏和点击的工具,完全可以模拟用户行为完成微信登录,关注公众号,点击文章,采集文章内容,阅读量,点赞数,总之,就和一个真实的人一样。对于这种情况,很多具有数据的公司,基本束手无策。
今天,我们揭示两个反击”人工智能“的两个杀手绝技。
第一,数据玷污!是的,玷污,就是真的,假的,数据混杂在一块,让你拿到了我的数据,也很难清理和使用。具体怎么做,先抛一个,比如,captcha,不管对错,都会给出数据,对了,给出正确数据,错了,对不起,数据可能是玷污之后的。哈哈,you got it!想知道更多?你知道怎么做。
第二,交押金!是的,押金,不是付费。用户,先交一部分押金,每次访问关键数据,会从押金里扣除一部分。一周或一月后,后台系统根据日志做个统计挖掘,或是”深度学习“一下,看看哪些是真实的用户,对于这些,退还押金重新获取新的访问。对于爬虫用户,对不起,钱被没收了!
好了,今天就说这么多,希望反爬最终能战胜爬,至少耗死爬虫,或是让爬虫付出高昂代价。
via:新科力量

310

主题

5221

金钱

8999

积分

高级用户

发表于 2016-11-10 15:32:56 | 显示全部楼层
回复

使用道具 举报

3

主题

111

金钱

160

积分

入门用户

发表于 2017-10-25 19:55:42 | 显示全部楼层
学习了
回复

使用道具 举报

13

主题

92

金钱

491

积分

入门用户

发表于 2017-11-17 16:39:31 | 显示全部楼层
学习之中
回复

使用道具 举报

0

主题

36

金钱

85

积分

新手用户

发表于 2018-1-19 22:58:24 | 显示全部楼层
这个慢慢学习
回复 支持 反对

使用道具 举报

34

主题

4297

金钱

6441

积分

高级用户

发表于 2018-1-28 14:21:14 | 显示全部楼层
慢慢学习
回复

使用道具 举报

0

主题

2

金钱

68

积分

新手用户

发表于 2018-5-2 10:25:44 | 显示全部楼层
慢慢学吧
回复

使用道具 举报

224

主题

2万

金钱

3万

积分

专家用户

发表于 2018-12-17 14:28:39 | 显示全部楼层
大道无痕……
回复

使用道具 举报

15

主题

5032

金钱

6895

积分

高级用户

发表于 2019-2-24 15:04:21 | 显示全部楼层
谢谢分享!
回复

使用道具 举报

6

主题

1328

金钱

1792

积分

初级用户

QQ
发表于 2019-5-5 09:58:41 | 显示全部楼层
还是慢慢学吧
青春路上奋斗不止
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

站长推荐上一条 /1 下一条

客服中心
关闭
在线时间:
周一~周五
8:30-17:30
QQ群:
653541906
联系电话:
010-85786021-8017
在线咨询
客服中心

意见反馈|网站地图|手机版|小黑屋|EPS数据狗论坛 ( 京ICP备09019565号-3 )   

Powered by BFIT! X3.4

© 2008-2028 BFIT Inc.

快速回复 返回顶部 返回列表