请选择 进入手机版 | 继续访问电脑版
查看: 225|回复: 0

什么是爬虫和反爬虫

[复制链接]

2万

主题

2万

帖子

6万

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
69814
QQ
发表于 2020-2-16 23:15:29 | 显示全部楼层 |阅读模式
说到大数据,我们首先会想到数据采集和爬虫抓取,那么到底什么是爬虫呢?当有人问爬虫是什么意思的时候,我们应该怎么去解释它呢?今天,亿牛云HTTP代理就为大家简单介绍一下爬虫和反爬虫的相关问题!  爬虫:使用任何技术手段,批量获取网站信息的一种方式。  反爬虫:使用任何技术手段,阻止别人批量获取自己网站信息的一种方式。  误伤:在反爬虫的过程中,错误的将普通用户识别为爬虫,即为误伤。误伤率高的反爬虫策略,效果再好,也不能使用。  拦截:成功地阻止爬虫访问。这里会有拦截率的概念。通常来说,拦截率越高的反爬虫策略,误伤的可能性就越高。  常见的反爬虫手段:  1、当单个IP访问超过阈值时,予以封锁。  2、当单个session访问超过阈值时,予以封锁。  3、当单个userAgent访问超过阈值时,予以封锁。  4、以上三种的组合  了解什么是爬虫和反爬虫更有利于我们编写出更高级的爬虫。亿牛云HTTP代理助您不间断获取行业数据,轻松跨入“互联网大数据”时代!
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|Archiver|手机版|IT源码视频教程资源网 ( 粤ICP备15111573号-8 )

GMT+8, 2020-9-21 19:35 , Processed in 0.064122 second(s), 24 queries .

快速回复 返回顶部 返回列表

客服
热线

微信 webshop6
7*24小时微信 客服服务

扫码添
加微信

添加客服微信 webshop6 获取更多

关注
公众号

关注微信公众号 webjianzhan