您的位置:首页 > 新闻资讯 > 文章内容
爬虫代理ip的分类
来源:互联网 作者:admin 时间:2018-10-29 16:23:09

  对于爬虫来说,由于爬虫爬取速度过快,在爬取过程中可能遇到同一个IP访问过于频繁的问题,此时网站就会让我们输入验证码登录或者直接封锁IP,这样会给爬取带来极大的不便。使用代理隐藏真实的IP,让服务器误以为是代理服务器在请求自己。这样在爬取过程中通过不断更换代理,就不会被封锁,可以达到很好的爬取效果。



  代理分类时,既可以根据协议区分,也可以根据其匿名程度区分。


  (1)根据代理的协议,代理可以分为如下类别。


  1.FTP代理服务器:主要用于访问FTP服务器,一般有上传、下载以及缓存功能,端口一般为21、2121等。


  2.HTTP代理服务器:主要用于访问网页,一般有内容过滤和缓存功能,端口一般为80、8080、3128等。


  3.SSL/TLS代理:主要用于访问加密网站,一般有SSL或TLS加密功能(最高支持128位加密强度),端口一般为443。


  4.RTSP代理:主要用于访问Real流媒体服务器,一般有缓存功能,端口一般为554。


  5.Telnet代理:主要用于telnet远程控制(黑客入侵计算机时常用于隐藏身份),端口一般为23。


  6.POP3/SMTP代理:主要用于POP3/SMTP方式收发邮件,一般有缓存功能,端口一般为110/25。7.SOCKS代理:只是单纯传递数据包,不关心具体协议和用法,所以速度快很多,一般有缓存功能,端口一般为1080。SOCKS代理协议又分为SOCKS4和SOCKS5,前者只支持TCP,而后者支持TCP和UDP,还支持各种身份验证机制、服务器端域名解析等。简单来说,SOCK4能做到的SOCKS5都可以做到,但SOCKS5能做到的SOCK4不一定能做到。爬虫代理分类有哪些?


  (2)根据匿名程度


  根据代理的匿名程度,代理可以分为如下类别。


  1.高度匿名代理:会将数据包原封不动地转发,在服务端看来就好像真的是一个普通客户端在访问,而记录的IP是代理服务器的IP。


  2.普通匿名代理:会在数据包上做一些改动,服务端上有可能发现这是个代理服务器,也有一定几率追查到客户端的真实IP。代理服务器通常会加入的HTTP头有HTTP_VIA和HTTP_X_FORWARDED_FOR。


  3.透明代理:不但改动了数据包,还会告诉服务器客户端的真实IP。这种代理除了能用缓存技术提高浏览速度,能用内容过滤提高安全性之外,并无其他显著作用,最常见的例子是内网中的硬件防火墙。


  4.间谍代理:指组织或个人创建的用于记录用户传输的数据,然后进行研究、监控等目的的代理服务器。


相关文章内容简介
推荐阅读
  • 20 2020-04
    代理ip为电商刷销量十分有效

    看到代理ip服务商的网站上宣传说ip代理可以帮助进行网络营销,其中列举出的使用场景,就有电商行业。那么,http代理ip是怎么能够帮助到电商行业的呢?

  • 15 2020-06
    独享代理IP有以下这些优点

    代理IP分为独享与共享两种,共享代理IP就是很多人使用同一个IP池,独享代理IP当然就是一个人使用一个IP池了。那么,独享代理IP有哪些优势呢?

  • 07 2020-09
    影响代理ip的使用是什么

    代理ip软件对于网络使用者来说意义重大,特别是经常接触ip应用这一块的用户,遇到ip安全或者是ip限制问题都要通过ip修改来解决大部分问题。

  • 25 2020-09
    如何选择优质ip代理

    网络发展到现在,还没有到尽头,网络只会不断的进行升级。那么,我们要更好的使用互联网,代理ip的使用只会越来越多。

  • 09 2020-06
    什么情况下需要代理ip

    当我们发觉某一网站必须要当地人才可以申请注册访问时,你是不是很郁闷;当我们参与了个活动,需要投很多票的情况下,发觉一天只可以一票,难到就不可以多投几票吗;当我们想访问某些

  • 09 2020-06
    换ip软件能够用在哪些方面

    换ip软件是一种新式的虚拟服务器搭建工具,它可以在Internet互联网中创建一条虚拟的专用的安全通道,让两个远距离的互联网顾客在这个专用的的互联网安全通道中互相传送材料而不易被外界