网络爬虫(网络蜘蛛，网络机器人)与Web安全
& 发布时间： 10:22:27 & 作者：佚名 &
网络爬虫(Web Crawler)，又称网络蜘蛛(Web Spider)或网络机器人(Web Robot)，是一种按照一定的规则自动抓取万维网资源的程序或者脚本，已被广泛应用于互联网领域
网络爬虫概述 　　网络爬虫(Web Crawler)，又称网络蜘蛛(Web Spider)或网络机器人(Web Robot)，是一种按照一定的规则自动抓取万维网资源的程序或者脚本，已被广泛应用于互联网领域。搜索引擎使用网络爬虫抓取Web网页、文档甚至图片、音频、视频等资源，通过相应的索引技术组织这些信息，提供给搜索用户进行查询。随着网络的迅速发展，万维网成为大量信息的载体，如何有效地提取并利用这些信息成为一个巨大的挑战。不断优化的网络爬虫技术正在有效地应对这种挑战，为高效搜索用户关注的特定领域与主题提供了有力支撑。网络爬虫也为中小站点的推广提供了有效的途径，网站针对搜索引擎爬虫的优化曾风靡一时。 　　传统网络爬虫从一个或若干个初始网页的URL(Universal Resource Locator统一资源定位符)开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列，直到满足系统的一定条件停止抓取。现阶段网络爬虫已发展为涵盖网页数据抽取、机器学习、数据挖掘、语义理解等多种方法综合应用的智能工具。 　　网络爬虫的安全性问题 　　由于网络爬虫的策略是尽可能多的&爬过&网站中的高价值信息，会根据特定策略尽可能多的访问页面，占用网络带宽并增加Web服务器的处理开销，不少小型站点的站长发现当网络爬虫光顾的时候，访问流量将会有明显的增长。恶意用户可以利用爬虫程序对Web站点发动DoS攻击，使Web服务在大量爬虫程序的暴力访问下，资源耗尽而不能提供正常服务。恶意用户还可能通过网络爬虫抓取各种敏感资料用于不正当用途，主要表现在以下几个方面： 　　1)搜索目录列表 　　互联网中的许多Web服务器在客户端请求该站点中某个没有默认页面的目录时，会返回一个目录列表。该目录列表通常包括可供用户点击的目录和文件链接，通过这些链接可以访问下一层目录及当前目录中的文件。因而通过抓取目录列表，恶意用户往往可获取大量有用的资料，包括站点的目录结构、敏感文件以及Web服务器设计架构及配置信息等等，比如程序使用的配置文件、日志文件、密码文件、数据库文件等，都有可能被网络爬虫抓取。这些信息可以作为挑选攻击目标或者直接入侵站点的重要资料。 　　2)搜索测试页面、手册文档、样本程序及可能存在的缺陷程序 　　大多数Web服务器软件附带了测试页面、帮助文档、样本程序及调试用后门程序等。这些文件往往会泄漏大量的系统信息甚至提供绕过认证直接访问Web服务数据的方法，成为恶意用户分析攻击Web服务器的有效情报来源。而且这些文件的存在本身也暗示网站中存在潜在的安全漏洞。 　　3)搜索管理员登录页面 　　许多网络产品提供了基于Web的管理接口，允许管理员在互联网中对其进行远程管理与控制。如果管理员疏于防范，没有修改网络产品默认的管理员名及密码，一旦其管理员登录页面被恶意用户搜索到，网络安全将面临极大的威胁。 　　4)搜索互联网用户的个人资料 　　互联网用户的个人资料包括姓名、身份证号、电话、Email地址、QQ号、通信地址等个人信息，恶意用户获取后容易利用社会工程学实施攻击或诈骗。 　　因此，采取适当的措施限制网络爬虫的访问权限，向网络爬虫开放网站希望推广的页面，屏蔽比较敏感的页面，对于保持网站的安全运行、保护用户的隐私是极其重要的。 　　基于网络爬虫技术的Web漏洞扫描 　　前面提到的网络爬虫对网站的间接安全威胁，是通过对网络站点的信息收集为不法份子的非法访问、攻击或诈骗作准备。随着安全技术的发展，利用网络爬虫技术对Web漏洞的直接探测已经出现，这会直接影响到Web服务器的安全。Web服务器漏洞中，跨站脚本(Cross Site Script)漏洞与SQL注入(SQL Injection)漏洞所占比例很高，这两种漏洞均可以通过对网络爬虫的改进来进行探测。由于缺乏足够的安全知识，相当多的程序员在编写Web应用程序时对网页的请求内容缺乏足够的检查，使得不少Web应用程序存在安全隐患。用户可以通过提交一段精心构造的包含SQL语句或脚本的URL请求，根据程序的返回结果获得有关的敏感信息甚至直接修改后台数据。基于目前的安全现状，网络爬虫技术在Web漏洞扫描上的应用，大大提高了发现漏洞的效率。 　　基于网络爬虫技术的Web漏洞扫描大至分为如下过程： 　　1)页面过滤：通过自动化的程序抓取网站页面，对包含 　　等标签的Web页面进行URL提取处理，这些HTML标签中包含URL信息，便于恶意用户进行更深入的Web访问或提交操作。 2)URL匹配：对Web页面中的URL进行自动匹配，提取由参数组合而成的动态查询URL或提交URL，进行下一步的漏洞探测。如动态查询URL&http://baike.xxxx.com/searchword/?word=frameset&pic=1&，其中 frameset为URL中动态的参数部分，可以进行参数变换。提交URL用于把Web用户的输入提交到服务器进行处理，其参数多为用户输入，同样可以进行参数变换。 　　3)漏洞试探：根据动态查询URL或提交URL，自动在参数部分进行参数变换，插入引号、分号(SQL注入对其敏感)及script标签(XSS对 其敏感)等操作进行试探，并根据Web服务器返回的结果自动判断是否存在漏洞。如&URL匹配&中的动态查询URL可以变换成http://baike.xxxx.com/searchword/?word= &pic=1进行跨站脚本漏洞探测。 　　如何应对爬虫的安全威胁 　　由于网络爬虫带来的安全威胁，不少网站的管理人员都在考虑对爬虫访问进行限制甚至拒绝爬虫访问。实际上，根据网站内容的安全性及敏感性，区别对待爬 虫是比较理想的措施。网站的URL组织应该根据是否为适合大范围公开，设置不同的URL路径，在同一Web页面中既有需要完全公开信息也有敏感信息时,应 通过链接、标签嵌入网页等方式显示敏感内容，另外尽可能把静态页面等经评估安全性较高的页面与安全性较差的动态页面从URL上分开。当限制爬虫时可以针对URL路径的安全性与敏感性对不同种类的爬虫与代理进行限制。 　　限制爬虫可以通过以下几种方法实现： 　　1) 设置robots.txt文件 　　限制爬虫最简单的方法是设置robots.txt文件。robots.txt文件是搜索引擎爬虫访问网站的时候要查看的第一个文件，它告诉爬虫程序在服务器上什么文件是可以被查看的，如设置Disallow: /，则表示所有的路径均不能查看。遗憾的是并不是所有的搜索引擎爬虫会遵守这个规则，因此仅仅设置robots文件是不够的。 　　2) User Agent识别与限制 　　要对不理会robots.txt文件的爬虫访问进行限制，首先要把爬虫流量与普通用户的访问流量进行区分，即对其进行识别。一般的爬虫程序都可以通过其HTTP请求中的User Agent字段进行识别，该字段使服务器能够识别客户使用的操作系统及版本、CPU类型、浏览器及版本、浏览器渲染引擎、浏览器语言、浏览器插件等。爬虫的User Agent字段一般与浏览器的有所不同，如Google搜索引擎爬虫User Agent字段中会有类似Googlebot的字符串，如User-Agent: Googlebot/2.1 ( http://www.google.com/bot.html)，百度搜索引擎爬虫则会有类似Baiduspider的字符串。不少Web服务器软件如Apache，可以设置通过User Agent字段进行访问过滤，可以比较有效的限制大部分爬虫的访问。 　　3) 通过访问行为特征识别与限制 　　对于在HTTP请求的User Agent字段刻意伪装成浏览器的爬虫，可以通过其访问行为特征进行识别。爬虫程序的访问一般是有规律性的频率比较高，区别于真实用户浏览时的随意性与低 频率。对这类爬虫的限制原理与DDoS攻击的防御原理很相似，都基于统计数据。对于这类爬虫的限制只能通过应用识别设备、IPS等能够做深度识别的网络设 备来实现。用网络设备限制网络爬虫，不仅比较全面，而且非常适合在多服务器情况下进行统一的管理，避免多服务器单独管理有可能造成的疏漏。 　　结束语 　　网络爬虫及其对应的技术为网站带来了可观访问量的同时，也带来了直接与间接的安全威胁，越来越多的网站开始关注对网络爬虫的限制问题。随着互联网的 高速发展，基于网络爬虫与搜索引擎技术的互联网应用将会越来越多，网站管理员及安全人员，有必要了解爬虫的原理及限制方法，准备好应对各种各样的网络爬虫 TechTarget中国
大家感兴趣的内容
12345678910
最近更新的内容我们知道，搜索引擎数据库中的所有网页，都是由Robot程序自动抓取收录的。不过，对于这些所谓的Spider或Robot究竟以怎样的机制在网站内爬行、收录网页则可能很多人就不太清楚了。自本文开始，我们将逐步介绍这方面的一些情况。
　　本文我们将首先介绍Google的Robot，包括Google最重要的几种Robot类型、相应的功能以及如何控制它们以保证网站优化效果。
　　只要打开您的Web服务器日志文件(为文本文件，使用文本编辑器即可)，或者使用类似于之类日志分析工具，就能看到搜索引擎的robot造访的记录，对Google而言，最活跃的当然非广为人知的Googlebot莫属了，但除了 Googlebot之外，Google还使用其他几种Robot，下面我们逐一说明。
GoogleBot : 服务Google主索引数据库
　　根据用途与对网页的索引机制，一般认为，Googlebot可分为deepbot与freshbot两个版本。其中，Deepbot，顾名思义，所从事的任务是尽可能地挖掘网站内的深层页面，至于其能够在网站内爬行多深则取决于很多因素，之中起决定性的是网站的结构是否合理即网站的内部链接机制是否能够有效地让网站成为一个整体，以及网页的PageRank；而Freshbot，则主要针对新鲜的内容与网页，注意，这里所说的新鲜内容 (Fresh Content)并不仅仅指网站内新加入的网页，也包括已经被纳入Google索引数据库但后又进行过修改、更新的。
　　注：对于Googlebot分为deepbot和freshbot两类的说法，存在一定的争议，目前还有种说法是：Google近来，尤其是BigDaddy更新后，已经取消了deepbot，相应的功能改由freshbot承担，即只有一种Googlebot。至于是否如此，笔者尚未找到更确凿的证据。
　　要让网站内的页面尽可能地被Google索引、收录，前提是要保证Googlebot有兴趣到网站内频繁造访，而要实现这一点，保持网站内容有节奏地更新便极为关键。——当然，更新的内容需要具备一定的质量。此外，网站是否具有一定数量的高质量反相链接也起着决定性作用，即网站的反相链接不仅仅决定网页的PageRank和在SERP中的排名，也决定着。
　　不过，要引导Googlebot对网站内容的索引，还有条捷径可走，那便是Google Sitemap，从某种意义上，可以说。Google Sitemap可以让网站建设者通过使用特定格式的sitemap文件，通知Google并指引Google spider收录相应网页。正确地使用Google Sitemap，可以确保让Google spider不遗漏网站内的任何页面，及时地、连续地收录进Google的索引数据库。同时，Google Sitemaps还可以反馈很多有用的信息，如网页诊断，这样，当网页内存在“Broken”链接时我们可以及时发现错误并改正。
MediaBot : 决定Adsense广告的投放
　　MediaBot的标识全称为“Mediapartners-Google”，是Google用来分析发布Adsense广告网页内容相关性的 robot。MediaBot收集的网页信息，是Google决定哪些广告将显示在网页上以及这些广告将以什么顺序显示的基础。
　　从某种意义上说，MediaBot索引的信息在很多程度上与Googlebot是重合的，因此，一直都有的猜测，在Matt Cutts后这种怀疑便更显得顺理承章，虽然 Matt Cutts一再强调Adsense发布商不会因MediaBot得到额外的好处，但很多人包括笔者看来，当我们对网站内容改动时，能够让Google索引数据库也得到及时更新本身便是一个极大的优势。
　　为保证广告与网站、网页内容的相关性，Google建议最好能够给予MediaBot能够遍历网站所有内容的权力，要实现这一点，需要在 robots.txt中添加类似如下的语句:
User-agent: Mediapartners-Google*Disallow:
　　需要注意的是，网页未被MediaBot收集信息并不意味着Adsense不在网页上显示广告，这种情况下，Google将根据对网站内其他网页内容的分析得出的网站整体相关性而选择广告，——当然，这样的广告可能与网页的具体内容相关性很差。——如果确实找不到可选的广告，才会以 PSA(Public Service Announcements)代替。
　　显然，保证MediaBot对网页信息的及时收集对Adsense发布商至关重要。而要实现这一点，同样仍是那些老生常谈：高质量的反相链接、高质量的内容以及提高网站内容更新的频率。
ImageBot : Google图片搜索
　　Imagebot的标识全称为“GoogleBot-Image”，从其标识名可以看出，它所服务的对象是Google的图片搜索。一般说来，决定图片出现在Google图片搜索结果中位置的因素主要包括图片文件名、图片的ALT标签、图片周围的文字以及网页Title及Url，详细请参阅。
　　对于专业图片网站来说Google图片搜索是非常有益的工具，不过，对于一般性网站来说，也许Google图片搜索是一把双刃剑：虽然能得到些许的额外访问量，但是，相对而言，很多人搜索图片往往只是在找他们可以利用的图片，这部分访问用户在耗费大量服务器带宽的同时，对网站能够给予的回报是极低的，至于那些找到图片后直接盗链使用的情况则更要命，最近便面临图片盗链造成大量的服务器带宽被无价值占用的局面，如何成了很难解决的问题。
　　也许，直接禁止ImageBot对网站或者网站的图片目录的索引是个办法。要实现这一点，在robots.txt中加入如下语句：
User-agent: GoogleBot-Image*Disallow:/images/或干脆完全拒绝Disallow:/
Adsbot : 针对Adwords发布商
　　AdsBot是Google相对较新的spiders，其标识全称为“AdsBot-Google”，是Google用来分析Adwords广告着陆页(landing pages)质量及与相应关键词关系的Robot。
　　我们都知道，Google Adwords采用根据预算竞价的机制，但其中广告着陆页的质量也相当重要，一个高质量的广告着陆页，可以使Adwords发布商能够以较低的价格获得较好的排名，从而出现在更易引起用户注意的网页或网页位置。这也是Google提高其Adwords广告网络质量的努力之一。——这样，才能给用户更具相关性的广告，无论对广告商还是最终服务用户都有着相当重要的意义。
　　Google建议，对Adwords广告商而方，如果可能，尽量允许AdsBot可以到达网站内的各个角落，而不是仅仅可以访问AdWords 广告着陆页，以便更有效地把握网站的整体质量。如果不喜欢，同样也可以禁止Adsbot在网站内的活动，不过，这样就要冒因Google无法判断广告的质量从而导致广告费用增加的风险。
　　此外，Google使用的Robot还包括Feedfetcher，其标识全称为“Feedfetcher-Google”，不过，Feedfetcher并不算真正意义上的Spider，而只是检索RSS(联合供稿)：只有用户明确将 Feedfetcher 添加到他们的 Google 主页或 Google 阅读器后，才会检索。同时，Feedfetcher 不遵守robots.txt的规定。
　　总的来说，Google 的Robot的规范性最好，可以方便地，而要使其您的网站更感兴趣，无非是提供频繁的、高质量的内容更新，同时，辅之以具有相关性的反相链接。
没有更多推荐了，创客高手-制作救援蜘蛛机器人spider robot ,创客工场拼装—生活—视频高清在线观看-优酷
同步各端记录
下载PC客户端，上传视频更轻松！
药品服务许可证(京)-经营-
请使用者仔细阅读优酷、、
Copyright(C)2017 优酷 youku.com 版权所有
不良信息举报电话:
创客高手-制作救援蜘蛛机器人spider robot ,创客工场拼装
创客高手-制作救援蜘蛛机器人spider robot ,创客工场拼装—在线播放—《创客高手-制作救援蜘蛛机器人spider robot ,创客工场拼装》—生活—优酷网，视频高清在线观看
微信/手机 扫码分享
点击一下 网页分享
<input id="link4" type="text" class="fn-share-input" value="" data-spm-anchor-id="0.0.0.i1" />
复制通用代码
<input type="text" class="fn-share-input" id="link3" value="" />
复制Html代码
复制Flash代码
将启用PC客户端下载视频
创客高手-制作救援蜘蛛机器人spider robot ,创客工场拼装
用优酷移动APP扫码
或用微信扫码观看
二维码2小时有效
没有客户端？扫码马上安装
IPHONE / 安卓
创客高手-制作救援蜘蛛机器人spider robot ,创客工场拼装
使用HTML5播放器
使用FLASH播放器网站的robot已经拒绝了YisouSpider，访问记录还有大量的YisouSpider 访问记录，导致网站反应变慢甚至宕机
方法一：通过Deny from IP 的方法，拒绝指定IP的访问：例如：
Deny from 192.168.1.2
Deny from 192.168.1.3方法二：通过 RewriteCond
和 RewriteRule 组合
RewriteEngine On
RewriteCond
%{HTTP_USER_AGENT}
^YisouSpider* [NC]
RewriteRule ^(.*)$ - [G]关于RewriteCond、RewriteRule 命令参数功能不再熬述
【转载】打算屏蔽百度蜘蛛,可以尝试以下方法
关于YisouSpider
各大搜索引擎蜘蛛名称
Apache 屏蔽YisouSpider一搜蜘蛛神马的方法
屏蔽不需要的蜘蛛节省服务器资源
没有更多推荐了，