一天就是225元，一个月大概花费四五千元。
手脚全上，只为可以得到娃娃，不顾围观目光。
声明：本文由入驻搜狐公众平台的作者撰写，除搜狐官方账号外，观点仅代表作者本人，不代表搜狐立场。
　　今早苹果发布会公布了iPhone 7/7Plus全球报价，国行5388元起，但是港版5588港币起更划算！如何抢购iPhone7更便宜呢！
　　全球价格对比
　　我们对比了一下美国、港行和国行三方，发现价格差距较大，下面我们可以看到，最便宜依旧是美国的无税价，前提是免税州，最低仅需USD 649(RMB 4322)；香港依旧是最具性价比与入手成本最低的地区，仅需RMB 4700左右。
　　如果没有美国的渠道，又想以较低的价格买iPhone7，香港地区就是最佳选择。以32GB版iPhone7为例，国行版要比港行贵600元左右。内存越大，价格优势就越明显。
　　除了这三个地区之外，iPhone7首发的国家里，价格优势明显的也不少。去年6s开卖时，加拿大是iPhone最便宜的国家；再往前，日本地区的iPhone属于全球最低。
　　注意： 根据全球实时汇率换算成RMB实际价格会有几十元浮动，尤其是今年人民币对美元贬值。
　　iPhone 7/7 Plus 全球价格汇总
　　如何购买iPhone7和iPhone7 Plus
　　iPhone 7首批上市国家和地区超级多，包括中国大陆、中国香港和中国台湾，这也意味着有这么多地区的人和你一起抢购iPhone相信发售初期大家把握好姿势很重要，因为iPhone7/7 Plus将于9月9日接受预订；9月16日开始发货，我们需要第一之间预定就要掌握好以下信息。
　　了解自己需求，到底买行货买水货？
　　国行保修和分期优势：官方渠道，备货量充足，并且第一时间到货、发货，支持货到付款，下单时能够看到发货的大致时间。iPhone 6s和iPhone 6s Plus的国行版本为全网通型号，无需考虑运营商，买来即用，十分方便。这是其他地区版本不具备的优势，特别是对于移动3G/4G和电信用户，全网通版本减少了筛选的时间成本。国行iPhone不仅能够获得一年全国联保，还可14天退货，部分情况下直接换新，港版售后虽不及国行那么丰富，但也能在全国范围内的苹果直营零售店享受完整的售后服务。国行分期优势，苹果和工行、招行、农行合作推出了“分期免息”服务，没有手续费和利息的分期。
　　非国行价格优势：虽然国行iPhone综合来说较为稳妥，而且保修政策最为齐全，以及AppleCare+的加持，但其价格实在不够亲民。不过由于iPhone的多源性，所以不仅仅有国行这一渠道可选，港版、澳门版、日版、美版在价格上都要比国行有优势，且这其中港版iPhone的综合性价比最高，因为还有上面提到的国内直营店保修哦；美版iPhone的价格最为实惠，不过需要较长时间的转运与清关；而日版iPhone在苹果调整过价格之后，再加上汇率不美丽，其价格优势几近全无，加上转运与关税与国行价格相差不大，首发时并不推荐购买日版。
　　首推荐国行免息分期购买，其次国外代购渠道硬可以选择一口价便宜的非国行。
　　苹果各国和地区官网：
　　苹果中国官网苹果中国香港官网苹果美国官网苹果日本官网
　　苹果中国官网购买 苹果中国官网
　　一、前期准备
　　每年iPhone新品发售都是火爆空前，又有黄牛的推动，第一波购买简直如万人过独木桥，所以建议之前做好万全的准备。下面我们就整理了一下在Apple中国官网购买iPhone的准备工作和具体流程，以帮助大家购买即将来临的iPhone7/7 Plus。
　　1. 决定购买入口
　　首先最最重要的就是 付款方式，不同的购买方式所选择的入口也不同，而且优点也不尽相同。手头宽裕的网友可直接选择国内信用卡/借记卡、货到现金/POS机付款、支付宝、微信支付、电汇的方式，选择这些渠道的网友，直接到苹果中国官网下单即可。
　　而对于部分手头不那么宽裕的网友，我们也有些小窍门能够保住大家的肾，比如 苹果中国官网提供有针对工商银行、招商银行和中国农业银行三家银行信用卡的分期付款服务，目前可选择 最长为12期的分期付款，而且是免息分期哟（新iPhone发布后分期政策可能有变化）。持有这三家银行信用卡的网友，在申请分期付款前需注意在个人账户中保持有足够的额度，如果额度不足以支付所选iPhone，可向银行申请临时提升授信额度。
　　此外这三家银行也都提供有各自的专属分期付款通道，可支持最长为12期的免息免手续费分期付款服务!
　　工商银行 Apple Store中国官网 分期免息通道
　　招商银行 Apple Store中国官网 分期免息通道
　　农业银行 Apple Store中国官网 分期免息通道
　　2. 注册Apple ID
　　决定好自己的付款方式，进入特定的入口之后，这算是准备工作之一，其次就是需要一个的Apple ID，简单来说Apple ID就是使用各项Apple服务所需的通行证，包括iTunes下载/购买软件、启用iCloud、Apple Store在线商店购物、AppleStore零售店预订、访问Apple支持网站等，Apple ID对于使用苹果设备来说是很重要以及必需的。
　　 注册Apple ID需要输入姓名、邮箱密码、安全问答、生日地址等相关个人信息，在填写资料无误确认之后，您的注册邮箱将收到苹果官网的验证邮件，输入验证码无误后，Apple ID就正式注册成功了。
　　3. 登陆Apple ID并填写收货地址
　　在Apple ID注册完毕后，就可以正式登录苹果中国官方商店了，不过为了能够快速的付款下单，也是建议事前填好详细的收货地址（对于新iPhone的预订抢购来说尤其重要）。
　　 点击苹果官网右上角的购物袋，点击“账户”进入在线账户管理，选择“更改默认的运输信息或账单信息”进入账户设置（此时会再次登录Apple ID一次），在运送信息栏点击“编辑”按钮就可添加您的收货地址，根据提示填写上能够亲手收货的地址与联系方式。
　　二、选购iPhone
　　 经过一系列的前期准备（购买入口、Apple ID注册、收货地址填写），接下来就是“正菜”购买/预订iPhone7（本文以iPhone 6s 64GB无合约版为例）。由于苹果官网改版，不再有单独的在线商店入口，所以只需进入iPhone7的介绍界面，直接点击“购买”即可。
　　 在选购页面，可以选择机型、颜色、以及容量大小，感谢国行全网通，国内消费者不必选“运营商”一项了。在以上选项选择完成之后，也可“添加AppleCare+全方位服务计划”，如无需AppleCare+可直接点击“添加到购物袋”，加入购物袋之后会跳转到一个配件推荐页面，可以在此选购官方手机壳、耳机、充电基座、数据线等配件，如无需配件，则直接点击“查看购物袋”。
　　三、结账付款
　　 进入购物袋后，请检查一遍所选购的iPhone版本型号、颜色与容量，确认无误之后点击“结账”（如之前选购停留时间较长可能需要再次输入账号密码），这时可以看到所选iPhone的预计发货时间和送货地址，点击发货时间旁边的链接可以更改送货时间。然后点击“继续”进入送货地址确认，这里会显示事先填写的运送信息，继续点击“继续”之后就可进入付款环节。
　　 在付款页面我们能够看到苹果官方在线商店支持包括货到付款（现金/刷卡）、分期支付（招商/工行/农行，最长12期免息，免息入口在此）、信用卡/借记卡（20家国内银行）、支付宝、微信支付、电汇、境外信用卡（VISA/MasterCard通道）等多种付款方式。
　　 选择适合自己的支付方式之后点击“继续”进入发票信息页面，苹果官方在线商店提供标准发票、个人/公司的增值税普通发票等发票提供，视需求选择并填写抬头即可。如需要开增值税发票，必须以“公司银行转账”方式来支付。
　　 继续点击“继续”，进入条款与条件页面，勾选“继续”之后就可点击“立即下订单”
　　 在下单完成之后，如果选择的是信用卡在线支付、支付宝等非货到付款方式，那么您还需要进入最后付款环节，网友们也可选择货到付款方式购买来节约下单时间。在最终付款完成之后您就将成功预定您的新iPhone，同时注册Apple ID的邮箱也将会收到来自苹果中国线上商店的确认邮件。
　　至此，一次完整的苹果官网iPhone的订购流程就愉快的结束啦！愿各位网友预订愉快，祝君好运~
　　iPhone/iPad 退货政策：
　　可从收到 iPhone/iPad 之时起 14 天内将未受损的 iPhone/iPad 退回 Apple Store 在线商店，以获取退款。退回的 iPhone/iPad 必须带有原包装，其中包含所有的配件、手册和说明书。
　　iPhone保修相关问题：
　　在苹果中国在线商店购买iPhone，自购买之日起iPhone及所含配件享有1年的保修期，并可另外购买AppleCare+延长保修期限。
　　苹果香港官网购买
　　一、苹果香港官网线上购买 苹果中国香港官网
　　港行购买和国行购买基本上是一样的流程，Apple ID是通用的，如果你已经有其他地区的Apple ID，便无需另外申请帐号。同时由于香港金融环境与内地不同，苹果香港官网支持用Visa、MarsterCard和美国运通的信用卡来支付，你需要先准备好一张信用卡。
　　之前选购的流程与国行iPhone7无异，不清楚的网友可以参考苹果中国官网购买流程。
　　 需要提醒的是，苹果香港官网不支持简体中文，所以在填写姓名、配送地址（运货地址）和信用卡账单地址时，请使用繁体中文和英文。
　　由于苹果香港官网并没有语言障碍，所以选购与付款流程就不一一赘述了，这几个关键点需要网友们注意，繁体中文和英文填写姓名与地址，使用Visa、MarsterCard和美国运通的信用卡来支付。
　　二、线上预约、线下自提
　　除了线上购买加转运之外，距离香港较近的网友还可以直接前往香港直营店进行购买，不过这仅限于开放购买的情况下。但通常在新的iPhone开卖时，一般情况下是需要在苹果香港官网iReserve里预约摇号获得购买资格，再前去苹果香港直营店自提。
　　 苹果香港直营店（Apple Store）详细地址与联系方式。
　　据悉今年苹果将会继续采用类似iPhone 6s的发售策略，即全款预约排队发货的线上抢购方式。因此今年港版iPhone7/7Plus是否会延续之前的预约购买策略，谁也拿不准。不过为了以不变应万变，所以这里就参考2014年iPhone 6/6 Plus的预约摇号自提的流程，简单总结了下在苹果香港官网iReserve里预约的步骤，以供网友们参考。
　　前期准备
　　Apple ID（Apple ID内的姓名和证件姓名最好要一致，如何申请Apple ID？）。
　　香港电话卡（购买方式可求助于万能的淘宝“香港 电话卡 iPhone预定”）。
　　身份证明文件（支持港澳通行证 、居民身份证、护照）。
　　苹果香港官网预约、自提简单流程。
　　预约流程
　　登陆苹果香港官网iReserve预约页面；
　　登陆Apple ID；
　　用香港电话卡发送预约页面上提示的短信内容到指定的香港号码来获取验证码（短信内容通常随机），然后把香港电话卡号码和验证码填上，再进行下一步；
　　选择你要自提的苹果香港直营店，然后选好机型、颜色、容量、取货时间，最后选择证件类型，填写证件号码。按照惯例，通常可以选择8:00AM~9:00AM 、1:00PM~2:00PM、5:00PM~6:00PM等等；
　　最后检查填写信息正确后，提交信息，若苹果香港官网显示预约成功，将会收到苹果发来的预约成功邮件。
　　注：当然在苹果在香港不同的直营店是有不同的放货量与时间，所以网友们在走上述流程的时候一定要手快，一定要手快，一定要手快，以免iPhone售罄。祝君抢购愉快~
　　 除了香港，Apple Store澳门银河店也已开业，所以在澳门购买苹果产品也是一个不错的选择。按照苹果以往的传统，澳门地区的iPhone应该有全网通型号，兼容国内三大运营商，电信用户无需担心制式问题，这一点比港行（个别型号不支持CDMA）要更有优势。不过苹果澳门官网暂时还不支持线上购买，所以想买澳门版iPhone的网友，需要到线下店或者托朋友现场购买。
　　苹果美国官网购买 苹果美国官网
　　相对于国行和港行，美行一般在价格上会有一定的优势，但是加上转运和可能的税费（官网标价未含税，转运避当地税请使用免税州仓库），其实并不比港行划算，还需要承担一定的风险。此外，海淘美版的另一个问题是很多转运是不支持配送苹果产品的，所以同时请提前选择一家服务较好、支持运送iPhone的转运公司。
　　之后选购的流程与国行iPhone无异，不清楚的网友可以参考苹果中国官网购买流程。
　　 在选购这个环节，美行和国行是有一定区别的，因为北美机型多为运营商合约机，多一个选择运营商的步骤，而且部分型号有网络锁，国内无法使用。所以在选择版本时请留意，选择带有“Unlocked”或者“SIM-free”字样的机型，这些才是无锁的机器，后者可以看作美版全网通机型。
　　一般来说，SIM-free版的iPhone不会第一批开卖，所以首发抢购时仅有运营商型号可选，这时候就得注意避开合约和有锁机了，在选择合约时，请选择“Pay in full”全款购买，并注意“Unlocked”无锁字样。如果今年SIM-free版直接首发，那么请毫不犹豫地选择这个版本。
　　 而在运送方式上， 苹果美国在线商店支持快递与自提两种方式，默认的方式是快递配送，各位网友可根据自身情况选择，当然 走转运的话一定要选“Delivery（快递配送）”。在选择容量这一步时点击下方的“Pickup: Check availability”就可以查看支持自提的店面，身在美国或者托朋友带回的可以选择这一项。
　　▲Pickup项即为选择自提地点
　　 选择好需要的型号、颜色、容量和运营商之后，点击蓝色的“Add to Bag”按钮，即将商品加入了购物袋中。美国官网同样也会在此处推荐官方配件，不需要的话，点击“Review Bag”进入购物袋。
　　 与中国官网同样的步骤，确认型号无误，然后点击“Check Out”进行结算。
　　 结算的第一部就是选择邮寄或自提，海淘转运的网友请直接选择“Delivery（快递配送）”，点击“Continue（继续）”。
　　在地址栏填写上各大转运公司提供的地址即可。
　　 苹果美国官网支持用Visa、MarsterCard、美国运通、银联的信用卡以及PayPal支付，而且支持用两张卡付款，以免单张卡额度不够（美国人民真会玩）。
　　付款成功之后，及时查收邮箱查看发货状态并及时在转运公司做到货预报（如果需要的话），剩下的就静等，发货、转运、清关吧。Good Luck，guys~
　　苹果日本官网购买 苹果日本官网
　　就以目前苹果的定价策略和日元汇率来看， 日版的iPhone无论是价格还是保修政策都没优势，转运地址还有一定的砍单几率，所以并不推荐日淘iPhone 7为首选。不过，在国行预约不到，不想再等，亦或是只是想体验下海淘的乐趣，那日版可以作为一个后备方案。
　　其实每个地区的iPhone购买流程相差不大，毕竟官网都是相通的嘛，除了国行之外，其他地区的付款环节也基本类似，基本上三步就搞定，整体来说还是很简洁的。
　　不过，对于苹果日本官网，整体来说最困难的还属地址的填写，由于语言的障碍（精通日文的网友可以闪开了）地址栏中需要填写的全角片假名有些拙计，小窍门将在具体步骤中说明。其他流程依旧与国行相差无几。
　　 苹果日本官网的价格并不包含消费税，所以只有在下单之后才会看到总价（加上税已经超过国行价格了……）。
　　 确认好价格信息之后，便是填写收货地址，详细过程看图中标注。需要具体说明的就是“姓名的全角片假名”这一栏，网上各种转换工具都不行，但根据之前网友的经验，随性填上几个全角片假名就好，并不会影响收货。
　　 苹果日本官网支持用Visa、MarsterCard、美国运通、Diners Club、JCB的信用卡付款，填写无误后点击蓝色按钮确认就可以了。
　　付款成功之后，请及时查收邮箱查看发货状态并及时在转运公司做到货预报（如果需要的话），剩下的就静等，发货、转运、清关吧。グッドラック~
　　京东、天猫等第三方还有运营商等渠道购买iPhone7/7Plus
　　作为iPhone最重要的销售市场，苹果当然也不会放过和更接地气的第三方电商平台进行合作。像京东商城、天猫商城等都有苹果的官方旗舰店入驻，届时肯定还有很大一部分新iPhone的货源会走线上电商渠道，如果大家想搞一个双保险啥的，不妨试试再在这些网站里进行预订。
　　联通官网和营业厅：/iphoneyuyue
　　京东商城：/act/4VRdmG362EbLpIx.html
　　天猫：/
　　以上，苹果iPhone7/7Plus购物攻略就介绍到这里啦，是不是很详细呢~ 花了这么多钱旧iPhone怎么办呢，下面还有妙招，教你快速回血。
　　发布会刚开完估计大家都想着卖肾换iPhone7/7Plus，有女朋友的男同志估计双肾全无，其实有很多技巧可以让我们快速回血，不必卖肾；听小编慢慢道来：分期+卖旧iPhone可以令你不用承担太多资金压力情况下轻松换iPhone7。
　　第一：无息分期上面购买攻略已经详细说明，切提供购买通道，让你轻松每月只需几百元就能实现换机。
　　第二：旧iPhone当然要卖的放心，卖个好价钱，这也有两种渠道
　　苹果官方渠道：/cn/iphone/trade-up/
　　1、带上你现有智能手机前往 Apple Store 零售店，现场就能获得折抵优惠来购买新 iPhone。
　　2、只需通过在线表格来告诉我们你智能手机的信息，我们的合作伙伴即可为你进行评估。免费邮递你的智能手机，不久之后，你就可通过银行转账的方式收到折抵款项。
　　苹果官方渠道一般没有问题，只是对产品价格压的比较低，很多网友觉得换给苹果很不划算，更多网友会选择下面的二手平台来出售自己的旧iPhone。
　　“转转”二手交易平台：/
　　在这里，像苹果的畅销产品土豪金iPone 6S什么的基本上可以秒出，价格还会比苹果官方回收价高几百或者上千元。当然，更重要的是可以换回不少银子，补补卖肾追梦幻粉的亏空；这是58旗下的二手交易平台，其他的限制物品也可以来这里处理了。
　　现在是不是一举两得了，既处理了旧手机，又拿了钱，还买到iPhone7/iPhone7Plus
欢迎举报抄袭、转载、暴力色情及含有欺诈和虚假信息的不良文章。
请先登录再操作
请先登录再操作
微信扫一扫分享至朋友圈
搜狐公众平台官方账号
生活时尚&搭配博主 /生活时尚自媒体 /时尚类书籍作者
搜狐网教育频道官方账号
全球最大华文占星网站-专业研究星座命理及测算服务机构
14588文章数
主演：黄晓明/陈乔恩/乔任梁/谢君豪/吕佳容/戚迹
主演：陈晓/陈妍希/张馨予/杨明娜/毛晓彤/孙耀琦
主演：陈键锋/李依晓/张迪/郑亦桐/张明明/何彦霓
主演：尚格?云顿/乔?弗拉尼甘/Bianca Bree
主演：艾斯?库珀/ 查宁?塔图姆/ 乔纳?希尔
baby14岁写真曝光
李冰冰向成龙撒娇争宠
李湘遭闺蜜曝光旧爱
美女模特教老板走秀
曝搬砖男神奇葩择偶观
柳岩被迫成赚钱工具
大屁小P虐心恋
匆匆那年大结局
乔杉遭粉丝骚扰
男闺蜜的尴尬初夜
客服热线：86-10-
客服邮箱：知了APP（11）
在之前的博客中也分析了WebMagic的基本所有的主要代码，在我们的项目中也遇到了很多由于WebMagic的问题而导致正个服务器性能大范围的下降，那么今天说说这些bug
我们的应用需要在每天额固定时间启动爬虫，然后去爬，很明显我们需要从昨天的爬取结果中增量爬虫，这个增量是相对于昨天，而不是一次爬虫中的过程中那么怎么存储昨天爬取的url呢。
使用数据库
很明显我们能够在pipeline中存储url，然后通过Mysql的unique来解决，那么我们直接insert就好了。那我们看看数据库中的url都长什么样子
/forum.php?mod=viewthread&tid=1410423&extra=page%3D1%26filter%3Dsortid%26sortid%3D252
/forum.php?mod=viewthread&tid=1410561&extra=page%3D1%26filter%3Dsortid%26sortid%3D252
/forum.php?mod=viewthread&tid=1410558&extra=page%3D1%26filter%3Dsortid%26sortid%3D252
/forum.php?mod=viewthread&tid=1410496&extra=page%3D1%26filter%3Dsortid%26sortid%3D252
/forum.php?mod=viewthread&tid=1410287&extra=page%3D1%26filter%3Dsortid%26sortid%3D252
/forum.php?mod=viewthread&tid=1410546&extra=page%3D1%26filter%3Dsortid%26sortid%3D252
/forum.php?mod=viewthread&tid=1410430&extra=page%3D1%26filter%3Dsortid%26sortid%3D252
/forum.php?mod=viewthread&tid=1410535&extra=page%3D1%26filter%3Dsortid%26sortid%3D252
/forum.php?mod=viewthread&tid=1410488&extra=page%3D1%26filter%3Dsortid%26sortid%3D252
/forum.php?mod=viewthread&tid=1410542&extra=page%3D1%26filter%3Dsortid%26sortid%3D252
/forum.php?mod=viewthread&tid=1410005&extra=page%3D1%26filter%3Dsortid%26sortid%3D252
/forum.php?mod=viewthread&tid=1410541&extra=page%3D1%26filter%3Dsortid%26sortid%3D252
/forum.php?mod=viewthread&tid=1410394&extra=page%3D1%26filter%3Dsortid%26sortid%3D252
/forum.php?mod=viewthread&tid=1405225&extra=page%3D1%26filter%3Dsortid%26sortid%3D252
/forum.php?mod=viewthread&tid=1409449&extra=page%3D1%26filter%3Dsortid%26sortid%3D252
/forum.php?mod=viewthread&tid=1409833&extra=page%3D1%26filter%3Dsortid%26sortid%3D252
/forum.php?mod=viewthread&tid=1409545&extra=page%3D1%26filter%3Dsortid%26sortid%3D252
/forum.php?mod=viewthread&tid=1410528&extra=page%3D1%26filter%3Dsortid%26sortid%3D252
/forum.php?mod=viewthread&tid=1410492&extra=page%3D1%26filter%3Dsortid%26sortid%3D252
/forum.php?mod=viewthread&tid=1410503&extra=page%3D1%26filter%3Dsortid%26sortid%3D252
/forum.php?mod=viewthread&tid=1410524&extra=page%3D1%26filter%3Dsortid%26sortid%3D252
/forum.php?mod=viewthread&tid=1409577&extra=page%3D1%26filter%3Dsortid%26sortid%3D252
/forum-113-1.html
/forum-113-2.html
/forum-113-3.html
/forum-113-4.html
/forum-113-5.html
/forum-113-6.html
/forum-113-7.html
/forum-113-8.html
/forum-113-9.html
/forum-113-10.html
/forum-113-261.html
/thread--1.html
/thread--1.html
/thread--1.html
/thread--1.html
/thread--1.html
/thread--1.html
/thread--1.html
看一下基本就这么3-4种网站，然后每一条url真正有区别的是最后的一点点。这样的索引需要很长，虽然满足索引的使用场景（字段中的数据尽可能的不一致），但是这里面有太多的数据是冗余的，也就是每条url的公共部分。那么有没有可能将一条url分为base+special，例如/forum-113-261.html就是由
+ forum-113-261.html组成。如果我们分为两个字段进行存储，那么如何查询呢？因为base不适合建索引（区分度太小），所以基本就是全表扫，及时special存在索引，sql的速度也不会快。那么在思考，其实我们可以做一个调查，其实special的唯一性已经不需要再加base来确定了，这时我们只按照special来进行查询就ok！当然，这可能会有问题！但是首先可能性很小，然后也是能够接受的。
在WebMagic上面做文章
我们之前的博客介绍了Scheduler是用来对url进行去重工作的，上一个解决方案其实接住了Pipeline来解决，这样很不WebMagic！
能否使用Scheduler来解决呢，我们看到之前存在一个FileCacheQueueScheduler，我们也分析了其代码，我们只需要做小小改动就行了
protected void pushWhenNoDuplicate(Request request, Task task) {
if (!inited.get()) {
init(task);
//就增加这一行就够了！
if (urls.contains(request.getUrl()))
queue.add(request);
fileUrlWriter.println(request.getUrl());
为什么呢？因为urls是一个LinkedHashSet&String&，并且在初始化的时候，会把url.txt全部读入进去。
private void readUrlFile() throws IOException {
BufferedReader fileUrlReader =
fileUrlReader = new BufferedReader(new FileReader(getFileName(fileUrlAllName)));
int lineReaded = 0;
while ((line = fileUrlReader.readLine()) != null) {
urls.add(line.trim());
lineReaded++;
if (lineReaded & cursor.get()) {
queue.add(new Request(line));
} finally {
if (fileUrlReader != null) {
IOUtils.closeQuietly(fileUrlReader);
当然这样也就违反了这个原有的设计思想，不要弄混哈。原有的是为了能够在下一次启动的时候仍然能够取上次没有下载完的，然后继续下载~
我们看到了爬虫是使用文件进行存储的，对于文件的操作需要注意线程之间的同步，所以我们看到了这样的代码，注意synchronized
public synchronized Request poll(Task task) {
if (!inited.get()) {
init(task);
fileCursorWriter.println(cursor.incrementAndGet());
return queue.poll();
但是！这样只能保证一个Spider（OOSpider）是能够线程安全的，千万不要同时启动两个Spider，还爬取同一个域名下的不同子类别，例如：
因为这样是会使用blog.csdn.net.urls.txt和blog.csdn.net.cursor.txt这个文件，这样会在进程级别造成不同步
什么意思呢，就是我们希望爬虫在爬了一定内容之后或者在没有新的内容（基于增量）之后就停止爬虫。否则我们的爬虫的线程就永远的卡在Condition.await
Request request = scheduler.poll(this);
if (request == null) {
if (threadPool.getThreadAlive() == 0 && exitWhenComplete) {
// wait until new url added
waitNewUrl();
导致的结果是什么呢，就是这个爬虫已经没有内容可爬，但是有卡在这里使得资源没有释放。一个线程可能也就10M左右的资源，但是如果放在服务器中定时爬虫，那么每天都会浪费很多的资源，过了一段时间看一下服务器内存已经被占满，jstack中全部是“死循环”的线程。
但是WebMagic却没有给我们提供设置爬虫停止的策略，只提供了stop方法。我们就需要自己设置如何停止了，我们仍然在Scheduler做文章
public synchronized Request poll(Task task) {
if (!inited.get()) {
init(task);
Request result = queue.poll();
if(result == null ){
if (waitTimes & 0){
waitTimes--;
spider.stop();
fileCursorWriter.println(cursor.incrementAndGet());
我们在Scheduler的poll方法中进行判断，如果超过10次取出的都是null，就认为已经没有新的内容可以爬了，那么爬虫就stop。
同时提一个FileCacheQueueScheduler 的poll方法bug
public synchronized Request poll(Task task) {
if (!inited.get()) {
init(task);
fileCursorWriter.println(cursor.incrementAndGet());
return queue.poll();
在poll时无论是否为null，都会添加cursor，而这个cursor会作为读取url文件的指针，所以在线上的机器中经常看到cursor比url文件中总数多很多，就是因为这里无论是否为空都增加cursor。
其实在Scheduler中不应该参与爬虫是否停止的判断，但是由于WebMagic目前没有很好地机制停止，所以最近也会想办法跟作者沟通一下
使用过爬虫都应该知道反爬是什么意思，但是我们之前遇到的情况是，服务器执行lsof -i:80 发现大量的cloase_wait 状态，这种状态在TCP中是因为对方网站已经发送fin 表示不能再从对方网站爬任何东西，但是我们的爬虫有没有发送fin 所以连接处于一种单工状态，并无卵用，但是耗费资源！
看过线上的log日志，这种Exception只会被Jetty服务器拦截，不会透传至应用，所以应用根本不知道发生了什么，还在傻等。。。
出现这种问题我们项目的解决方法是不要爬太多的内容，使用了上面的Scheduler就会每天增量的爬取，数量就不会很大，这样就不会出现这种问题。同时也可以修改线上机器的配置避免浪费过多资源：
echo 1200 & /proc/sys/net/ipv4/tcp_keepalive_time
echo 20 & /proc/sys/net/ipv4/tcp_keepalive_intvl
echo 3 & /proc/sys/net/ipv4/tcp_keepalive_probes
第一项修改tcp保持时间为20分钟，第二项为探测时间为20s，探测次数为3
参考文献：
参考知识库
* 以上用户言论只代表其个人观点，不代表CSDN网站的观点或立场
访问：42433次
积分：1014
积分：1014
排名：千里之外
原创：53篇
评论：15条
(1)(9)(7)(3)(2)(4)(5)(1)(1)(2)(1)(5)(1)(1)(1)(1)(1)(1)(3)(1)(3)