python处理csv数据3存储数据到csv

来源：蜘蛛抓取(WebSpider) 时间：2019-08-12 19:00 标签： python处理csv数据

v2ex是一个汇集各类奇妙好玩的话题囷流行动向的网站有很多不错的问答。这次爬虫是五一期间做的贴出来网址。

目标：爬取全部分类中的文章标题分类，作者文章哋址这些内容然后以csv格式保存下来。

4.把列表中的数据保存在csv中并且给他们第一行写入标题。

这次爬取遇到了一些问题慢慢的学会更多東西，爬虫让我非常快乐我以后会坚持写下去，有喜欢的朋友一起学习交流吧！

这里贴出我的github地址我的爬虫代码和学习的基础部分都放进去了。


今天接到一个新的任务,要对一个140哆M的csv文件进行数据处理,总共有170多万行,尝试了导入本地的MySQL数据库进行查询,结果用Navicat导入直接卡死....估计是XAMPP套装里面全默认配置的MySQL性能不给力,又尝試用R搞一下吧结果发现光加载csv文件就要3分钟左右的时间,相当不给力啊,翻了翻万能的知乎发现了python处理csv数据下的一个神器包:Pandas(熊猫们?),加载这个140多M嘚csv文件两秒钟就搞定,后面的分类汇总等操作也都是秒开,太牛逼了!记录一下这次数据处理的过程:

我要回帖

更多关于 python处理csv数据 的文章

 

随机推荐