Scrapy 舆情系统爬虫项目,Mr数据杨,复现863课题舆情监控系统中的内容，使用的方法是 Scrapy爬虫框架 结合 Django Web 搭建的数据采集系统，抓取的目标对象包括新闻、博客、论坛等等，其中每天目标检测网站成千上万，如果不用框架去做这种数据采集得累死。 Scrapy爬虫框架 对新手非常的不友好，或者从某些视频网站上跟着视频学或者说从培训机构里学几天技能掌握的，主要原因有以下两个方面。 框架模块内容太多，虽然只是实现了一个简单的爬虫工作，但是实际上完成一个页面的抓取在框架里最少要走8个以上的步骤，但是这些步骤都是基本都是依靠配置文件完成的，没有丰富的爬虫经验，这些模块很多都不知道是做什么的，也不知道怎么配置。 基于框架内进行数据抓取仅限于那些通用的网站抓取，你就简单理解为一个完成重复工作的机器人就行了。但是如果是那种反爬比较厉害的网站那就是另外一种情况了，完全是爬虫工程师和网站开发者的一个博弈了，所以这种情况不适合任何一种爬虫框架。 适用人群：初学者，和稍微有些编程基础的人群 以及业务直接需求者