原标题：爬虫如何方便的抓取大量不同的网站？
关键字：网站数据,内容抓取,网页抓取
最佳回答：前嗅大数据
回答字数：154字
目前前嗅的ForeSpider爬虫软件，对于网站结构类似的网站可以实现AI配置批量网站，非常适合你这种采集批量的网站的需求，这是我们的官网，你可以了解一下。
联系作者
回答作者：前嗅大数据
原标题：爬虫如何方便的抓取大量不同的网站？
关键字：网站数据,内容抓取,网页抓取
最佳回答：前嗅大数据
回答字数：154字
目前前嗅的ForeSpider爬虫软件，对于网站结构类似的网站可以实现AI配置批量网站，非常适合你这种采集批量的网站的需求，这是我们的官网，你可以了解一下。
联系作者
回答作者：前嗅大数据
遇到类似的问题，说实话我觉得现在是没有一个令人满意的方法的。
每个网站的site map不一样，待爬数据的tag，api接口每个网站也都不一样，而现在智能爬虫的功能也是自动分析内容找出网页内哪里是标题，哪里是内容。
像人一样分析每个网站的代码找出需要数据所在位置的人工智能爬虫还没有被发明出来。