网络爬虫软件都有哪些比较知名的？

排名(míng)前(qián)20的(de)網(wǎng)絡(luò)爬(pá)蟲(chóng)工(gōng)具(jù)，Mark!

網(wǎng)絡(luò)爬(pá)蟲(chóng)在(zài)許(xǔ)多(duō)领域都有(yǒu)广泛的(de)應(yīng)用(yòng)，它(tā)的(de)目标是從(cóng)網(wǎng)站(zhàn)获取(qǔ)新(xīn)的(de)數(shù)據(jù)，并加以(yǐ)存储以(yǐ)方便访问。 網(wǎng)絡(luò)爬(pá)蟲(chóng)工(gōng)具(jù)越来越爲(wèi)人们所(suǒ)熟知，因爲(wèi)它(tā)能(néng)简化(huà)并自(zì)动化(huà)整個(gè)爬(pá)蟲(chóng)过程，使(shǐ)每個(gè)人都可(kě)以(yǐ)轻松(sōng)访问網(wǎng)絡(luò)數(shù)據(jù)资源。1. Octoparse

Octoparse是一(yī)個(gè)免费且功(gōng)能(néng)强大(dà)的(de)網(wǎng)站(zhàn)爬(pá)蟲(chóng)工(gōng)具(jù)，用(yòng)于從(cóng)網(wǎng)站(zhàn)上(shàng)提(tí)取(qǔ)需要的(de)各种类型的(de)數(shù)據(jù)。它(tā)有(yǒu)两种学习模式(shì) - 向导模式(shì)和(hé)高(gāo)级模式(shì)，所(suǒ)以(yǐ)非程序員(yuán)也可(kě)以(yǐ)使(shǐ)用(yòng)。可(kě)以(yǐ)下载幾(jǐ)乎所(suǒ)有(yǒu)的(de)網(wǎng)站(zhàn)内容，并保存爲(wèi)EXCEL，TXT，HTML或(huò)數(shù)據(jù)庫(kù)等结构化(huà)格式(shì)。具(jù)有(yǒu)Scheduled Cloud Extraction功(gōng)能(néng)，可(kě)以(yǐ)获取(qǔ)網(wǎng)站(zhàn)的(de)最新(xīn)信息。提(tí)供(gōng)IP代(dài)理服务器，所(suǒ)以(yǐ)不(bù)用(yòng)担心被侵略性網(wǎng)站(zhàn)检测到。

总之，Octoparse應(yīng)该能(néng)够满足用(yòng)戶(hù)最基本(běn)或(huò)高(gāo)端的(de)抓(zhuā)取(qǔ)需求，而(ér)無(wú)需任(rèn)何编码技能(néng)。

2. Cyotek WebCopy

WebCopy是一(yī)款(kuǎn)免费的(de)網(wǎng)站(zhàn)爬(pá)蟲(chóng)工(gōng)具(jù)，允許(xǔ)将部分或(huò)完整網(wǎng)站(zhàn)内容本(běn)地复制到硬(yìng)盘以(yǐ)供(gōng)离线阅读。它(tā)会在(zài)将網(wǎng)站(zhàn)内容下载到硬(yìng)盘之前(qián)扫描指定的(de)網(wǎng)站(zhàn)，并自(zì)动重新(xīn)映射網(wǎng)站(zhàn)中图像和(hé)其他網(wǎng)页资源的(de)链接(jiē)，以(yǐ)匹配其本(běn)地路径。還(hái)有(yǒu)其他功(gōng)能(néng)，例如下载包含(hán)在(zài)副本(běn)中的(de)URL，但(dàn)不(bù)能(néng)对其进行(xíng)爬(pá)蟲(chóng)。還(hái)可(kě)以(yǐ)配置(zhì)域名(míng)，用(yòng)戶(hù)代(dài)理字符串，默认文(wén)档等。

但(dàn)是，WebCopy不(bù)包含(hán)虚拟DOM或(huò)JavaScript解析。

3. HTTrack

作爲(wèi)網(wǎng)站(zhàn)爬(pá)蟲(chóng)免费软件(jiàn)，HTTrack提(tí)供(gōng)的(de)功(gōng)能(néng)非常适郃(hé)從(cóng)互联網(wǎng)下载整個(gè)網(wǎng)站(zhàn)到你(nǐ)的(de)PC。 它(tā)提(tí)供(gōng)了适用(yòng)于Windows，Linux，Sun Solaris和(hé)其他Unix系统的(de)版本(běn)。 它(tā)可(kě)以(yǐ)镜像一(yī)個(gè)或(huò)多(duō)個(gè)站(zhàn)点（共享(xiǎng)链接(jiē)）。在(zài)“设置(zhì)选项”下下载網(wǎng)页时决定要同时打开的(de)连接(jiē)數(shù)。 可(kě)以(yǐ)從(cóng)整個(gè)目錄(lù)中获取(qǔ)照片，文(wén)件(jiàn)，HTML代(dài)码，更(gèng)新(xīn)当前(qián)镜像的(de)網(wǎng)站(zhàn)并恢复中断的(de)下载。

另(lìng)外，HTTTrack提(tí)供(gōng)代(dài)理支持以(yǐ)最大(dà)限(xiàn)度地提(tí)高(gāo)速度，并提(tí)供(gōng)可(kě)选的(de)身份验证。

4. Getleft

Getleft是一(yī)款(kuǎn)免费且易于使(shǐ)用(yòng)的(de)網(wǎng)站(zhàn)抓(zhuā)取(qǔ)工(gōng)具(jù)。 启动Getleft后输入URL并选择應(yīng)下载的(de)文(wén)件(jiàn)，然后开始下载網(wǎng)站(zhàn)此外，它(tā)提(tí)供(gōng)多(duō)语言支持，目前(qián)Getleft支持14种语言。但(dàn)是，它(tā)只提(tí)供(gōng)有(yǒu)限(xiàn)的(de)Ftp支持，它(tā)可(kě)以(yǐ)下载文(wén)件(jiàn)但(dàn)不(bù)递归。

总体而(ér)言，Getleft應(yīng)该满足用(yòng)戶(hù)的(de)基本(běn)爬(pá)蟲(chóng)需求而(ér)不(bù)需要更(gèng)复杂的(de)技能(néng)。

5. Scraper

Scraper是一(yī)款(kuǎn)Chrome扩展工(gōng)具(jù)，數(shù)據(jù)提(tí)取(qǔ)功(gōng)能(néng)有(yǒu)限(xiàn)，但(dàn)对于在(zài)线研究和(hé)导出數(shù)據(jù)到Google Spreadsheets非常有(yǒu)用(yòng)。适用(yòng)于初学者(zhě)和(hé)专家，可(kě)以(yǐ)轻松(sōng)地将數(shù)據(jù)复制到剪贴板或(huò)使(shǐ)用(yòng)OAuth存储到电子表格。不(bù)提(tí)供(gōng)全包式(shì)抓(zhuā)取(qǔ)服务，但(dàn)对于新(xīn)手也算友好。

6. OutWit Hub

OutWit Hub是一(yī)款(kuǎn)Firefox插(chā)件(jiàn)，具(jù)有(yǒu)數(shù)十种數(shù)據(jù)提(tí)取(qǔ)功(gōng)能(néng)，可(kě)简化(huà)網(wǎng)页搜索。瀏(liú)览页面后会以(yǐ)适郃(hé)的(de)格式(shì)存储提(tí)取(qǔ)的(de)信息。還(hái)能(néng)创建自(zì)动代(dài)理来提(tí)取(qǔ)數(shù)據(jù)并根據(jù)设置(zhì)对其进行(xíng)格式(shì)化(huà)。

它(tā)是最简单的(de)網(wǎng)絡(luò)爬(pá)蟲(chóng)工(gōng)具(jù)之一(yī)，可(kě)以(yǐ)自(zì)由使(shǐ)用(yòng)，提(tí)供(gōng)方便的(de)提(tí)取(qǔ)網(wǎng)页數(shù)據(jù)而(ér)無(wú)需编写代(dài)码。

7. ParseHub

Parsehub是一(yī)款(kuǎn)出色的(de)爬(pá)蟲(chóng)工(gōng)具(jù)，支持使(shǐ)用(yòng)AJAX技术，JavaScript，cookies等获取(qǔ)網(wǎng)页數(shù)據(jù)。它(tā)的(de)機(jī)器学习技术可(kě)以(yǐ)读取(qǔ)、分析網(wǎng)页文(wén)档然后转换爲(wèi)相关數(shù)據(jù)。Parsehub的(de)桌面應(yīng)用(yòng)程序支持Windows，Mac OS X和(hé)Linux等系统，或(huò)者(zhě)你(nǐ)可(kě)以(yǐ)使(shǐ)用(yòng)瀏(liú)览器内置(zhì)的(de)Web應(yīng)用(yòng)程序。

8.Visual Scraper

VisualScraper是另(lìng)一(yī)個(gè)偉(wěi)大(dà)的(de)免费和(hé)非编码爬(pá)蟲(chóng)工(gōng)具(jù)，只需简单的(de)点击界面就可(kě)從(cóng)網(wǎng)絡(luò)上(shàng)收集(jí)數(shù)據(jù)。 可(kě)以(yǐ)從(cóng)多(duō)個(gè)網(wǎng)页获取(qǔ)實(shí)时數(shù)據(jù)，并将提(tí)取(qǔ)的(de)數(shù)據(jù)导出爲(wèi)CSV，XML，JSON或(huò)SQL文(wén)件(jiàn)。 除了SaaS之外，VisualScraper還(hái)提(tí)供(gōng)網(wǎng)絡(luò)抓(zhuā)取(qǔ)服务，如數(shù)據(jù)传输服务和(hé)创建软件(jiàn)提(tí)取(qǔ)服务。

Visual Scraper使(shǐ)用(yòng)戶(hù)能(néng)够在(zài)特定时间运行(xíng)他们的(de)项目，還(hái)可(kě)以(yǐ)用(yòng)它(tā)来获取(qǔ)新(xīn)闻。

9. Scrapinghub

Scrapinghub是一(yī)款(kuǎn)基于云計(jì)算的(de)數(shù)據(jù)提(tí)取(qǔ)工(gōng)具(jù)，可(kě)帮助數(shù)千名(míng)开发人員(yuán)获取(qǔ)有(yǒu)价值的(de)數(shù)據(jù)。 它(tā)的(de)开源可(kě)视化(huà)抓(zhuā)取(qǔ)工(gōng)具(jù)允許(xǔ)用(yòng)戶(hù)在(zài)没有(yǒu)任(rèn)何编程知识的(de)情(qíng)况下抓(zhuā)取(qǔ)網(wǎng)站(zhàn)。

Scrapinghub使(shǐ)用(yòng)Crawlera，这是一(yī)种智能(néng)代(dài)理旋转器，支持绕过bot機(jī)制，轻松(sōng)地抓(zhuā)取(qǔ)大(dà)量受bot保护的(de)網(wǎng)站(zhàn)。 它(tā)使(shǐ)用(yòng)戶(hù)能(néng)够通过简单的(de)和(hé)位置(zhì)进行(xíng)爬(pá)網(wǎng)，而(ér)無(wú)需进行(xíng)代(dài)理管理。

10. Dexi.io

作爲(wèi)基于瀏(liú)览器的(de)爬(pá)蟲(chóng)工(gōng)具(jù)，文(wén)件(jiàn)。它(tā)提(tí)供(gōng)付(fù)费服务以(yǐ)满足實(shí)时获取(qǔ)數(shù)據(jù)的(de)需求。

11. Webhose.io

使(shǐ)用(yòng)戶(hù)能(néng)够将来自(zì)世界各地的(de)线上(shàng)来源的(de)實(shí)时數(shù)據(jù)转换爲(wèi)各种干净的(de)格式(shì)。你(nǐ)可(kě)以(yǐ)使(shǐ)用(yòng)覆盖各种来源的(de)多(duō)個(gè)过滤器来抓(zhuā)取(qǔ)數(shù)據(jù)，并进一(yī)步提(tí)取(qǔ)不(bù)同语言的(de)关键字。

抓(zhuā)取(qǔ)的(de)數(shù)據(jù)可(kě)以(yǐ)保存爲(wèi)XML，JSON和(hé)RSS格式(shì)，還(hái)能(néng)從(cóng)其存档访问历史數(shù)據(jù)。 此外，抓(zhuā)取(qǔ)的(de)结构化(huà)數(shù)據(jù)。

12.Import. io

用(yòng)戶(hù)只需從(cóng)特定網(wǎng)页导入數(shù)據(jù)并将數(shù)據(jù)导出到CSV即可(kě)形成自(zì)己(jǐ)的(de)數(shù)據(jù)集(jí)。

你(nǐ)可(kě)以(yǐ)在(zài)幾(jǐ)分钟内轻松(sōng)抓(zhuā)取(qǔ)數(shù)千個(gè)網(wǎng)页，而(ér)無(wú)需编写任(rèn)何代(dài)码，并根據(jù)您的(de)要求构建1000多(duō)個(gè)API。 公共API提(tí)供(gōng)了强大(dà)而(ér)灵活的(de)功(gōng)能(néng)来以(yǐ)编程方式(shì)控制數(shù)據(jù)集(jí)成到你(nǐ)自(zì)己(jǐ)的(de)應(yīng)用(yòng)程序或(huò)網(wǎng)站(zhàn)中，只需点击幾(jǐ)下就可(kě)以(yǐ)轻松(sōng)實(shí)现爬(pá)蟲(chóng)。

爲(wèi)了更(gèng)好地满足用(yòng)戶(hù)的(de)抓(zhuā)取(qǔ)需求，它(tā)還(hái)爲(wèi)Windows，Mac OS X和(hé)Linux提(tí)供(gōng)免费的(de)應(yīng)用(yòng)程序，以(yǐ)构建數(shù)據(jù)提(tí)取(qǔ)器和(hé)抓(zhuā)取(qǔ)工(gōng)具(jù)，下载數(shù)據(jù)并與(yǔ)在(zài)线帐戶(hù)同步。另(lìng)外，用(yòng)戶(hù)可(kě)以(yǐ)每周/每天/每小时安排爬(pá)蟲(chóng)任(rèn)务。

13.80legs

80legs是一(yī)款(kuǎn)功(gōng)能(néng)强大(dà)的(de)網(wǎng)页抓(zhuā)取(qǔ)工(gōng)具(jù)，可(kě)以(yǐ)根據(jù)客戶(hù)要求进行(xíng)配置(zhì)。80legs提(tí)供(gōng)高(gāo)性能(néng)的(de)Web爬(pá)蟲(chóng)，可(kě)以(yǐ)快速工(gōng)作并在(zài)幾(jǐ)秒钟内获取(qǔ)所(suǒ)需的(de)數(shù)據(jù)。

14. Spinn3r

Spinn3r允許(xǔ)你(nǐ)從(cóng)博客、新(xīn)闻和(hé)社交媒体網(wǎng)站(zhàn)以(yǐ)及RSS和(hé)ATOM中获取(qǔ)所(suǒ)有(yǒu)數(shù)據(jù)。Spinn3r发布了防火墙API，管理95％的(de)索引工(gōng)作。它(tā)提(tí)供(gōng)了先进的(de)垃圾(jī)邮件(jiàn)防护功(gōng)能(néng)，可(kě)消除垃圾(jī)邮件(jiàn)和(hé)不(bù)适当的(de)语言，從(cóng)而(ér)提(tí)高(gāo)數(shù)據(jù)安全性。

Spinn3r索引类似于Google的(de)内容，并将提(tí)取(qǔ)的(de)數(shù)據(jù)保存在(zài)JSON文(wén)件(jiàn)中。

15. Content Grabber

Content Graber是一(yī)款(kuǎn)针对企业的(de)爬(pá)蟲(chóng)软件(jiàn)。它(tā)可(kě)以(yǐ)让你(nǐ)创建一(yī)個(gè)独立的(de)網(wǎng)页爬(pá)蟲(chóng)代(dài)理。

它(tā)更(gèng)适郃(hé)具(jù)有(yǒu)高(gāo)级编程技能(néng)的(de)人，因爲(wèi)它(tā)爲(wèi)有(yǒu)需要的(de)人提(tí)供(gōng)了許(xǔ)多(duō)强大(dà)的(de)脚本(běn)编辑和(hé)调试界面。允許(xǔ)用(yòng)戶(hù)使(shǐ)用(yòng)C＃或(huò)集(jí)成，以(yǐ)便根據(jù)用(yòng)戶(hù)的(de)特定需求提(tí)供(gōng)功(gōng)能(néng)最强大(dà)的(de)脚本(běn)编辑、调试和(hé)单元测试。

16. Helium Scraper

Helium Scraper是一(yī)款(kuǎn)可(kě)视化(huà)網(wǎng)絡(luò)數(shù)據(jù)爬(pá)行(xíng)软件(jiàn)，当元素之间的(de)关联很小时效果会更(gèng)好。它(tā)非编码、非配置(zhì)。用(yòng)戶(hù)可(kě)以(yǐ)根據(jù)各种爬(pá)行(xíng)需求访问在(zài)线模板。

它(tā)基本(běn)上(shàng)可(kě)以(yǐ)满足用(yòng)戶(hù)在(zài)初级阶段的(de)爬(pá)行(xíng)需求。

17. UiPath

UiPath是一(yī)個(gè)免费自(zì)动化(huà)爬(pá)蟲(chóng)软件(jiàn)。它(tā)可(kě)以(yǐ)自(zì)动将Web和(hé)桌面數(shù)據(jù)從(cóng)第(dì)三方應(yīng)用(yòng)程序中抓(zhuā)取(qǔ)出来。Uipath能(néng)够跨多(duō)個(gè)網(wǎng)页提(tí)取(qǔ)表格數(shù)據(jù)。

Uipath提(tí)供(gōng)了用(yòng)于进一(yī)步爬(pá)取(qǔ)的(de)内置(zhì)工(gōng)具(jù)。 处理复杂的(de)UI时，此方法非常有(yǒu)效。Screen Scraping Tool 可(kě)以(yǐ)处理单独的(de)文(wén)本(běn)元素、文(wén)本(běn)组和(hé)文(wén)本(běn)块。

18. Scrape. it

Scrape.it是一(yī)個(gè)基于云的(de)Web數(shù)據(jù)提(tí)取(qǔ)工(gōng)具(jù)。它(tā)专爲(wèi)具(jù)有(yǒu)高(gāo)级编程技能(néng)的(de)人设計(jì)，因爲(wèi)它(tā)提(tí)供(gōng)了公共和(hé)私有(yǒu)包，以(yǐ)便與(yǔ)全球數(shù)百万开发人員(yuán)一(yī)起发现、使(shǐ)用(yòng)、更(gèng)新(xīn)和(hé)共享(xiǎng)代(dài)码。其强大(dà)的(de)集(jí)成可(kě)以(yǐ)帮助用(yòng)戶(hù)根據(jù)自(zì)己(jǐ)的(de)需求构建自(zì)定义爬(pá)蟲(chóng)。

19. WebHarvy

WebHarvy是爲(wèi)非程序員(yuán)设計(jì)的(de)。它(tā)可(kě)以(yǐ)自(zì)动從(cóng)網(wǎng)站(zhàn)上(shàng)爬(pá)取(qǔ)文(wén)本(běn)、图像、URL和(hé)电子邮件(jiàn)，并以(yǐ)各种格式(shì)保存爬(pá)取(qǔ)的(de)内容。它(tā)還(hái)提(tí)供(gōng)了内置(zhì)的(de)调度程序和(hé)代(dài)理支持，可(kě)以(yǐ)匿名(míng)爬(pá)取(qǔ)并防止被Web服务器阻止，可(kě)以(yǐ)选择通过代(dài)理服务器或(huò)VPN访问目标網(wǎng)站(zhàn)。

WebHarvy Web Scraper的(de)当前(qián)版本(běn)允許(xǔ)用(yòng)戶(hù)将抓(zhuā)取(qǔ)的(de)數(shù)據(jù)导出爲(wèi)XML，CSV，JSON或(huò)TSV文(wén)件(jiàn)，也可(kě)以(yǐ)导出到SQL數(shù)據(jù)庫(kù)。

20. Connotate

Connotate是一(yī)款(kuǎn)自(zì)动化(huà)Web爬(pá)蟲(chóng)软件(jiàn)，专爲(wèi)企业级Web爬(pá)蟲(chóng)设計(jì)，需要企业级解决方案。业务用(yòng)戶(hù)可(kě)以(yǐ)在(zài)幾(jǐ)分钟内轻松(sōng)创建提(tí)取(qǔ)代(dài)理而(ér)無(wú)需任(rèn)何编程。

它(tā)能(néng)够自(zì)动提(tí)取(qǔ)超过95％的(de)網(wǎng)站(zhàn)，包括基于JavaScript的(de)动态網(wǎng)站(zhàn)技术，如Ajax。

另(lìng)外，Connotate還(hái)提(tí)供(gōng)整郃(hé)網(wǎng)页和(hé)數(shù)據(jù)庫(kù)内容的(de)功(gōng)能(néng)，包括来自(zì)SQL數(shù)據(jù)庫(kù)和(hé)MongoDB數(shù)據(jù)庫(kù)提(tí)取(qǔ)的(de)内容。