懶人采集器下載 v3.1.6.0 免費版

軟件介紹

懶人采集器官方版是一款非常實用的網(wǎng)絡(luò)小工具，軟件界面整潔、操作簡單、功能強大，擁有可視化配置，簡易創(chuàng)建，無需編程，智能生成，數(shù)據(jù)采集等功能。用戶使用懶人采集器可以輕松的采集到自己需要的網(wǎng)頁上的所有信息，使用起來非常方便。

懶人采集器官方版軟件特色

1、軟件操作簡單，可通過鼠標(biāo)點擊的方式輕松選取要抓取的內(nèi)容；

2、支持三種高速引擎：瀏覽器引擎、HTTP引擎、JSON引擎，內(nèi)置優(yōu)化后的火狐瀏覽器，加上獨創(chuàng)的內(nèi)存優(yōu)化使瀏覽器采集也可以高速運行，甚至可以快速轉(zhuǎn)換為HTTP方式運行，享受更高的采集速度！而在抓取JSON數(shù)據(jù)時，同樣可以使用瀏覽器可視化方式，通過鼠標(biāo)點選需要抓取的內(nèi)容，完全不需要去分析JSON數(shù)據(jù)結(jié)構(gòu)，使非網(wǎng)頁專業(yè)設(shè)計人士也可以輕松抓取需要的數(shù)據(jù)；

3、不用分析網(wǎng)頁請求和源代碼，卻支持更多的網(wǎng)頁采集；

4、先進(jìn)的智能算法，可以一鍵生成目標(biāo)元素XPATH、自動識別網(wǎng)頁列表、自動識別分頁中的下一頁按鈕……

5、支持豐富的數(shù)據(jù)導(dǎo)出方式，可以導(dǎo)出為txt文件、html文件、csv文件、excel文件，也可以導(dǎo)出到已有的數(shù)據(jù)庫，如sqlite數(shù)據(jù)庫、access數(shù)據(jù)庫、sqlserver數(shù)據(jù)庫、mysql數(shù)據(jù)庫，通過向?qū)У姆绞胶唵斡成渥侄危纯奢p松導(dǎo)出到目標(biāo)網(wǎng)站數(shù)據(jù)庫中。。

懶人采集器官方版軟件功能

可視化向?qū)?/p>

所有采集元素，自動生成采集數(shù)據(jù)

計劃任務(wù)

靈活定義運行時間，全自動運行

多引擎支持

支持多個采集引擎，內(nèi)置高速瀏覽器內(nèi)核、HTTP引擎和JSON引擎

智能識別

可自動識別網(wǎng)頁列表、采集字段和分頁等

攔截請求

自定義攔截域名，方便過濾站外廣告，提高采集速度

多種數(shù)據(jù)導(dǎo)出

可導(dǎo)出為Txt 、Excel、MySQL、SQLServer、 SQlite、Access、網(wǎng)站等

懶人采集器官方版軟件優(yōu)勢

1、懶人采集器為用戶提供豐富的網(wǎng)頁數(shù)據(jù)采集功能

2、如果你需要復(fù)制網(wǎng)頁的數(shù)據(jù)就可以在這款軟件采集

3、大部分網(wǎng)頁的內(nèi)容都是可以直接復(fù)制的，通過懶人采集器就可以一鍵采集使用

4、直接輸入網(wǎng)址采集，精準(zhǔn)采集任意網(wǎng)頁內(nèi)容

5、支持規(guī)則設(shè)置，自定義采集規(guī)則，添加采集的字段內(nèi)容，添加采集的網(wǎng)頁元素

6、批量采集數(shù)據(jù)，輸入多個網(wǎng)址一鍵采集

7、任務(wù)列表在軟件顯示，點擊開始運行直接采集

8、支持?jǐn)?shù)據(jù)查看，在軟件查看已經(jīng)采集的數(shù)據(jù)內(nèi)容，可以導(dǎo)出數(shù)據(jù)

9、支持字符以及詞庫替換功能，一鍵編輯采集到的文本

懶人采集器官方版使用教程

第一步：設(shè)置起始網(wǎng)址

要采集一個網(wǎng)站的數(shù)據(jù)，首先我們要設(shè)置從哪些網(wǎng)址進(jìn)入采集，比如我們要采集一個網(wǎng)站的國內(nèi)新聞，那么我們就要設(shè)置起始網(wǎng)址為國內(nèi)新聞欄目列表的網(wǎng)址，而一般不會設(shè)置網(wǎng)站首頁為起始網(wǎng)址，因為首頁通常會包含很多列表，比如最新文章、熱門文章、推薦文章等等各種列表塊，并且這些列表塊里顯示的內(nèi)容也是非常有限的，采集這些列表的話一般都無法采集完整信息。

下面我們以采集新浪新聞為例，從新浪首頁找到國內(nèi)新聞，但該欄目首頁內(nèi)容還是比較雜亂，而且還細(xì)分三個子欄目

我們從進(jìn)入其中一個子欄目“內(nèi)地新聞”看一下

該欄目頁包含有一個帶分頁的內(nèi)容列表，通過切換分頁，我們就可以采集到該欄目下的所有文章，所以這種列表頁就非常適合作為我們采集的起始網(wǎng)址。

現(xiàn)在，我們就復(fù)制該列表網(wǎng)址到任務(wù)編輯框第一步的文本框中

如果你要在一個任務(wù)中同時采集國內(nèi)新聞里的其他子欄目，也可以把另兩個子欄目列表地址復(fù)制進(jìn)來，因為這些子欄目列表格式都是相似的。但為了便于導(dǎo)出或發(fā)布分類數(shù)據(jù)，一般不建議多個欄目內(nèi)容混合在一起。

對于起始網(wǎng)址我們也可以批量添加或從txt文件導(dǎo)入，比如我們要采集前5頁，也可以這樣自定義五個起始頁

需要注意的是如果這里自定義了多個分頁列表，在后面的采集配置里就不要再啟用分頁了，通常我們要采集某個欄目下的所有文章時，都只需要定義該欄目第一頁為起始網(wǎng)址就行了，在后面的采集配置里啟用分頁，就可以采集到每個分頁列表的數(shù)據(jù)。

第二步：① 自動生成列表和字段

進(jìn)入第二步后，對于某些網(wǎng)頁，懶人采集器會智能分析出該頁的列表，并自動高亮選擇網(wǎng)頁列表和生成列表數(shù)據(jù)，如

然后我們再對這些數(shù)據(jù)進(jìn)行修整，比如刪掉一些不需要的字段

點擊圖示三角符號，會彈出該字段采集詳細(xì)配置，點擊上面的刪按鈕即可刪除該字段，其余參數(shù)后面章節(jié)會獨立介紹。

如果某些網(wǎng)頁自動生成的列表數(shù)據(jù)并不是我們想要的數(shù)據(jù)，可以點擊“清除字段”，把生成的字段全部清除。

如果自動分析出的高亮列表也不是我們要采集的列表，那么我們就手動選取列表。要是想取消高亮顯示的列表框，可以點擊 查找列表 - 列表XPATH，把里面的xpath清空后確定即可。

第二步：② 手動生成列表

點擊“查找列表”按鈕，選擇“手動選擇列表”

按提示，用鼠標(biāo)左鍵點擊網(wǎng)頁列表中的第一行數(shù)據(jù)

點完第一行，再按提示點擊第二行或其他相似的行

點擊完列表里的任意兩行后，整個列表就高亮顯示出來了，同時該列表里的字段也會字段生成，如果生成的字段不對，點擊清除字段，把下面的字段全部清除掉，下一章再介紹手動選取字段。

第二步：③ 手動生成字段

點擊“增加字段”按鈕

點擊列表中任意一行中要提取的元素，比如要提取標(biāo)題和鏈接地址，鼠標(biāo)左鍵點擊一下該標(biāo)題即可

當(dāng)點擊的是網(wǎng)頁鏈接時，會提示是否用時要抓取鏈接地址

如果要同時提取鏈接標(biāo)題和鏈接地址，點“是”，如果只要提取標(biāo)題文本，點否，這里我們點“是”

系統(tǒng)會自動生成標(biāo)題和鏈接地址字段，并在字段列表中顯示出提取到的字段內(nèi)容，當(dāng)點擊底部表格字段標(biāo)題時，會在網(wǎng)頁上以黃色背景高亮顯示出匹配的內(nèi)容。

如何還有標(biāo)記列表中的其他字段，點擊新增字段，重復(fù)以上操作即可。

第二步：④ 分頁設(shè)置

當(dāng)列表有分頁時，啟用分頁后就可以采集到所有的分頁列表數(shù)據(jù)。

網(wǎng)頁分頁有兩種

普通分頁：存在分頁條，并顯示有“下一頁”按鈕，點擊后可以進(jìn)入下一頁，如之前的新浪新聞列表里的分頁

瀑布流分頁：網(wǎng)頁滾動條拉到底部時會自動加載下一頁內(nèi)容

如果是普通分頁，我們選擇嘗試自動設(shè)置或手動設(shè)置

自動設(shè)置分頁

新建任務(wù)時默認(rèn)是沒有啟用分頁的，點擊“不啟用分頁”，會彈出一個菜單，選擇“自動識別分頁”，如果識別成功，會彈出對話框提示“成功識別并設(shè)置了分頁元素！”，并在網(wǎng)頁“下一頁”按鈕上出現(xiàn)高亮的紅色虛線框(部分網(wǎng)頁按鈕可能不會顯示虛線框)，至此成功啟用自動分頁

如果自動識別識別，會出現(xiàn)如下綠色提示框

手動設(shè)置分頁

在菜單中選擇“手動設(shè)置分頁”

然后會自動出現(xiàn)“查找分頁”按鈕，點擊后彈出菜單，選擇“標(biāo)記分頁”

按提示向?qū)c擊“下一頁”按鈕

點擊后會在網(wǎng)頁“下一頁”按鈕上出現(xiàn)高亮的紅色虛線框(部分網(wǎng)頁按鈕可能不會顯示虛線框)，至此成功標(biāo)記了分頁，如果要查看剛才設(shè)置的分頁xpath，可以選擇菜單中的“分頁XPath”，即可看到該分頁xpath，在這里也可以手動輸入xpath進(jìn)行設(shè)置。

瀑布流分頁

有些網(wǎng)頁需要將滾動條拉到底部才能進(jìn)入下一頁，例如今日頭條、知乎等網(wǎng)站，在菜單中選擇瀑布流分頁即可啟用該分頁。使用瀑布流分頁采集時，頁面會自動滾動到底部，直到分頁完成或達(dá)到指定的分頁次數(shù)。

最大分頁

指定最大分頁次數(shù)，也就是切換分頁的次數(shù)不會超過此數(shù)值。

第二步：⑤ 采集內(nèi)容頁等多級網(wǎng)頁

如果我們要采集二級頁面，如內(nèi)容頁，或采集更深一級的頁面，三級、四級等，在當(dāng)前頁字段列表中，必須包含有一個提取鏈接地址的字段，也就是提取屬性為Href的字段，如圖

點擊該字段標(biāo)題欄，選中該列后會出現(xiàn)“深入鏈接頁采集”按鈕

點擊該按鈕后會自動創(chuàng)建一個配置選項卡，并自動打開之前選中那個字段的一個網(wǎng)址。

而采集模式也自動顯示為“單條模式”

列表模式：用于提取某個網(wǎng)頁列表中的數(shù)據(jù)，預(yù)覽中可看到多條數(shù)據(jù)

單條模式：適用于采集內(nèi)容詳情頁里的各項信息，如文章標(biāo)題、時間、正文等

因為我們深入采集的這個頁面是內(nèi)容頁，所有使用默認(rèn)的“單條模式”

然后，我們新建一個字段，提取網(wǎng)頁中的文章發(fā)布時間，因為文章標(biāo)題在第一層列表采集里已經(jīng)提取了，這里就不需要重復(fù)了，采集運行時，多個頁面的字段會自動合并為一個表格數(shù)據(jù)的。

繼續(xù)新建字段提取正文

而為了保持原文的段落格式，這里的取值屬性可以選擇InnerHtml，即該字段提取的數(shù)據(jù)包含Html標(biāo)簽

第三步：其他設(shè)置

在第三步的基本設(shè)置里，我們可以對瀏覽器做一些設(shè)置，比如禁用圖片、JS、Flash、框架等，提高瀏覽網(wǎng)頁的速度。

還可以設(shè)置瀏覽器標(biāo)識(UserAgent)、代理IP、請求的間隔時間等

瀏覽器標(biāo)識(UserAgent)：網(wǎng)頁通過讀取瀏覽器標(biāo)識來獲取客戶端的一些信息

請求間隔時間：用于降低請求的頻率，即降低采集速度，避免因采集太快而被封IP，如果不需要降速，可以設(shè)置為0時

多值連接符：字段設(shè)置了多個xpah提取多個元素時，使用這里自定義的連接符連接多個元素值

HTTP引擎線程數(shù)：使用HTTP請求時，多線程運行的線程數(shù)，同一個HTTP請求的任務(wù)可以拆分并使用多個線程同時采集，提高采集速度，只適用于HTTP引擎，瀏覽器引擎不適合。