如何檢查URL被谷歌使用Python索引
谷歌搜索控制臺(tái)可以幫助你確定你的網(wǎng)站被索引的網(wǎng)頁(yè)，但如何識(shí)別那些不？專(zhuān)欄作家Paul Shapiro有一個(gè)Python腳本就是這樣的。

有三個(gè)主要的組件有機(jī)搜索：爬行、索引和排名。當(dāng)谷歌等搜索引擎來(lái)到你的網(wǎng)站，它抓取所有的鏈接發(fā)現(xiàn)。它所找到的信息然后進(jìn)入搜索引擎的索引，其中不同的因素來(lái)確定哪些網(wǎng)頁(yè)抓取，以什么樣的順序，對(duì)于一個(gè)特定的搜索查詢(xún)。

作為SEO，我們會(huì)以我們的努力集中于排名的成分，但如果能夠抓取和索引你的站點(diǎn)上的網(wǎng)頁(yè)搜索引擎不會(huì)的，你不會(huì)收到來(lái)自谷歌的任何交通。顯然，確保您的網(wǎng)站是正確的抓取和索引搜索引擎是搜索引擎的重要組成部分。

但是你怎么能說(shuō)如果你的網(wǎng)站收錄正常嗎？
如果你有機(jī)會(huì)到谷歌搜索控制臺(tái)，它告訴你多少頁(yè)都包含在你的XML網(wǎng)站地圖，其中有多少是索引。不幸的是，它不會(huì)走得太遠(yuǎn)，告訴你哪些頁(yè)面是>沒(méi)有索引。

確定一個(gè)URL已經(jīng)被谷歌索引

為了確定個(gè)體的URL已經(jīng)被谷歌索引，我們可以用“信息：“搜索算子，像這樣：

信息：http://searchengineland.com/google-downplays-google-algorithm-ranking-update-week-normal-fluctuations-258923

如果URL索引，結(jié)果將顯示該URL：
判斷一個(gè)網(wǎng)頁(yè)是谷歌索引信息算子

然而，如果URL不收錄，谷歌將返回一個(gè)錯(cuò)誤，說(shuō)沒(méi)有，URL信息：
谷歌的結(jié)果如果頁(yè)面沒(méi)有被索引
用python的URL批量檢查指標(biāo)狀況

現(xiàn)在我們知道如何檢查，如果一個(gè)URL被索引，你可能想知道你如何能做這樣的集體。你可以有1000個(gè)工人檢查每一個(gè)-或者，如果你喜歡，你可以用我的Python解：

使用以上的Python腳本，確保你有Python 3安裝.你也將安裝beautifulsoup圖書(shū)館。要做到這一點(diǎn)，打開(kāi)一個(gè)終端或命令提示符并執(zhí)行：

pip安裝beautifulsoup4

然后你可以下載到你的電腦上的腳本。在同一文件夾中的腳本，創(chuàng)建一個(gè)URL列表的文本文件，列出每個(gè)URL在單獨(dú)一行。
Python腳本文件的目錄結(jié)構(gòu)

現(xiàn)在，你的劇本是現(xiàn)成的，我們需要建立Tor運(yùn)行作為我們的免費(fèi)代理。在Windows中，下載Tor專(zhuān)家束。解壓zip文件夾到本地目錄并運(yùn)行tor.exe。隨時(shí)最小化窗口。
Tor專(zhuān)家截圖

接下來(lái)，我們需要安裝Polipo運(yùn)行Tor和HTTP代理。下載最新的Windows二進(jìn)制（它將被命名為“polipo-1。x.x.x-win32 .zip”）和解壓到一個(gè)文件夾。

在你Polipo文件夾，創(chuàng)建一個(gè)文本文件（例如：配置.txt）具有下列內(nèi)容：

socksparentproxy =“本地：9050”
socksproxytype = SOCKS5
diskcacheroot =“”
disablelocalinterface =真

打開(kāi)命令提示符并瀏覽到您Polipo目錄。

運(yùn)行以下命令：

polipo.exe C config.txt
運(yùn)行Tor配置Polipo

在這一點(diǎn)上，我們已經(jīng)準(zhǔn)備好運(yùn)行實(shí)際的Python腳本：

Python indexchecker.py
Python腳本配置

該腳本將提示您指定要檢查每個(gè)URL之間等待的秒數(shù)。

它也會(huì)提示你輸入一個(gè)文件名（不帶擴(kuò)展名的文件）將結(jié)果輸出到CSV。

最后，它會(huì)要求包含檢查URL的列表的文本文件的文件名。

輸入此信息，讓腳本運(yùn)行。

最終的結(jié)果將是一個(gè)CSV文件，可以很容易地打開(kāi)Excel，指定如果索引頁(yè)是還是不是。
ouputted CSV顯示URL索引或不

如果在腳本似乎不工作，谷歌有可能堵塞器。隨時(shí)在這種情況下，使用你自己的代理服務(wù)，通過(guò)修改后的劇本：

代理= {
“https”：“https:/ /本地：8123，
“https”：“HTTP：/ /本地：8123
}

結(jié)論
知道哪些頁(yè)面被谷歌索引是SEO成功的關(guān)鍵。你不能如果你的網(wǎng)頁(yè)不在谷歌的數(shù)據(jù)庫(kù)從谷歌獲得的流量！
不幸的是，谷歌不容易確定一個(gè)網(wǎng)站的URL索引。但有點(diǎn)苦勞和以上的Python腳本，我們能夠解決這個(gè)問(wèn)題。

網(wǎng)站內(nèi)部結(jié)構(gòu)優(yōu)化, 網(wǎng)站定位是什么
如何發(fā)布高質(zhì)量產(chǎn)品內(nèi)容