1. 首頁 > 生活經驗 > >

新手站長分析網站日志的方法 蜘蛛日志分析在線

知識百科經驗分享


怎么從網站log日志判斷百度蜘蛛來過那么我們如何判斷百度蜘蛛來過呢？答案是要根據網站log日志，如果百度蜘蛛來過那么網站log日志中會有相關記錄 。一個是百度蜘蛛名字 Baiduspider，一個是百度蜘蛛ip，這兩點要綜合考慮才能正確分析，下面我們說說具體如何操作 。
1、先確認log日志對客戶端訪問機器名以及訪問ip進行了記錄 。
如果沒有記錄這兩項就沒有Baiduspider字樣顯示，也沒有百度蜘蛛IP記錄 。可以問下你虛擬主機的空間商，如何設置日志記錄蜘蛛蹤跡，如何下載下來日志，客服會詳細告訴你 。
2、下載網站log日志，可記事本打開文件，用查找 找 Baidu，字樣并記錄，各條數據IP 。
因為有些站是仿百度蜘蛛來訪問你的網站，他們名字也起的是Baiduspider，所以，為了避免被迷惑，我們還要根據IP進行反查，來確定這些IP對應的服務器名 。下面是一些log日志中含Baiduspider的記錄：
123.125.71.26 - - [14/Feb/2014:01:03:29 +0800] "GET / HTTP/1.1" 200 10599 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)"
123.125.71.41 - - [14/Feb/2014:07:04:36 +0800] "GET / HTTP/1.1" 200 10599 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)"
220.181.108.117 - - [14/Feb/2014:01:03:49 +0800] "GET / HTTP/1.1" 200 10599 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)"
220.181.108.100 - - [14/Feb/2014:07:05:14 +0800] "GET / HTTP/1.1" 200 10599 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)"
117.28.255.53 - - [14/Feb/2014:08:30:11 +0800] "GET / HTTP/1.1" 200 4111 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)"
60.172.229.61 - - [14/Feb/2014:09:37:56 +0800] "GET / HTTP/1.1" 200 4123 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)"
3、點“開始” “運行”》 輸入cmd 點“確認”進入命令行模式，在命令行模式 輸入 nslookup 回車 進入反查操作 。輸入你記錄的百度蜘蛛ip 回車 看是否返回百度蜘蛛相關信息 。如果返回就證明是百度蜘蛛；如果沒有，證明是其他站仿的百度蜘蛛 。
iis日志分析（搜索引擎蜘蛛抓取記錄） 100分可以通過判斷http頭來截取數據，然后再判斷頭部信息是否為蜘蛛程序就可以得到結果了
百度蜘蛛爬行日志分析Google的蜘蛛的名字：Googlebot
baidu的蜘蛛的名字：baiduspider
Yahoo的蜘蛛的名字：Yahoo Slurp
看了一看狀態碼，還沒有發現它們的蹤影哦……
新手站長分析網站日志的方法 感謝A5給予我們愛分享的人一個機會分享發現一個規律現在好多人都沒有分析百度日志的習慣，其實我覺得分析百度日志還是蠻有好處的，至少能看清楚蜘蛛對我們網站的一個認知度 。有些人總在說為什么百度不更新我的快照啊，為什么百度不收入我的文章呢?下面通過日志給大家解答下：
什么是網站日志?
網站日志其實也就是我們的空間日志，就是記載每天各種蜘蛛抓取記錄的存儲地方，在這里可以看到每天什么時候那個搜索引擎蜘蛛訪問了我們的那個頁面，如何下載日志文件呢?通常日志文件文件都在log的文件夾內，沒有一般在空間商的后臺去設置下 。
如何分析網站日志?
首先我們將網站日志下載下來是一個壓縮包，我們不用解壓，直接用工具就可以分析，我們下下面分析
范思佳在分析概要中可以看到蜘蛛的訪問次數和總停留時間，在這里我們可以蜘蛛每天蜘蛛訪問我們網站幾次?
有沒有來到我們網站，如果沒有來，要怎么要他經常來?總停留時間可以看出來蜘蛛是不是喜歡我們的網站，因為我的.網站新站也沒什么內容，所以導致停留時間低，但是這個數據可以明確的表現出來我們網站蜘蛛是不是喜歡其中的文章，如果喜歡，那幾乎就是在網站上呆的時間很長，只要發表文章就被蜘蛛抓取，通過網站日志就可以看出其中的數據，如果要是在前臺看，如何看出?
這個頁面是蜘蛛抓取的目錄，可以看出我們的分類目錄有沒有被抓取 。那個目錄被抓取的更多，蜘蛛更喜歡我們網站那個欄目?
我們看到這個是頁面抓取，首先我們看以看到蜘蛛抓取我們的那個頁面，我們總說我們的文章不收入，也不知道是不是文章質量?但是通過這個我們可以看出，到底我們的文章有沒有被蜘蛛抓取過，如果沒有抓取過我們該怎么做?有抓取過我們又該怎么樣?都是我們下一步要修改的地方，
這個頁面是蜘蛛抓取的狀態碼，通過這個可以看出我們網站那個頁面是錯誤頁面?如何修改?小作分析了下是不是日志分析很重要啊，其實日志分析還有好多的作用等著你去挖掘 。
百度蜘蛛是什么，常見百度爬蟲有那些問題簡單理解，百度蜘蛛又名百度爬蟲，主要的工作職能是抓取互聯網上現有的URL，并對頁面質量進行評估，給出基礎性的判斷 。
通常百度蜘蛛抓取規則是：
種子URL->待抓取頁面->提取URL->過濾重復URL->解析網頁鏈接特征->進入鏈接總庫->等待提取 。
1、如何識別百度蜘蛛
快速識別百度蜘蛛的方式有兩種：
① 網站<a href=https://pipe99.com/luoxuan/網址>蜘蛛日志分析，可以通過識別百度蜘蛛UA，來判斷蜘蛛來訪記錄，相對便捷的方式是利用SEO軟件去自動識別 。關于百度UA的識別，你也可以查看官方文檔： ② CMS程序插件，自動嵌入識別百度爬蟲，當蜘蛛來訪的時候，它會記錄相關訪問軌跡 。
2、百度蜘蛛收錄網站規則有那些?
并不是每一個網站的蜘蛛來爬尋抓取就會被收錄的，這樣就會形成一個搜索引擎主要流程，這個流程主要分為，抓取、篩選、對比、索引最后就是釋放，也技術展現出來的頁面 。
抓取：爬蟲是根據網站URL連接來爬尋的，它的主要目的是抓取網站上所以文字連接，一層一層有規則的爬尋 。
篩選：當抓取完成后，篩選這個步驟主要是篩選出垃圾文章，比如翻譯、近義詞替換、偽原創文章等，搜索引擎都能夠識別出來，而是通過這一步驟識別 。
對比：對比主要是實行百度的星火計劃，保持文章的原創度 。通常情況下，經過對比的步驟的時候，搜索引擎會對你站點進行下載，一來對比，二來創建快照，所以搜索引擎蜘蛛已經訪問你的網站，所以網站日志中會有百度的IP 。
索引：通過確定你網站沒有問題的時候，才會對你網站創建索引，如果創建索引了，這也說明你的站點被收錄了，有時候我們在百度搜索還是不出來，可能原因是還沒有被釋放出來，需要等待 。
3、關于百度爬蟲一些常見問題：
① 如何提高百度抓取頻率，抓取頻率暴漲是什么原因
早期，由于收錄相對困難，大家非常重視百度抓取頻率，但隨著百度戰略方向的調整，從目前來看，我們并不需要刻意追求抓取頻率的提升，當然影響抓取頻次的因素主要包括：網站速度、安全性、內容質量、社會影響力等內容 。
如果你發現站點抓取頻率突然暴漲，可能是因為：存在鏈接陷阱，蜘蛛不能很好抓取頁面，或者內容質量過低，需要從新抓取，也可能是網站不穩定，遭遇負面SEO攻擊 。
② 如何判斷，百度蜘蛛是否正常抓取
很多站長新站上線，總是所發布的文章不收錄，于是擔心百度爬蟲是否可以正常抓取，這里官方提供兩個簡單的工具：
百度抓取診斷：
百度Robots.txt檢測：
你可以根據這兩個頁面，檢測網頁的連通性，以及是否屏蔽了百度蜘蛛抓取 。
③ 百度爬蟲持續抓取，為什么百度快照不更新
快照長時間不更新并沒有代表任何問題，你只需要關注是否網站流量突然下降，如果各方面指標都正常，蜘蛛頻繁來訪，只能代表你的頁面質量較高，外部鏈接非常理想 。
④ 網站防止侵權，禁止右鍵，百度蜘蛛是否可以識別內容
如果你在查看網頁源代碼的時候，可以很好的看到頁面內容，理論上百度蜘蛛就是可以正常抓取頁面的，這個你同樣可以利用百度抓取診斷去解析一下看看 。
⑤ 百度蜘蛛，真的有降權蜘蛛嗎？
早期，很多SEO人員喜歡分析百度蜘蛛IP段，實際上官方已經明確表示，并沒有說明哪些蜘蛛的爬行代表降權，所以這個問題不攻自破 。
⑥屏蔽百度蜘蛛,還會收錄嗎？
常規來說屏蔽百度蜘蛛是沒辦法收錄，雖然會收錄首頁，但是內頁卻不能收錄的，就好比“淘寶”基本上都是屏蔽了百度蜘蛛，只有首頁但是依然排名很好 。
總結：很多市面上就會出現一個蜘蛛池這樣的字眼呈現，這是一種并不好的一種變現的方式，搜外seo并不建議大家使用，上述僅供大家參考 。
如何查看蜘蛛日志網站日志，是服務器端自動生成的一個文本記錄，詳細記載了網站的訪問詳情，做為站長的你，如果是需要查看訪問統計數據，那用#或者百度統計 工具就可以了，但是如果你想查看各搜索引擎的蜘蛛是否準時來爬行自己的網站，那就要學會自己查看網站日志文件了 。結合我們自己的網站做為一個實例來做一個介紹：
首先利用FTP工具登錄服務器端，一般在服務器根目錄之下存在一個logs文件夾，這里面裝的就是網站日志，當然不同的服務器類型，日志文件的文件夾名稱和我介紹的不一樣，但沒關系，日志文件的擴展名是log 。
日志中蜘蛛的訪問行為
進入日志文件夾，你會發現，日志文件是按每一天的訪問情況為一個文件保存的：
日志中蜘蛛的訪問行為
好吧，我的服務器只保留最近三天的日志文件，真小氣，我還用過一個國外的服務器，人家是按月記錄，并且當月結束后會將當月的日志打包供下載，只要你不人為刪除，該日志文件會永遠存在，這才叫個性化，但是沒辦法，誰叫我們只能用國內的服務器 。
OK，報怨了幾句，隨便下載一天的日志文件，用Windows文本工具打開該日志文件，會看到一堆酷似代碼的字符，祝文件大小打開速度也不同：
日志中蜘蛛的訪問行為
注意看有背景的這一小部分，我用CTRL+F搜索功能查找baiduspider，好吧，為什么要查找baiduspider，這里先普及一下關于搜索引擎蜘蛛的一點小知識，各大搜索引擎的蜘蛛都有名字：
百度的叫baiduspider;
谷歌的叫Googlebot;
微軟的叫bingbot;
搜狐的叫Sogou web spider;
騰訊的叫Sosospider;
因為國內主要是以百度為優化對象，我們來看看關于百度蜘蛛爬行記錄的信息分析，在日志記錄中隨便找一個百度蜘蛛的信息：
125.90.88.96 - - [07/Sep/2012:19:16:21 +0800] "GET / HTTP/1.1" 200 5374 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)"
怎么解讀這些信息呢？蜘蛛IP--【訪問時間】“獲取路徑”HTTP反饋值200 反饋字節數5357 百度蜘蛛標記 。
好吧，這里面獲取路徑與HTTP反饋值是非常重要的信息，200為正常讀取，讀取了5374個字節 。我們再分析一條記錄：
220.181.51.118 - - [07/Sep/2012:09:54:15 +0800] "GET /product/disp.php?id=93 HTTP/1.1" 301 249 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)"
認真看獲取路徑這一項，因為我的網站是老域名，原來的主人被收錄的路徑/product/disp.php?id=93，百度蜘蛛同樣爬行，結果我的 新網站里肯定不會有這一條信息，由于HTTP反饋了301，而301代表已移動 — 請求的數據具有新的位置且更改是永久的 。其實這對于我來說是一件好事，蜘蛛爬行不通，知道這條收錄記錄已經失效，慢慢就會從百度的收錄數據庫中刪除 。現在 百度正在審核我的新站點，一天爬行只有23次，也很不錯了的 。
好了，大家是不是可以舉一反三的學會看其它搜索引擎蜘蛛的爬行記錄了呢？下次，筆者將重點再分享一下HTTP的反饋值，大家通過這個反饋值可以獲悉自己網站的健康狀態哦，非常重要 。
當然，有朋友會說為什么不利用一些日志查看工具，人工手動察看費時費力，是的，有些不錯的工具可以提供更便捷的操作，今天筆者所述內容旨在用最初級的方法教會大家學會察看自己網站的日志 。希望以上內容能對你有點幫助 。
【新手站長分析網站日志的方法 蜘蛛日志分析在線】關于蜘蛛日志分析和蜘蛛日志分析在線的內容就分享到這兒！更多實用知識經驗，盡在 m.apearl.cn