您現在的位置:首頁 ? 網站新聞
南陽網站優化、南陽seo學會剖析網站日志了解蜘蛛對網站抓取情況
2020-03-23 點擊數:58

南陽網站優化作為SEO咱們會常常剖析網站日志,經過網站日志的剖析,咱們能夠愈加了解蜘蛛對網站抓取狀況,所謂的網站日志便是記載web服務器接收處理請求以及運行時過錯等各種原始信息的以·log結尾的文件,網站日志最大的含義是記載網站運營中比如空間的運營狀況,被拜訪請求的記載。南陽seo經過網站日志能夠清楚的得知用戶在什么IP、什么時刻、用什么操作系統、什么瀏覽器、什么分辨率顯示器的狀況下拜訪了你網站的哪個頁面,是否拜訪成功。
網站日志
 
一、網站日志的作用
 
1、南陽網站優化經過網站日志能夠了解蜘蛛對網站的根本爬取狀況,能夠知道蜘蛛的爬取軌跡和爬取量,經過咱們的網站日志,外鏈的多和少和網站蜘蛛的爬取量是有直接影響的,咱們所說的鏈接釣餌便是假如你做了一個外鏈,蜘蛛在爬取這個外鏈頁面并把頁面放出來時,蜘蛛能夠經過你留的這個鏈接來爬取你的網站,而網站日志正是會記載下蜘蛛的這次爬取舉動。
 
2、網站的更新頻率也和網站日志中蜘蛛抓取的頻率有關,一般來說更新頻率越高,蜘蛛的抓取頻率越高,而咱們網站的更新不僅僅只是新內容的增加一起還有咱們的微調操作。
 
3、咱們能夠依據網站日志的反響狀況,對咱們的空間的某些事情和問題提前進行預警,因為服務器假如出問題的話在網站日志中會第一時刻反映出來,要知道服務器的安穩速度和翻開速度兩者都會直接影響咱們的網站。
 
4、經過網站日志咱們能夠知道網站的那些頁面是很受蜘蛛歡迎的,而哪些頁面是蜘蛛連碰都不去碰的,南陽網站優化一起咱們還能發現有一些蜘蛛由所以過度爬取對咱們的服務器資源損耗是很大的,咱們要進行屏蔽作業。
 
二、如何下載日志
在購買空間的時分需求問清楚是否支撐網站日志下載,但現在根本虛擬主機都有這功用,南陽seo網站日志是每天生成一次,咱們只需求用FTP東西傳到本地就能夠。
 
 
三、剖析網站日志
 
LOGHAO日志剖析

LOGHAO日志剖析
 
1、日志的后綴名是log的咱們用記事本翻開,挑選格式里的主動換行這樣看起來方便,一起用查找功用查找BaiduSpider和Googlebot這兩個蜘蛛。
 
例如:
 
百度蜘蛛 2012-03-13 00:47:10 W3SVC177 116.255.169.37 GET / – 80 – 220.181.51.144 Baiduspider-favo+(+ baidu /search/spider ) 200 0 0 15256 197 265
 
谷歌機器人 2012-03-13 08:18:48 W3SVC177 116.255.169.37 GET /robots.txt – 80 – 222.186.24.26 Googlebot/2.1+(+ google /bot ) 200 0 0 985 200 31
 
咱們分段來解釋
 
  2012-03-13 00:47:10 蜘蛛爬取的日期和時刻點;W3SVC177 這個是機器碼這個是惟一的 咱們不去管它;116.255.169.37 這個IP地址是服務器的IP地址;GET 代表事情,GET后邊便是蜘蛛爬取的網站頁面,斜杠就代表主頁,80 是端口的意思,220.181.51.144 這個IP則是蜘蛛的IP,這兒海瑤SEO快排發包技術小編告知我們一個辨別真假百度蜘蛛的方法,咱們電腦點擊開始運行輸入cmd翻開命令提示符,輸入nslookup空格加蜘蛛IP點擊回車,一般真百度蜘蛛都有自己的服務器IP而假蜘蛛則沒有。
 
  假如網站中呈現了大量的假蜘蛛則說明有人假充百度蜘蛛來收集你的內容,你就需求注意了,假如太猖獗那會很占用你的服務器資源,咱們需求屏蔽他們的IP.
 
  200 0 0這兒是狀態碼 狀態碼的意思能夠在百度里查找下;197 265最終兩個數字則代表著拜訪和下載的數據字節數。
 
2、咱們剖析的時分先看看狀態碼 200代表下載成功,304代表頁面未修改,500代表服務器超時,這些是一般的其他代碼能夠百度一下,對于不同的問題咱們要處理。
 
3、咱們要看蜘蛛常常爬取哪些頁面,咱們要記載下來,剖析他們為什么會常常被蜘蛛爬取,然后剖分出蜘蛛所喜歡內容。
 
4、有時分咱們的途徑不一致呈現帶斜杠和不帶斜杠的問題,蜘蛛會主動識別為301跳轉到帶斜杠的頁面,這兒咱們就發現了查找引擎是能夠判斷咱們的目錄的,所以咱們要對咱們的目錄進行一致。
 
5、南陽網站優化咱們剖析日志剖析時刻長了,咱們能夠看出蜘蛛的抓取規律,同一目錄下面的單個文件的抓取頻率距離和不同目錄的抓取頻率距離都能夠看出來,這些抓取頻率距離時刻是蜘蛛依據網站權重和網站更新頻率來主動確定的。
 
6、蜘蛛對于咱們的頁面的抓取是分等級的,是依據權重順次遞減的,一般次序為主頁、目錄頁、內頁。
 
7、不同IP的蜘蛛他們的抓取頻率也是不相同的
 
四、檢查網站日志的含義
 
1、檢查拜訪網站的用戶IP、拜訪頁面、停留時刻、拜訪日期等等
 
2、檢查查找引擎蜘蛛都拜訪網站那些頁面,回來碼是什么
 
3、找出404頁面,找出出問題的其他頁面,包括死連鏈接
 
4、發覺百度蜘蛛每天固定時刻來拜訪網站,那么就能夠在固定時刻更新網站。
 
5、拜訪的頁面,有參數(代表動態頁面,或許中文URL),三個以上參數的途徑不利于優化,那么就有必要寫進robots.txt。
 
6、回來碼是不正常的,就有必要處理,讓頁面康復正常拜訪,不能康復正常拜訪的死鏈接,建立txt文檔,向百度站長渠道提交。
 
7、404頁面能夠被百度錄入,那么就盡量去康復網站拜訪
 
五、網站日志的剖析東西
 
愛站日志剖析東西
愛站日志剖析東西
 
南陽seo這兒給我們介紹一款十分好用的網站日志剖析東西,便是拉格好剖析東西http://www.loghao.com/,能夠挑選導入日志后進行剖析,或許運用愛站等各類SEO東西,都能夠直接剖析網站日志。

網站留言
Copyright ? 2015-2025 河南春陽網絡科技有限公司 版權所有 備案號:豫ICP備15036298號
5分彩走势图分析 内蒙古11选5玩法 上海时时乐30分 七星彩选号技巧玩法 新疆体育彩票11选5走势图 酒鬼酒股票 幸运农场计划稳定版 广东11选55开奖 股票推荐每日一股(2020年1月22日) 青海玉树快3查询 开福利彩票店利润多少 幸运飞艇历史开奖结果筛选 四肖期期中准2019 002360股票分析 HR娱乐网络异常是什么意思 青海11选5的台子 苹果股票行情实时查询