當(dāng)做好了PC站點(diǎn)與移動(dòng)站點(diǎn)的適配之后,接下來(lái)就是等待百度的抓取收錄了。重慶SEO公司可以通過(guò)以下幾點(diǎn)來(lái)加速網(wǎng)站被搜索引擎抓取。

(1)不要通過(guò) robots agent封禁的方式調(diào)配PC或移動(dòng)蜘蛛如果發(fā)現(xiàn)你的網(wǎng)站 robots文件中出現(xiàn)了 User-agent:*和 Disallow:/的寫(xiě)法,就代表封禁了所有搜索引擎抓取網(wǎng)站的網(wǎng)頁(yè)。

(2)不要將重要的頁(yè)面添加nofo|oM標(biāo)簽

(3)不要在服務(wù)器端輕易設(shè)置屏蔽某P段的訪問(wèn),很有可能該IP就是搜索引擎能夠識(shí)別的百度移動(dòng)ua。

之前通過(guò)htt://baidu.com/search/spider.htm進(jìn)行識(shí)別的網(wǎng)站請(qǐng)注意!您需要修改識(shí)別方式,新的正確地識(shí)別爬蟲(chóng)移動(dòng)ua的方法如下。

①通過(guò)關(guān)鍵詞“ Android或者“ Mobile"進(jìn)行識(shí)別,判斷為移動(dòng)訪問(wèn)或者抓取。

②通過(guò)關(guān)鍵詞“ Baiduspider2.0”進(jìn)行識(shí)別,判斷為百度爬蟲(chóng)。

另外需要強(qiáng)調(diào)的是,對(duì)于 robots封禁,如果封禁的 agent是爬蟲(chóng)會(huì)對(duì)PC和移動(dòng)同時(shí)生效。即無(wú)論是PC還是移動(dòng)爬蟲(chóng),都不會(huì)對(duì)封禁對(duì)象進(jìn)行抓取。之所以要強(qiáng)調(diào)這一點(diǎn),是發(fā)現(xiàn)有些代碼適配站點(diǎn)(同個(gè)URL,用PCua打開(kāi)時(shí)是PC頁(yè),用移動(dòng)ua打開(kāi)時(shí)是移動(dòng)頁(yè)),想通過(guò)設(shè)置 Robots的 agent封禁達(dá)到只讓移動(dòng)爬蟲(chóng)抓取的目的,但由于PC和移動(dòng)爬蟲(chóng)的agen嘟都是爬蟲(chóng),這種方法是非常不可取的。

(4)通過(guò)百度站長(zhǎng)工具中的鏈接提交工具進(jìn)行實(shí)時(shí)提交。

(5)制作好移動(dòng)站點(diǎn)的 sitemap文件,并通過(guò)百度站長(zhǎng)工具的sitemap方式提交。

(6)通過(guò)分析移動(dòng)站點(diǎn)的og日志,找到響應(yīng)代碼異常的排查原因并解決。

(7)服務(wù)器錯(cuò)誤:爬蟲(chóng)發(fā)起抓取,httpcode返回碼是5××。

(8)訪問(wèn)被拒絕:爬蟲(chóng)發(fā)起抓取,httpcode返回碼是403。

(9)找不到頁(yè)面:爬蟲(chóng)發(fā)起抓取,httpcode返回碼是404。

(10)其他錯(cuò)誤:爬蟲(chóng)發(fā)起抓取,httpcode返回碼是4xx,不包括403和404。

網(wǎng)頁(yè)名稱(chēng)：移動(dòng)端如何做好網(wǎng)站被動(dòng)抓?。?/a>
URL分享：http://www.ekvhdxd.cn/news19/226019.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供建站公司、響應(yīng)式網(wǎng)站、企業(yè)網(wǎng)站制作、網(wǎng)站收錄、定制網(wǎng)站、網(wǎng)站設(shè)計(jì)公司

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)