中文字幕在线成人免费看,毛片网站观看,欧美a级在线,成人午夜精品网站在线观看

173-8640-8420

網(wǎng)站建設(shè) APP開發(fā) 小程序

NEWS/新聞

分享網(wǎng)絡(luò)信息

您當(dāng)前位置> 主頁 > 新聞 > 網(wǎng)站建設(shè)

開發(fā)者應(yīng)該怎么解除封禁百度蜘蛛

發(fā)表時間:2024-07-24 15:17:12

文章作者:小編

瀏覽次數(shù):

近期收到一些開發(fā)者反饋,為什么網(wǎng)站或智能小程序資源的內(nèi)容非常優(yōu)質(zhì),但是沒有查詢到百度蜘蛛抓取記錄,或在百度搜索中沒有得到收錄和展現(xiàn)?

在技術(shù)分析后發(fā)現(xiàn),有些網(wǎng)站或智能小程序存在封禁百度蜘蛛的情況,導(dǎo)致百度蜘蛛無法正常抓取,所以無法在百度搜索中正常收錄和展現(xiàn),或在搜索結(jié)果中的摘要展現(xiàn)為“存在robots封禁”字樣。

為了讓廣大開發(fā)者的網(wǎng)站或小程序,在百度搜索中得到正常的收錄和展現(xiàn),建議開發(fā)者及時根據(jù)以下內(nèi)容自查,解除封禁問題,并通過鏈接提交工具主動提交給我們。

常見的封禁行為包括robots封禁、封禁百度UA、封禁百度IP等。

如何驗證網(wǎng)站和智能小程序是否存在封禁百度蜘蛛的情況?


1、首先, 查看robots.txt文件,是否存在封禁記錄。(一般robots.txt文件放置在網(wǎng)站根目錄下。)

【建議方案】解除robots封禁:robots封禁情況,請檢查robots.txt文件,及時修改。

robots文件說明:https://ziyuan.baidu.com/college/articleinfo?id=1516

 

2、robots文件無異常,進(jìn)一步排查是否存在封禁百度UA情況;

方案一:執(zhí)行 curl --head --user-agent 'Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)' --request GET 'xxxxxxx'

注:正常返回碼是200,其他情況為異常。

xxxxxxx為網(wǎng)站域名,如:http://abc.com.cn。

正確識別和獲取百度蜘蛛,https://ziyuan.baidu.com/college/articleinfo?id=2855

 

方案二:變更瀏覽器UA驗證;

【建議方案】解除百度UA封禁:查看網(wǎng)站反爬蟲策略,進(jìn)行策略調(diào)整?;蜥槍Π俣萓A添加策略白名單。

 

3、以上驗證均無異常,最后進(jìn)一步排查是否存在IP級別的封禁;

常見的IP封禁,源自網(wǎng)站的防火墻系統(tǒng)配置,需要查看防火墻配置系統(tǒng)后臺,檢查是否存在百度蜘蛛的IP級別封禁措施。

【建議方案】解除百度IP封禁:查看網(wǎng)站反爬蟲策略,進(jìn)行策略調(diào)整。

相關(guān)案例查看更多