NEWS/新聞
分享網(wǎng)絡(luò)信息
您當(dāng)前位置> 主頁 > 新聞 > 網(wǎng)站建設(shè)
開發(fā)者應(yīng)該怎么解除封禁百度蜘蛛
發(fā)表時間:2024-07-24 15:17:12
文章作者:小編
瀏覽次數(shù):
近期收到一些開發(fā)者反饋,為什么網(wǎng)站或智能小程序資源的內(nèi)容非常優(yōu)質(zhì),但是沒有查詢到百度蜘蛛抓取記錄,或在百度搜索中沒有得到收錄和展現(xiàn)?
在技術(shù)分析后發(fā)現(xiàn),有些網(wǎng)站或智能小程序存在封禁百度蜘蛛的情況,導(dǎo)致百度蜘蛛無法正常抓取,所以無法在百度搜索中正常收錄和展現(xiàn),或在搜索結(jié)果中的摘要展現(xiàn)為“存在robots封禁”字樣。
為了讓廣大開發(fā)者的網(wǎng)站或小程序,在百度搜索中得到正常的收錄和展現(xiàn),建議開發(fā)者及時根據(jù)以下內(nèi)容自查,解除封禁問題,并通過鏈接提交工具主動提交給我們。
常見的封禁行為包括robots封禁、封禁百度UA、封禁百度IP等。
如何驗證網(wǎng)站和智能小程序是否存在封禁百度蜘蛛的情況?
1、首先, 查看robots.txt文件,是否存在封禁記錄。(一般robots.txt文件放置在網(wǎng)站根目錄下。)
【建議方案】解除robots封禁:robots封禁情況,請檢查robots.txt文件,及時修改。
robots文件說明:https://ziyuan.baidu.com/college/articleinfo?id=1516
2、robots文件無異常,進(jìn)一步排查是否存在封禁百度UA情況;
方案一:執(zhí)行 curl --head --user-agent 'Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)' --request GET 'xxxxxxx'
注:正常返回碼是200,其他情況為異常。
xxxxxxx為網(wǎng)站域名,如:http://abc.com.cn。
正確識別和獲取百度蜘蛛,https://ziyuan.baidu.com/college/articleinfo?id=2855
方案二:變更瀏覽器UA驗證;
【建議方案】解除百度UA封禁:查看網(wǎng)站反爬蟲策略,進(jìn)行策略調(diào)整?;蜥槍Π俣萓A添加策略白名單。
3、以上驗證均無異常,最后進(jìn)一步排查是否存在IP級別的封禁;
常見的IP封禁,源自網(wǎng)站的防火墻系統(tǒng)配置,需要查看防火墻配置系統(tǒng)后臺,檢查是否存在百度蜘蛛的IP級別封禁措施。
【建議方案】解除百度IP封禁:查看網(wǎng)站反爬蟲策略,進(jìn)行策略調(diào)整。