工程師解答:Baiduspider目前(2016年10月)在robots里是不支持中文的。
同學(xué)追問:那我們進行UrlEncode編碼會不會支持呢?比如這種:http://www.a.cn/特殊:瀏覽/生死狙擊:白銀加特林
工程師解答:robots文件支持這種寫法。但是否生效,還要取決于當(dāng)時BaiduSpider抓取的是哪種形式結(jié)構(gòu)的鏈接,如果是UrlEncode編碼就可以生效,如果是中文就非常不幸了。
更多關(guān)于云服務(wù)器,域名注冊,虛擬主機的問題,請訪問西部數(shù)碼官網(wǎng):www.ps-sw.cn