虛擬主機(jī)如何阻止蜘蛛訪問(wèn)
虛擬主機(jī)如何阻止蜘蛛訪問(wèn)？虛擬主機(jī)組織蜘蛛訪問(wèn)，可以使用robots協(xié)議來(lái)實(shí)現(xiàn)。robots是網(wǎng)站跟爬蟲(chóng)間的協(xié)議，用簡(jiǎn)單直接的txt格式文本方式告訴對(duì)應(yīng)的爬蟲(chóng)被允許的權(quán)限，也就是說(shuō)robots.txt是搜索引擎中訪問(wèn)網(wǎng)站的時(shí)候要查看的第一個(gè)文件
編輯君