問(wèn):生成sitemap網(wǎng)站抓取鏈接在50個(gè)之后都會(huì)失敗,很多西部數(shù)碼主機(jī)的網(wǎng)站都會(huì)這樣,用百度和阿里主機(jī)的網(wǎng)站抓取都沒(méi)有問(wèn)題,生成工具試了很多都這樣,檢查看什么原因
,生成sitemap網(wǎng)站抓取失敗
答:您好,我司設(shè)置了cc防護(hù),限制了單個(gè)ip10s請(qǐng)求超過(guò)50次,正常訪問(wèn)是不會(huì)達(dá)到這個(gè)頻率的。請(qǐng)調(diào)整您的抓取軟件的頻率,限制到抓取頻率在10s 50以下,抓取生成再試,非常感謝您長(zhǎng)期對(duì)我司的支持!
問(wèn):能不能取消限制,這個(gè)會(huì)不會(huì)影響百度抓取網(wǎng)站收錄
答:您好,無(wú)法取消,對(duì)應(yīng)的設(shè)置不會(huì)影響百度抓取,百度抓取是不會(huì)達(dá)到這個(gè)頻率,這個(gè)頻率屬于非正常訪問(wèn),您生成sitemap的時(shí)候請(qǐng)注意限制抓取頻率即可,非常感謝您長(zhǎng)期對(duì)我司的支持!
問(wèn):生成sitemap根本沒(méi)有辦法限制頻率,怎么處理
答:您好,當(dāng)前虛擬主機(jī)都是相關(guān)限制,建議您升級(jí)使用云服務(wù)器,云服務(wù)器環(huán)境可以自行設(shè)置,這樣生成沒(méi)有限制,非常感謝您長(zhǎng)期對(duì)我司的支持!
問(wèn):其他服務(wù)商的虛擬主機(jī)就完全沒(méi)有這個(gè)限制,都是能生成地圖的,這個(gè)完全不合理
答:您好,當(dāng)前可以特殊為您處理一下,您將需要進(jìn)行生成sitemap的網(wǎng)站域名回復(fù)到工單中,我司為您添加白名單您抓取再試,同時(shí)設(shè)置后對(duì)應(yīng)的cc防護(hù)就沒(méi)有效果了,非常感謝您長(zhǎng)期對(duì)我司的支持!
問(wèn):難道以后做一個(gè)網(wǎng)站還要提交一次工單?算了,沒(méi)意義
答:您好,非常抱歉,默認(rèn)虛擬主機(jī)均開(kāi)啟CC防護(hù),在高頻訪問(wèn)的情況下會(huì)觸發(fā)攻擊防護(hù),建議您控制抓取頻率,蜘蛛訪問(wèn)會(huì)直接通過(guò)驗(yàn)證,所以不受影響,非常感謝您長(zhǎng)期對(duì)我司的支持!
問(wèn): 127.0.0.1:22000這個(gè)服務(wù)器網(wǎng)站比較慢,我看監(jiān)控信息,網(wǎng)絡(luò)帶寬,cpu等都占用比較高,麻煩看下原因
答:您好,我們查看cpu占用并不高,服務(wù)器負(fù)載也不高,是帶寬高,根據(jù)進(jìn)程來(lái)看是網(wǎng)站訪問(wèn)占用的,首頁(yè)加載的內(nèi)容比較多,帶寬不夠,建議將帶寬升級(jí)到10M再觀察下,非常感謝您長(zhǎng)期對(duì)我司的支持!
問(wèn):您好,現(xiàn)在看降下來(lái)了,請(qǐng)問(wèn)用什么命令可以查看?具體怎么查看
答:您好,vnstat -l -i eth0 查看實(shí)時(shí)流量,iftop可以查看當(dāng)前連接流量,nethogs可以查看進(jìn)程流量,非常感謝您長(zhǎng)期對(duì)我司的支持!
問(wèn):請(qǐng)問(wèn)一下,會(huì)不會(huì)被攻擊了什么的,比如惡意用程序訪問(wèn)網(wǎng)站首頁(yè)什么的?因?yàn)槲铱粗岸己艿?,今天中午突然變高了,不知道具體什么原因
答:您好,我們之前登陸查看負(fù)載是很低的, 如果有攻擊一般負(fù)載都會(huì)偏高,并且日志里面會(huì)有記錄。您網(wǎng)站首頁(yè)加載的內(nèi)容偏多,如果同時(shí)有幾個(gè)人訪問(wèn)就能把帶寬占滿,并不需要攻擊就可以造成網(wǎng)站訪問(wèn)卡頓。最好檢查優(yōu)化下網(wǎng)站的結(jié)構(gòu),資源圖片可以盡可能壓縮減少,或者直接升級(jí)帶寬,非常感謝您長(zhǎng)期對(duì)我司的支持!