客服中心

幫助中心
備案專題
其他問題
資料文檔下載
支付問題
網站開發問題
數據庫問題
IDC托管問題
IDC租用問題
網站營銷問題
企業郵局問題
域名注冊問題
虛擬主機問題
云服務器問題

虛擬主機被搜索引擎爬蟲訪問耗費大量流量解決方法

問題場景:
客戶使用虛擬主機,網站被搜索引擎爬蟲訪問耗費大量流量和帶寬,如何處理。
解決方法:
可以通過在站點根目錄下創建 Robots.txt,Robots.txt 文件是網站的一個文件,搜索引擎蜘蛛抓取網站首先就是抓取這個文件,根據里面的內容來決定對網站文件訪問的范圍。它能夠保護我們的一些文件不暴露在搜索引擎之下,從而有效的控制蜘蛛的爬取路徑。
1. 首先,先了解一下目前搜索引擎和其對應的 User-Agent,如下:
搜索引擎         User-Agent
AltaVista        Scooter
baidu            Baiduspider
Infoseek         Infoseek
Hotbot           Slurp
AOL Search       Slurp
Excite           ArchitextSpider
Google           Googlebot
Goto             Slurp
Lycos            Lycos
MSN              Slurp
Netscape         Googlebot
NorthernLight    Gulliver
WebCrawler       ArchitextSpider
Iwon             Slurp
Fast             Fast
DirectHit        Grabber
Yahoo Web Pages  Googlebot
LooksmartWebPages Slurp 
 
2. Robots.tx t樣例代碼:
例1. 禁止所有搜索引擎訪問網站的任何部分
User-agent: 
Disallow: /
2. 允許所有的搜索引擎訪問網站的任何部分
User-agent: 
Disallow:
例3. 僅禁止Baiduspider訪問您的網站
User-agent: Baiduspider
Disallow: /
例4. 僅允許Baiduspider訪問您的網站
User-agent: Baiduspider
Disallow:
例5. 禁止spider訪問特定目錄
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /data/
注意事項:
·         三個目錄要分別寫。
·         請注意最后要帶斜杠。
·         帶斜杠與不帶斜杠的區別。
例6. 允許訪問特定目錄中的部分url
實現a目錄下只有b.htm允許訪問
User-agent: *
Allow: /a/b.htm
Disallow: /a/
 
產品購買
域名注冊
云服務器
云空間
虛擬主機
服務器租用
服務器托管
企業郵箱
短信驗證碼平臺
開發業務
品牌互動網站設計
電子商務網站
政府/門戶大型網站
程序開發
Android開發
Ios(iphone/ipad)開發
APP Store發布
小程序開發
服務與支持
注冊/登錄
支付方式
幫助中心
提交工單
常用文檔下載
產品價格總覽
域名注冊攻略
如何選擇虛擬主機
備案專區
渠道合作
人文精神
我們是誰
公司實力
發展歷程
人文觀點
案例中心
聯系我們
招聘信息
資訊中心
全站導航
掃描關注官方微信
手機人文
全國統一服務熱線:
028-8661 9097
海外用戶請撥打:+86-28-86619097

電話咨詢

請選擇對應客服進行溝通

  • 4000-666-272

    全國統一客服熱線

  • 028-6164-0828

    客服小組一

  • 028-8661-9097

    客服小組二

  • 028-6787-2288 轉2

    技術支持

電話咨詢

QQ咨詢

請選擇對應客服進行溝通

  • 800045268

    企業QQ

  • 1171881327

    客服小組一

  • 3085628

    客服小組二

QQ咨詢

微信咨詢

請選擇對應客服進行溝通

  • 微信小組1

  • 微信小組2

微信咨詢

提交工單

提交工單

公眾號

老船长免费试玩 快乐12开奖结果辽宁 网球王子ova 苹果手机试玩赚钱如何快速抢到任务 体彩云南十一选五玩法 江西多乐彩走势图重号走势图 北京快3路线 股票融资融券操作学 广西十一选五任三计划 河北快3线上投注平台 云南快乐十分奖金表 5000到350万炒股手记 贵州11选5开奖 双色球机选号码 kk棋牌随州麻将脾 辽宁十一选五电脑版走势图 组六倍投