關(guān)于robots.txt寫法大全

關(guān)于robots.txt寫法大全，很少有人談起，其實用好robots是很容易為你網(wǎng)站提升權(quán)重的，這里啟邁網(wǎng)絡(luò)公司告訴大家5種對應(yīng)的寫法：

1、用robots保護(hù)網(wǎng)站安全
不少低級黑客就是通過搜索默認(rèn)后臺登陸，以達(dá)到＊＊網(wǎng)站的目標(biāo)，為了防止后臺被蜘蛛抓取，可以采用以下寫法，保護(hù)網(wǎng)站安全。
User-agent： * 《*代表所有》
Disallow： /admin/ 《禁止蜘蛛抓取admin目錄下所有文件》

2、防止盜鏈
一旦被搜索引擎“盜鏈”那家伙你100M寬帶也吃不消，如果你做的不是圖片網(wǎng)站，又不想被搜索引擎“盜鏈”你的網(wǎng)站圖片，那么可以寫
User-agent： *
Disallow： .jpg$

3、用robots屏蔽網(wǎng)站重復(fù)頁
很多網(wǎng)站一個內(nèi)容提供多種瀏覽版本，雖然很方便用戶卻對蜘蛛造成了困難，因為它分不清那個是主，那個是次
User-agent： *
Disallow： /sitemap/ 《禁止蜘蛛抓取 文本網(wǎng)頁》

4、提交網(wǎng)站地圖
現(xiàn)在做優(yōu)化的都知道做網(wǎng)站地圖了，可是卻沒幾個會提交的，絕大多數(shù)人是干脆在網(wǎng)頁上加個鏈接，其實robots是支持這個功能的
Sitemap： http://rlfp.cn/sitemap.xml

5、禁止某二級域名的抓取
一些網(wǎng)站會對VIP會員提供一些特殊服務(wù)，卻又不想這個服務(wù)被搜索引擎檢索到
User-agent： *
Disallow： /

以上五招robots寫法足以讓你對搜索引擎蜘蛛掌控能力提升不少，希望對大家有所幫助。啟邁網(wǎng)絡(luò)公司