在做SEO時(shí)，很多時(shí)候想對(duì)頁面進(jìn)行精確控制，robots.txt并不能完全滿足我們的需求，這時(shí)候我們可以利用html的元標(biāo)記來了。
指令整合：
index/noindex 是搜允許抓取本頁面
follow/nofollow 是否允許從本頁抓取索引別的鏈接
archive/noarchive 是否允許建立快照
禁止搜索引擎建立快照
快照不被百度緩存（禁止百度快照）：
<meta name="Baiduspider"content="noarchive">
所有搜索引擎，抓取這個(gè)頁面、爬行鏈接、禁止快照：
<meta name="robots"content="index,follow,noarchive">
所有搜索引擎，禁止快照
<meta name="robots"content="noarchive">
以上的一段代碼限制了所有的搜索引擎建立你的網(wǎng)頁快照，需要注意的是，這樣的標(biāo)記僅僅是禁止搜索引擎為你的網(wǎng)站建立快照，如果你要禁止搜索引擎索引你的這個(gè)頁面的話，請(qǐng)參照后面的辦法。
禁止搜索引擎抓取本頁面
為了讓搜索引擎禁止抓取本頁面，我們一般的做法是在頁面的元標(biāo)記中加入如下的代碼：
<meta name="robots" content="noindex,follow">
在這里，meta name=”robots”是泛指所有的搜索引擎的，在這里我們也可以特指某個(gè)搜索引擎。
例如meta name=”Googlebot”、meta name=”Baiduspide”等。
content部分有四個(gè)命令：index、noindex、follow、nofollow，命令間以英文的 “,”分隔。
index命令：告訴搜索引擎抓取這個(gè)頁面
follow命令：告訴搜索引擎可以從這個(gè)頁面上找到鏈接，然后繼續(xù)訪問抓取下去。
noindex命令：告訴搜索引擎不允許抓取這個(gè)頁面
nofollow命令：告訴搜索引擎不允許從此頁找到鏈接、拒絕其繼續(xù)訪問。
根據(jù)以上的命令，我們就有了一下的四種組合
<meta name="robots" content="index,follow">：可以抓取本頁，而且可以順著本頁繼續(xù)索引別的鏈接 <meta name="robots" content="index,follow">：不許抓取本頁，但是可以順著本頁抓取索引別的鏈接 <meta name="robots" content="noindex,nofollow">：可以抓取本頁，但是不許順著本頁抓取索引別的鏈接 <meta name="robots" content="noindex,nofollow">：不許抓取本頁，也不許順著本頁抓取索引別的鏈接
這里需要注意的是，不可把兩個(gè)對(duì)立的反義詞寫到一起，例如
<meta name="robots" content="index,noindex">
或者直接同時(shí)寫上兩句
<meta name="robots" content="index,follow"><meta name="robots" content="noindex,follow">
這里有一個(gè)簡便的寫法，如果是
<meta name="robots" content="index,follow">
的形式的話，可以寫成：
<meta name="robots" content="ALL">
如果是
<meta name="robots" content="noindex,nofollow">
的形式的話，可以寫成：
<meta name="robots" content="none">
當(dāng)然，我們也可以把禁止建立快照和對(duì)于搜索引擎的命令寫到一個(gè)命令元標(biāo)記中。從上面的文章中我們得知，禁止建立網(wǎng)頁快照的命令是noarchive，那么我們就可以寫成如下的形式：
<meta name="robots" content="index,follow,noarchive">
如果是對(duì)于單獨(dú)的某個(gè)搜索引擎不允許建立快照，例如百度，我們就可以寫成：
<meta name="robots" content="index,follow,noarchive">
如果在元標(biāo)記中不寫關(guān)于蜘蛛的命令，那么默認(rèn)的命令即為如下
<meta name="robots" content="index,follow, archive">
如果我們對(duì)于這一部分把握不準(zhǔn)的話，可以直接寫上上面的這一行命令，或者是直接留空。
因此，在SEO中，了解robots和html的元標(biāo)記的用法，對(duì)于控制搜索引擎蜘蛛的抓取非常重要的。
