meta标签（元标记）是一个很有用的标签，它位于文档的head中，储存着网页的某些信息，最常见的就是description、keywords了，他们分别告诉搜索引擎，页面的描述和关键词是什么。用法如下：
<meta name=”description” content=”描述” />
<meta name=”keywords” content=”关键词” />
也有其他的一些，比如：
<meta http-equiv=”content-type” content=”text/html; charset=gb2312″>
其作用是指定了当前文档所使用的字符编码为gb2312，也就是中文简体字符。根据这一行代码，浏览器就可以识别出这个网页应该用中文简体字符显示。类似地，如果 将 “gb2312”替换为“big5”，就是我们熟知的中文繁体字符了。
http-equiv用于向浏览器提供一些说明信息，从而可以根据这些说明做出相应。http-equiv其实并不仅仅只有说明网页的字符编码这一个作用，常用的http-equiv类型还包括：网页到期时间、默认的脚本语言、默认的风格页语言、网页自动刷新时间等。
meta标签中如何限制蜘蛛的爬行（抓取）？
1.禁止搜索引擎抓取本页面。
为了让搜索引擎禁止抓取本页面，我们一般的做法是在页面的元标记中加入如下的代码：
<meta name=”robots” content=”noindex,follow”>
在这里，meta name=”robots”是泛指所有的搜索引擎的，在这里我们也可以特指某个搜索引擎，例如meta name=”googlebot(谷歌蜘蛛)”、meta name=”baiduspider（百度蜘蛛）”等。content部分有四个命令：index、noindex、follow、nofollow，命令间以英文的“,”分隔。
index命令：告诉搜索引擎抓取这个页面
follow命令：告诉搜索引擎可以从这个页面上找到链接，然后继续访问抓取下去。
noindex命令：告诉搜索引擎不允许抓取这个页面
nofollow命令：告诉搜索引擎不允许从此页找到链接、拒绝其继续访问。
根据以上的命令，我们就有了一下的四种组合
<meta name=”robots” content=”index,follow”>：可以抓取本页，而且可以顺着本页继续索引别的链接
<meta name=”robots” content=”noindex,follow”>：不许抓取本页，但是可以顺着本页抓取索引别的链接
<meta name=”robots” content=”index,nofollow”>：可以抓取本页，但是不许顺着本页抓取索引别的链接
<meta name=”robots” content=”noindex,nofollow”>：不许抓取本页，也不许顺着本页抓取索引别的链接。
这里需要注意的是，不要把两个对立的反义词写到一起，例如
<meta name=”robots” content=”index,noindex”>
此外对于多命令，这里有一个简便的写法，
如果是 <meta name=”robots” content=”index,follow”>
的形式的话，可以写成：<meta name=”robots” content=”all”>
如果是 <meta name=”robots” content=”noindex,nofollow”>
的形式的话，可以写成：<meta name=”robots” content=”none”>
如果是对于单独的某个搜索引擎不允许建立快照，例如谷歌，我们就可以写成：
<meta name=”googlebot” content=”index,follow,noarchive”>
如果在元标记中不屑关于蜘蛛的命令，那么默认的命令即为如下
<meta name=”robots” content=”index,follow, archive”>
因此，如果我们对于这一部分把握不准的话，可以直接写上上面的这一行命令，或者是直接留空。
2.禁止搜索引擎建立快照。
<meta name=”robots” content=”noarchive”>
以上的一段代码限制了所有的搜索引擎建立你的网页快照。如果我们需要仅仅限制一个搜索引擎建立快照的话，就可以像如下这样去写
<meta name=”googlebot” content=”noarchive”>
这样的标记是禁止搜索引擎为你的网站建立快照。
seoer在搜索引擎优化中，基本网站php语言和蜘蛛原理是必须了解和掌握的。