User-agent: *
Disallow:
允许所有蜘蛛访问,允许访问所有内容。Wordpress 只要模板中链接设计合理,没有需要限制的特殊内容,推荐使用这种写法。
前几天安装网站看到了 sitemap 网站图。其实在开始之前,我觉得很复杂。我做完之后,发现一点也不复杂。只要多查资料,网上有很多 wordpress 专家愿意分享自己的方法。
今天发现网站的根目录里没有 robots.txt 文件。有些程序会提供 robots.txt 文件,我准备自己修改。但是这次我用的是阿里云服务器,所以我要设置 robots.txt 文件,基本的编写方法和规则,所以我去百度了一下,找了一些好的资料分享给大家。
用 WordPress 和 robots.txt 文件构建的博客是用来限制搜索引擎抓取某些目录和文件的。大致有以下几种方法。
User-agent: *
Disallow: /wp-*
#Allow: /wp-content/uploads/
Disallow: /*.php$
Disallow: /*.inc$
Disallow: /*.js$
Disallow: /*.css$
Disallow: /?s=
允许所有蜘蛛访问,限制以” wp-“开头的目录和文件,限制。php 文件,。inc 文件,。js 文件和。css 文件,并限制搜索结果的抓取。
Disallow: /wp-*将限制对附件目录的搜索。如果您希望搜索引擎抓取附件,请删除第三行中的#注释。并非所有搜索引擎都支持 Allow。
这是抄的别人的 wordpress 博客 robots.txt 的内容。
User-agent: *
Disallow: /wp-admin
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-includes
Disallow: /?s=
Sitemap: https://www.huizhanii.com/sitemap.xml
允许所有搜索引擎抓取,逐一列出需要限制的目录,限制搜索结果的抓取。
包括 Sitemap.xml 地址(这一项在 viki 中有具体描述,但 Google 管理员工具会提示‘检测到无效的 Sitemap 引用’,其有效性仍有争议)。
robots.txt 的其他写法
为了避免搜索引擎中的重复页面,Wordpress 玩家创造了许多机器人写作风格。下面是一些常用的,供参考(永久链接适用于伪静态风格):
Disallow: /page/
#限制抓取 WordPress 分页
Disallow: /category/*/page/*
#限制抓取分类的分页
Disallow: /tag/
#限制抓取标签页面
Disallow: */trackback/
#限制抓取 Trackback 内容
Disallow: /category/*
#限制抓取所有分类列表
最后,推荐使用 Google 管理员工具,登录后访问“工具 -> 分析 robots.txt”,检查文件有效性。
转载请注明:汇站网 » 如何为 WordPress 博客 robots.txt 写教程
汇站网 WordPress教程 如何为WordPress博客robots.txt写教程 https://www.huizhanii.com/24739.html
站长资源下载中心-找源码上汇站
- 本站所有资源版权均属于原作者所有,这里所提供资源均只能用于参考学习用,请勿直接商用。若由于商用引起版权纠纷,一切责任均由使用者承担。
相关文章
- 如果WordPress搜索结果为空,自动跳转到网站首页 2024-02-01
- 浏览器缓存可以分为强缓存和协商缓存两种方式 2024-01-21
- 如何让WordPress支持上传WebP格式图片? 2024-01-20
- 利用WordPress设置API实现自定义设置页面。 2024-01-20
- WordPress api接口 版本历史 2024-01-20
- WordPress用户密码加密和验证的详细解释 2024-01-19
- WordPress禁用媒体附件页面教程 2024-01-19
- WordPress修改了文章的默认密码保护提示 2024-01-19
- WordPress配置(站群)多站点详细教程方法 2024-01-19
- WordPress如何用指定图片自动替换文章图片 2024-01-17