使用robots.txt优化搜索结果

最后更新于:2020 九月 21日 , 星期一 , 00:02 凌晨

使用Google搜索本站标签,出来的结果:

image.png
过于杂乱,其实我想让搜索引擎只抓取https://liuyifei.club/tags/而不包含/tags下面的一大堆子文件夹网页

方法

只需一个通配符*
robots.txt加入
Disallow: /tags/*/

建议使用robots.txt 测试工具实时检测是否达到需要的效果效果
image.png

另外,如果想单独保留某个标签的搜索结果,可以添加 Allow: /tags/某标签名/

保存提交之后,再去Google Search Console的索引-覆盖率查看效果。


参考资料:


本站所有文章除特别声明外,均采用 CC BY-SA-NC 4.0 协议 。转载请注明原作者及出处!

 目录

既见君子 云胡不喜