在网站/目录级别，也可以使用robots.txt来控制搜索引擎抓取，这也是不支持.htaccess文件的Windows 平台服务器下的的必须选择。不过，与采用.htaccess文件的方式，控制权完全掌握在网站建设者手中相比，robots.txt能否完全控制搜索引擎的Spider取决于搜索引擎是不是严格遵循robots.txt文件的要求，如Baidu的Spider就曾多次被质疑。

      在网页级别，在html文件中使用meta标签，“noindex”标签将告诉搜索引擎的Spider该页面拒绝收录，“nofollow”标签则告诉搜索引擎的Spider该网页内的所有链接拒绝爬行。同样地，这些标签Googlebot能够很好地辨识并遵循，但有些搜索引擎则未必。

在链接级别，可以为某个单独的链接使用“nofollow”标签。

      如果要保护的内容已经被Google收录，可以使用google的网址删除系统。一般说来，这是最后的手段，要慎重地使用，在Google索引中被删除的内容在180天内不会被重新收录。具体可参考Google的帮助。

      当然，要完全杜绝私密内容被搜索引擎、被别人看到，最有效的还是不要将其放在面向公众访问的Internet服务器上。