一般说来，在网站建设中，总是希望搜索引擎的机器人能够尽可能地在网站内爬行，收录网站尽可能多的页面，要实现这一点，需要在网页设计与制作时尽可能照顾搜索引擎Spider，避免或减少使用图片、Flash、JavaScript等。但是，对大多数网站而言，往往也存在着部分私密性数据不想公诸于众，比如网站的后台程序部分，比如存放于Internet网站服务器上的企业内部信息页面等，对这部分不希望被搜索引擎收录的内容，应如何控制搜索引擎Spider对其的爬行与索引呢？

      Matt Cutts近日提供了一个控制Googlebot索引网页的说明，尽管他所言只是针对Google，但适用于大多数搜索引擎，简要归纳如下：

       在网站/目录级别，推荐使用 .htaccess文件来对网站的私密部分加以密码保护，这是最安全的作法，目前各搜索引擎的Spider对密码保护的内容都是无能为力的。同时，.htaccess也可将初级的入侵者拒之门外。不过，.htaccess文件只在Unix/Linux下起作用，国内流行的Windows 平台服务器则无法使用这一功能。