Basic認証などで閲覧制限をする以外でも、いろいろな方法がある。
HTMLにmetaタグを記述する方法
<meta name="robots" content="noindex,nofollow">.htaccessにボット拒否の設定を記述する方法
SetEnvIf User-Agent "Googlebot" ng_ua
SetEnvIf User-Agent "bingbot" ng_ua
order Allow,Deny
Allow from all
Deny from env=ng_ua.htaccessにX-Robots-Tag HTTPヘッダーの情報を追記する方法
# sitemap.xmlファイルにX-Robots-Tag HTTPヘッダーを追記
<Files sitemap.xml>
Header set X-Robots-Tag "noindex,nofollow"
</Files>robots.txtに記述する方法（すべてのページを拒否）
User-Agent: *
Disallow : /