Robots.txt

Robots.txt é um arquivo de texto comum e muito fácil de criar. Ao definir algumas regras neste arquivo de texto, você pode instruir os robôs do google e outros motores de busca a não indexar algumas partes do seu site ou até mesmo excluir o site inteiro.

Por exemplo, você pode usar o robots.txt para inpedir que o Google apresente em suas listagens a página de membros.

O arquivo robots.txt funciona desta forma: Um robô do yahoo quer vistar a URL do site, digamos www.criarsite.net.br/autores.html. Antes de fazer isso, ele verificará primeiro o arquivo www.criarsite.net.br/robots.txt. Caso esta url esteja bloqueada no robots.txt, o bot do yahoo não irá indexar esta página. Agora que já sabe o que é , vamos aprender como criar um robots.txt

Criar robots.txt

Criar um robots.txt é muito fácil e pode ser feito em qualquer editor de texto simples. Abra o bloco de notas do windows e crie um arquivo chamado exatamente "robots.txt". Depois de fazer este arquivo, você vai colocar os seguintes códigos dentro dele para impedir que o Google indexe o diretório cgi-bin:

 User-agent: *
Disallow: /
User-agent: Googlebot
Disallow: /cgi-bin/
Allow: /

Onde colocar o arquivo robots.txt

Depois de criar, você terá de colocar o robots.txt na raiz do seu site. Geralmente é o mesmo lugar onde você coloca o arquivo index.html. No caso deste site seria: www.criarsite.net.br/robots.txt. Se puser em outro diretório não irá funcionar.