Qual é o arquivo robots.txt?

Quando você cria seu site, provavelmente vai querer que esteja no Google ou em outros motores de busca.Felizmente, eles têm seus próprios bots ou "rastreadores"Esse vasculhar a Internet para indexar sites. Esses bots podem ser controlados em como eles interagem com seu site por meio de um arquivo de texto. Esse seria o robots.txt Arquivo.Este arquivo contém regras que os bots visitando seu site são solicitados a seguir.Isso geralmente pode ser uma coisa boa, mas também pode ser uma coisa ruim para sua classificação, se configurada incorretamente.

Como é um arquivo robots.txt?

Aqui estão alguns exemplos diferentes do que este arquivo poderia parecer para você.

Permitir que todos os bots full acesso

Agente do usuário: * não permitir:

Bloquear todo o acesso para bots

Agente do usuário: * não permitir: /

Definir atraso de rastreamento para 10 segundos

User-Agent: * Rate Delay: 10

Ao definir um atraso de rastreamento de 10 segundos, você está limitando esses mecanismos de pesquisa para indexar seu site.Se você tiver um VPS com uma quantidade limitada de recursos e suas páginas não forem otimizadas para lidar com um pico súbito do tráfego da Web, você pode considerar atualizar seu servidor VPS para ter mais recursos e adicionar um atraso de rastreamento

Esses são apenas alguns modelos muito gerais para o arquivo robots.txt.Você pode usá-lo para bloquear o acesso a uma única pasta ou mesmo apenas um único arquivo, se quiser.Cada entrada dentro do arquivo robots.txt terá um campo de agente do usuário com algo ao lado dele.O asterisco indica um curinga, onde se aplica a todos.Se você quiser configurá-lo para um bot específico, você colocará isso neste campo.Quaisquer linhas depois disso se aplicarão a esse agente do usuário até que um novo seja especificado.Por exemplo, no arquivo abaixo, para o Google, ele bloquearia a pasta / TMP no site, mas para todos os outros bots, todas as pastas seriam permitidas (incluindo a pasta / TMP).

User-Agent: Googlebot não permitir: / tmp / user-agent: * não permitir:

Como você pode ver, você pode usar isso para evitar que os bots indexam arquivos privados ou mesmo diretórios desnecessários.Embora memorizando os bots que existem na internet, vários recursos estão disponíveis para descobrir isso.

Há muitas coisas que os robots.txt podem fazer para afetar os rastreadores do site, mas impedir o acesso é o mais comum.Outras opções incluem a opção de atraso de rastreamento.Você pode usar essa opção para fazer o atraso do Bot entre rastejar as páginas no site.

Se você tiver alguma dúvida ou gostaria de assistência, entre em contato conosco através de bate-papo ao vivo ou enviando um ticket com nossa equipe de suporte técnico.