

Você está se perguntando como editar o arquivo robots.txt no WordPress de forma eficaz? Este pequeno, mas poderoso arquivo funciona como um mapa para de busca , guiando-os sobre quais partes do seu site eles devem ou não explorar. Ao controlar este arquivo, você ajuda os mecanismos de busca a se concentrarem nas suas páginas mais importantes, aumentando a velocidade do seu site e melhorando seu posicionamento nos resultados de busca.
Embora o WordPress gere automaticamente um arquivo robots.txt para o seu site, ele pode não atender a todas as suas necessidades específicas. Às vezes, você precisará ajustá-lo para garantir que os mecanismos de busca vejam apenas o que você deseja.
Se a ideia de editar o arquivo robots.txt parece intimidante, não se preocupe — você está no lugar certo! Neste guia, vamos explicar o que um arquivo robots.txt faz, por que ele é importante e as maneiras mais fáceis de editá-lo no seu site WordPress. Vamos começar.
Entendendo o arquivo robots.txt no WordPress
Vamos falar sobre o arquivo robots.txt no WordPress— é mais simples do que parece! Este arquivo de texto simples fica no diretório raiz do seu site e fornece aos robôs da web, ou bots, um conjunto de instruções. Basicamente, ele diz a eles quais partes do seu site eles devem ou não explorar e indexar.
Pense nisso como fornecer aos mecanismos de busca um conjunto de diretrizes. Por exemplo, os rastreadores do Google (chamados Googlebot) verificam frequentemente os sites para atualizar seu índice de pesquisa. Quando visitam seu site, eles consultam o arquivo robots.txt para obter instruções sobre o que fazer.
O principal objetivo deste arquivo é ajudar você, como proprietário de um site, a controlar quais informações os mecanismos de busca podem acessar. Você pode usá-lo para impedir que bots rastreiem páginas ou diretórios específicos do seu site. Mas atenção: nem todos os bots seguem as regras. Embora bots confiáveis como o Google sigam as diretrizes, alguns bots maliciosos podem ignorá-las.
Explore: Lista de rastreadores - Explorando os melhores rastreadores da web para SEO
Por que você precisa editar o arquivo robots.txt no WordPress?
Por que você deveria se preocupar em editar o arquivo robots.txt do seu site WordPress? Acontece que existem vários bons motivos para isso. Vamos analisá-los:
Aumente a velocidade do seu site
Nem todas as páginas do seu site precisam ser rastreadas pelos robôs dos mecanismos de busca. Ao instruir esses robôs a ignorarem as páginas desnecessárias, você libera recursos e melhora a velocidade de carregamento do seu site. Sites mais rápidos não só deixam os visitantes mais satisfeitos, como também melhoram o posicionamento nos resultados de busca!
Otimizar o desempenho do servidor
Bots que não contribuem para o sucesso do seu site podem acabar consumindo recursos do servidor e poluindo seus registros com erros 404.Editar o arquivo robots.txt ajuda a bloquear esses bots indesejados, mantendo seu servidor funcionando de forma eficiente e garantindo um melhor desempenho.
Proteja informações confidenciais
Certas partes do seu site — como páginas administrativas, documentos privados ou conteúdo confidencial — não devem ser indexadas pelos mecanismos de busca. Usando o arquivo robots.txt, você pode instruir os bots a evitarem essas áreas, ajudando a proteger sua privacidade e segurança.
Saiba como corrigir o problema "Novo motivo que impede a indexação das suas páginas" no Search Console.
Guie os bots para o conteúdo certo
Deseja que os mecanismos de busca se concentrem em páginas ou posts específicos? O arquivo robots.txt permite direcionar os bots para o seu conteúdo. Isso ajuda a priorizar o que será indexado, aumentando suas chances de obter uma classificação mais alta nos resultados de busca.
Evite problemas com conteúdo duplicado
Conteúdo duplicado, como páginas de categorias ou tags, pode confundir os mecanismos de busca e prejudicar seu posicionamento nos resultados de pesquisa. Com um arquivo robots.txt bem otimizado, você pode impedir que os bots indexem essas páginas, mantendo o conteúdo do seu site limpo e amigável aos mecanismos de busca.
Veja também: Como corrigir tags de título duplicadas no WordPress para melhorar o SEO
Editar um arquivo robots.txt no WordPress: 3 métodos
Agora que você entende a função do arquivo Robots.txt no WordPress, vamos ver como editá-lo de três maneiras fáceis.
- Utilizando um cliente FTP
- Usando o cPanel
- Usando o plugin AIOSEO
Vamos explicar cada método passo a passo. Mas antes de começarmos, lembre-se de que, se você estiver usando o cliente FTP ou o cPanel, precisará criar manualmente um arquivo robots.txt primeiro. Vamos começar!
Editando o arquivo robots.txt usando um cliente FTP
Para editar o arquivo robots.txt no WordPress usando um cliente FTP, você precisará configurar o cliente FTP e conectá-lo ao seu site. Opções populares como FileZilla e Cyberduck funcionam muito bem, mas usaremos o FileZilla neste guia.
Passo 1: Conecte seu site WordPress ao FTP.
- Primeiro, instale o FileZilla no seu computador. Depois de instalado, abra o aplicativo e navegue até Arquivo > Gerenciador de Sites (ou pressione Ctrl+S para um atalho).
- Em seguida, clique em Novo Site e dê um nome a ele em “Meus Sites”.
- Agora, acesse a Geral e insira as credenciais do seu site. Essas credenciais geralmente podem ser encontradas no painel de controle do seu provedor de hospedagem.
- Após inserir as credenciais, clique em Conectar.
Pronto, agora você está dentro! Você verá o diretório de arquivos do seu site no cliente FTP. Vamos prosseguir com o upload do arquivo robots.txt.
Passo 2: Faça o upload do arquivo robots.txt para o WordPress
- Acesse o diretório raiz do seu site — geralmente chamado de public_html. É lá que o arquivo robots.txt deve estar armazenado.
- Se o seu arquivo robots.txt já estiver lá, você pode substituí-lo pelo novo. Caso contrário, basta enviar o arquivo que você criou anteriormente.
E pronto! Seu arquivo robots.txt está configurado corretamente. Para confirmar se tudo está funcionando, acesse seu navegador e adicione /robots.txt ao final do seu domínio. Por exemplo, example.com/robots.txt.
Aprenda: Como configurar uma conta FTP para o WordPress?
Editando o arquivo robots.txt usando o cPanel
O processo para usar o cPanel é bastante semelhante ao método do cliente FTP. Veja como fazer:
Passo 1: Faça login no cPanel
Comece por aceder ao cPanel do seu website. O seu fornecedor de alojamento já lhe deve ter fornecido os dados de acesso.
Depois de entrar, role para baixo até a Arquivos e clique em Gerenciador de Arquivos.
Passo 2: Carregar o arquivo Robots.txt
No Gerenciador de Arquivos, navegue até o public_html . Esta é a pasta raiz onde o seu arquivo robots.txt deve ser colocado.
Se já existir um arquivo robots.txt aqui, substitua-o pela nova versão. Caso contrário, faça o upload do arquivo que você acabou de criar.
Passo 3: Teste o arquivo robots.txt
Para garantir que o arquivo seja carregado corretamente, digite seu domínio seguido de /robots.txt no seu navegador (ex.: example.com/robots.txt).
E pronto! Seja por FTP ou cPanel, seu arquivo robots.txt agora está atualizado e pronto para orientar os mecanismos de busca sobre como interagir com seu site.
Descubra: As melhores plataformas de hospedagem alternativas ao cPanel para WordPress
Edite o arquivo robots.txt usando o AIOSEO
Uma das maneiras mais fáceis de editar seu arquivo robots.txt é usando o All in One SEO (AIOSEO) , que é um dos melhores plugins de SEO para WordPress disponíveis. Ele vem com um editor de robots.txt, tornando extremamente simples substituir o arquivo robots.txt padrão do WordPress e configurar suas próprias regras para como os mecanismos de busca rastreiam seu site.
Vamos aprender a editar seu arquivo robots.txt usando o AIOSEO!
Passo 1: Ative o arquivo robots.txt personalizado
Primeiro, acesse o All in One SEO no painel do WordPress e clique em Ferramentas. Em seguida, selecione a Editor de Robots.txt .
O AIOSEO irá gerar automaticamente um arquivo robots.txt dinâmico. Este arquivo é armazenado no seu banco de dados WordPress e pode ser visualizado no seu navegador (mostraremos como em breve).
Quando estiver no Editor de Robots.txt, a primeira coisa que você precisa fazer é ativar o Robots.txt personalizado. Basta clicar no botão para que ele fique azul e você desbloqueará a capacidade de personalizar seu arquivo.
Em seguida, você verá uma prévia das regras padrão na parte inferior da tela. Essas configurações padrão instruem os robôs a não rastrearem determinados arquivos principais do WordPress, como páginas administrativas. Você pode substituir essas regras pelas suas próprias!
Passo 2: Adicionando suas próprias regras
Agora, é hora de adicionar suas próprias regras personalizadas. Você tem duas opções para isso: pode usar o Construtor de Regras ou importar um arquivo robots.txt de outro site.
Método 1: Adicionar regras usando o Construtor de Regras
O Construtor de Regras permite que você crie facilmente suas próprias regras para determinar quais páginas devem ou não ser rastreadas. Por exemplo, se você quiser bloquear todos os robôs de um diretório temporário, é aqui que você faria isso.
Funciona assim:
- Agente do usuário: Digite o nome do robô (como "Googlebot") no Agente do usuário . Se quiser aplicar a regra a todos os robôs, basta usar o símbolo *.
- Diretiva: Escolha entre as diretivas disponíveis, como Permitir, Não permitir, Limpar parâmetrosou Atraso de rastreamento.
- Valor: Insira o caminho do diretório ou o nome do arquivo onde a regra deve ser aplicada.
Depois de configurar tudo, clique em Adicionar regra para criar outra regra, se necessário. Não se esqueça de clicar em Salvar alterações quando terminar.
Você verá suas novas regras aparecerem na de Pré-visualização do Robots.txt . Para visualizar o arquivo atualizado, basta clicar em Abrir Robots.txt. Isso o levará ao URL do seu arquivo robots.txt.
Método 2: Importar regras de outro site
Se você encontrou um arquivo robots.txt em outro site que gostaria de usar, pode importá-lo facilmente para o seu site usando o AIOSEO. Veja como:
- Acesse Ferramentas > Robots.txt > Ativar Robots.txt personalizado no menu AIOSEO.
- Clique na Importar .
- Cole o URL do site do qual deseja importar o arquivo robots.txt ou copie e cole o conteúdo diretamente no espaço fornecido.
- Clique em Importare o AIOSEO irá extrair o arquivo e adicioná-lo ao seu site.
Essa é provavelmente a maneira mais rápida de adicionar um arquivo robots.txt personalizado ao seu site!
Experimente o AIOSEO hoje mesmo!
Editando suas regras do robots.txt
Depois de definir suas regras, você pode editá-las novamente usando o Construtor de Regras. Você pode até excluir uma regra clicando no ícone da lixeira ao lado dela.
E aqui está um recurso interessante: você pode alterar a ordem das suas regras. Basta clicar e segurar os seis pontos ao lado da lixeira, arrastar a regra para uma nova posição e soltar. Isso ajuda você a priorizar as regras mais importantes!
Quando terminar de fazer as alterações, basta clicar em Salvar alterações para aplicar tudo.
E pronto! Você editou com sucesso o seu arquivo robots.txt usando o AIOSEO. Fácil, não é?
Leitura complementar: SEO otimizado no WordPress: um guia completo
Conclusão
Em resumo, editar o arquivo robots.txt no WordPress é uma maneira simples, porém poderosa, de gerenciar como os robôs dos mecanismos de busca interagem com seu site. Ao criar e personalizar esse arquivo, você pode impedir que os robôs rastreiem conteúdo sensível ou duplicado, garantindo que apenas as páginas mais relevantes sejam indexadas.
Além disso, você pode usar o arquivo robots.txt para direcionar os bots ao seu conteúdo preferido, ajudando a melhorar o SEO e a visibilidade do seu site. Revisar e atualizar esse arquivo regularmente é fundamental para manter o controle sobre o desempenho do seu site nos mecanismos de busca.
