O que são Robots.txt #descubra

2019 Descubra o que é Robot.txt

O robots.txt pode ser personalizado no Blogger, nesse tutorial você vai aprender os detalhes de como ele funciona e como personalizá-lo de maneira correta para otimizar para os buscadores.

Robots.txt

Basicamente é um arquivo de texto que contém algumas linhas de código simples. É salvo no site ou no servidor do blog, é utilizado para informar os rastreadores da web sobre como indexar e rastrear seu site para os resultados de pesquisa. Isso significa que você pode restringir qualquer página do seu blogger de rastreadores da web para que não possa ser indexada em mecanismos de pesquisa, como sua página de contato por exemplo.

Por padrão já vem configurado como esse modelo:

User-agent: Mediapartners-Google Disallow: User-agent: * Disallow: /search Allow: / Sitemap: https://exemplo.blogspot.com/sitemap.xml

E o que a gente vai fazer são pequenas alterações, mas antes vou explicar o significado de cada parte.

User-agent: Mediapartners-Google
Este código é para o robô do Google Adsense, ele ajuda e melhora os anúncios em seu blog. Se você usa ou não o Google Adsense é melhor deixá-lo como está.
User-agent: *
Esse é para permitir todos os robôs, por isso marcado com asterisco (*). Por causa dele tudo em nosso blogger é rastreado e indexado, por conta disso usamos o próximo código.

Disallow: /search
Isso significa que os links que têm search por palavra-chave logo após o nome de domínio serão ignorados. Veja abaixo um exemplo: https://www.meublogger.eu.org/search/label/Códigos.
Se removemos Disallow: /search do código padrão, os rastreadores acessarão nosso blog inteiro, indexando assim todo o conteúdo e páginas. Isso não é bom, já que pode parecer conteúdo duplicado, além de ser um link ruim para SEO.

Você pode usar o Disallow para não indexar um post em particular ou página, basta acrescentar Disallow: /2017/08/post-url.html (Sempre coloque o link começando da data) ou Disallow: /p/page-url.html para páginas.
Allow: /
Refere-se a a home, ele autoriza a indexação da página inicial do nosso blogger.

Sitemap: https://exemplo.blogspot.com/sitemap.xml
Este código refere-se ao mapa do site do nosso blog. Ao adicionar o link do sitemap, estamos simplesmente otimizando a taxa de rastreamento de nossas postagens. Sempre que os rastreadores leem o nosso arquivo robots.txt, encontrarão um caminho para o nosso sitemap onde todos os links de nossas postagens estão, facilitando o rastreamento de nossas postagens. Portanto, há melhores chances de que os rastreadores da web rastreiem todas as postagens sem ignorar nenhuma.

Agora que você entendeu como funciona eu vou deixar o meu atual aqui, copie e coloque no seu blogger, basta trocar o domínio.

#Liberado para todos os robôs User-agent: * # Bloqueia Disallow: /search Disallow: /*_archive.html$ Disallow: /feeds/* # Google AdSense User-agent: Mediapartners-Google Disallow: # Indexar página inicial Allow: / # Sitemap xml para até 1000 entradas de postagens Sitemap: https://www.bloggermadru.ga/sitemap.xml # Indexar páginas (Eu quero) Sitemap: https://www.bloggermadru.ga/sitemap-pages.xml # Caso um dia você passe de 1000 postagens, basta tirar "#" da frente de Sitemap #Sitemap: https://www.bloggermadru.ga/atom.xml?redirect=false&start-index=1001&max-results=1500

Para adicionar no Blogger é só ir em Configurações > Preferências de pesquisa. No final da página vai ter a opção de colocar o robots.txt personalizado.

Outra dica bacana é saber se o post do blogger foi indexado #ok
Outra dica bacana e colocar meta tags indicando para não indexar algumas partes do seu Blog.

Procure por no html do seu blog e coloque depois dela as seguintes meta tags:



Caso passe de 1500 postagens você pode ir atualizando de 500 em 500, desta forma:https://www.meublogger.eu.org/atom.xml?redirect=false&start-index=1501&max-results=2000

Conclusão

Este foi o tutorial completo de hoje sobre como adicionar o arquivo robots.txt personalizado no blogger. Eu tentei tornar este tutorial o mais simples e informativo possível. Mas ainda se você tiver alguma dúvida ou  

pergunta, sinta-se à vontade para me perguntar nos comentários abaixo.

Certifique-se de não colocar qualquer código nas configurações personalizadas do robots.txt sem saber.

Fonte:
meublogger./robotstxt 

 

Veja também: 

Postagem em destaque

Bom dia de paz #gif

Permita-se sorrir  Use a  Pesquisa Google  e descubra muito mais mensagens para  Bom dia #gif , para isto basta usar a ferramen...

Postagens mais visitadas