Recentemente fui alertado de que o restreador do Google ( craw ) mudou de regras e agora esta analisando arquivos js e css , isso foi identificado em um cliente que nos relatou problemas oriundos da ferramenta Google Webmaster Tools que permite os usuários realizar uma analise em tempo real do rastreados do Google.
Vi em um artigo que relata que o Google fez a seguinte afirmação em uma apresentação ( traduzi a mesma ) :
“Não bloqueie CSS, Javascript e outros arquivos de recurso por padrão. Isso impede que o Google bot de ler adequadamente a página e entender que ela é otimizado para dispositivos móveis.”
Para as versões de Joomla recentes este problema foi parcialmente sanado pois foram liberados os diretório templates e images no robots.txt do Joomla , mas ainda há uma série de módulos e componentes que armazenam seus css e js nas pastas componentes e modules gerando problemas para o Google Bot e alertas no Google Webmaster Tools.
deixemos de conversa e vamos a pratica arrumar isso:
Para testar como esta seu site faça o seguinte:
- Acesse o Google Webmaster Tools em https://www.google.com/webmasters/tools
- Entre no seu domínio/site
- Acesse a opção do menu chamada “Rastreamento“
- Acesse o menu “Buscar como o Google“
- mantenha o domínio sem nenhum subdiretório e mantenha computador clique em “Buscar e renderizar”
- Será executado o processo igual ao do robô do google em seu site e emitira um log de execução conforma abaixo , que caso esteja como parcial é que não teve sucesso a todos os arquivos necessários
- Clique sobre esta linha acima
- Será apresentado abaixo da renderização diversos links que o Google bot não conseguiu acessar devido ao bloqueio do robots.txt .
- No meu caso por exemplo apareceu o seguinte link:
http://www.ambientelivre.com.br/media/system/js/caption.js - Eu poderia liberar o diretório media todo ou tratar somente o /media/system/js/ que é o recomendável
- Para isso acesse seu arquivo robots.txt e edite o mesmo adicionando ao final da linha a seguinte instrução:
Allow: /media/system/js/ - faça isso para todos os itens , caso queira desbloquear todo o template apenas comente a linha :
#Disallow: /templates/ - pronto faça o teste novamente no Google Webmaster Tools até sanar todos os erros.
Obs. Pode ter alguns links que não consignará tratar , no meu caso tinha um plugin do Twitter que apontava para fora e não há o que fazer neste caso.
Referências:
http://joomlaseo.com/blog/robots-txt-do-not-block-css-and-javascript
