Este 1 de septiembre, 2019 es la fecha límite donde Google ya no admitirá archivos robots.txt con la directiva NOINDEX.
Google esta en constante cambios a nivel de su Buscador y en la forma como comprende algunas directivas. Es por esto que en busca de mantener un ecosistema “ideal” y preparándose para futuros cambios en versiones Google esta retirando todo el código que permitía cierto tipo de reglas como la del NO INDEX.
Google envía este mensaje con la finalidad de que todos aquellos que confiaron en el NOINDEX a nivel de robot.txt utilizen ahora otras “alternativas”
Today we’re saying goodbye to undocumented and unsupported rules in robots.txt 👋
If you were relying on these rules, learn about your options in our blog post.https://t.co/Go39kmFPLT
— Google Webmasters (@googlewmc) July 2, 2019
¿Cuales alternativas al NOINDEX tenemos disponible?
Las alternativas dispuestas por google a partir del 1 de Septiembre 2019 serían:
- NOINDEX usando metaetiquetas, meta robots html, en el área del encabezado o HEADER. Esta directiva NOINDEX en el Header es la forma mas efectiva de eliminar las URL del ínidice cuando se permite el rastreo.
- Protección con contraseña: Al ocultar una pagina o un área de la página detrás de un Panel de login o inicio de sesión generalmente eliminará estas páginas del indice.
- HTTP 404 y 410: Estos tipos de “errores” que nos indican que una pagina no existe, serian una alternativa para destacar que deberán estas páginas ser eliminadas una vez el crawler determine luego de rastrear la página.
- Eliminar URL desde el Search Console: Search console pone en nuestras manos una herramienta dentro del Search Console para eliminar las URL de forma temporal. Para ingresar a esta área en el search console debes visualizarlo con la interfase vieja luego INDICE DE GOOGLE – ELIMINAR URLS
- Uso de DISALLOW en el robot.txt: Con la etiqueta Disallow podremos BLOQUEAR las URL que no queremos que se conozcan esto lo haríamos poniendo Disallow: /URLespecífica/ en el achivo robot.txt, este archivo lo puedes encontrar dentro de tu web o también si usas YOAST SEO podras editar este archivo robot desde: YOAST – HERRAMIENTAS – EDITOR DE ARCHIVOS
