A partir du 1er septembre 2019, Google va arrêter de prendre en compte le noindex, le nofollow et le crawl-delay dans les fichiers robots.txt.

Google rappelle cependant que d’autres moyens permettent aux webmasters de déclarer une page ou un répertoire en noindex, pour refuser l’indexation.

Pour en savoir plus : blogdumoderateur.com/google-fin-noindex-robotstxt/