Comment Utiliser le Fichier robots.txt sous WordPress ?
Le fichier texte robot, mieux connu sous le nom de robots.txt, est un standard du web qui permet d’éviter aux moteurs de recherche, comme Google et autres, d’accéder à certaines parties de votre site. Pourquoi voudriez-vous que Google bloque certaines parties de votre site? Une raison importante est d’empêcher Google d’indexer des pages de votre site qui sont des copies de pages d’autres sites, tels que les pages WordPress par défaut. Google pénalise fortement la duplication de contenu.