Ce livre blanc met en avant la solution d'audit SEO de SEMrush.
"Tout d’abord, il ne sert à rien d’optimiser quoi que ce soit sur votre site web si les moteurs de recherche ne peuvent pas le voir. Pour qu’un site apparaisse sur un moteur de recherche comme Google, il doit être crawlé et indexé par lui. Et l’on constate que la crawlabilité et l’indexabilité d’un site sont les deux éléments les plus communément négligés qui peuvent nuire à vos efforts SEO s’ils ne sont pas traités.
Pour améliorer la navigation et la compréhension à la fois pour les utilisateurs et les bots de crawl, vous devez construire une architecture de site bien organisée. Un site bien fait pour le SEO équivaut ici à un site agréable pour l’utilisateur. Pour parvenir à ce résultat, vous devez rationaliser la structure de votre site, vous assurer que le contenu qui a de la valeur et qui convertit est bien disponible, et se situe à 4 clics au plus de la page d’accueil.
Les bots de recherche peuvent ne pas crawler votre site pour de multiples raisons. Robots.txt peut empêcher Google de crawler et d’indexer tout le site ou des pages spécifiques. Bien qu’avoir un robot.txt ne soit pas indispensable pour le bien-être d’un site, il peut aider à augmenter la vitesse de crawl et d’indexation. Mais faites attention aux erreurs ! Sinon, Google peut ignorer des pages importantes de votre site ou crawler et indexer des pages sans intérêt. Même si l’élaboration du fichier robots n’est pas difficile, les erreurs de format sont assez communes : ligne user agent vide, mauvaise syntaxe, directives qui ne correspondent pas, lister chaque fichier au lieu de bloquer l’indexation pour tout le répertoire ou lister des répertoires multiples sur une seule ligne.
Considérez robots.txt comme un guide pour votre site : en créant un simple fichier en format txt, vous pouvez conduire les bots vers les pages importantes en cachant celles qui ne présentent pas d’intérêt pour les utilisateurs, et donc pour les crawlers. Nous vous recommandons d’exclure du crawling les pages temporaires et les pages privées qui ne sont visibles que de certains utilisateurs ou des administrateurs, mais aussi les pages sans contenu de valeur. Cela dit, robots.txt ne représente jamais une directive stricte, mais plutôt une suggestion, et parfois les moteurs peuvent le négliger."
