Lorsque vous réalisez une recherche sur Internet, les serveurs sont programmés pour enregistrer votre passage, notamment toutes les demandes que vous avez faites. Ces dernières sont enregistrées dans un fichier log. Ainsi, grâce aux fichiers logs, il est possible de reconstituer toutes les pages fournies à un client et à Googlebot. Mais le problème c’est que ces fichiers sont difficiles d’accès et leur analyse est fastidieuse. Heureusement avec Google Analytics il est possible de décortiquer plus facilement ces fichiers logs, afin de suivre l’activité de Googlebot.

TOUT SAVOIR SUR LES FICHIERS LOGS

Comment sont formés les fichiers logs

Chaque fois que vous effectuez une action sur le Net, vous faites une demande de fichier au serveur. Automatiquement, votre demande est enregistrée dans un fichier log grâce à une ligne de texte qui s’ajoute à ce dernier. De la même manière lorsqu’un robot du moteur de recherche explore les pages et les contenus d’un site, il demande un fichier au serveur web, demande qui est également répertoriée dans un fichier log suivant le même processus.
Ce texte qui s’ajoute au fichier log contient certaines informations à savoir :

• - la date et l’heure de la demande (c’est-à-dire de l’activité),
• - le fichier demandé (l’URL du contenu),
• - l’adresse IP (l’identifiant) de la demande,
• - l’agent utilisateur du navigateur utilisé pour effectuer la demande.  

Le fichier log en lui-même est créé quotidiennement et donc comporte toutes les actions de la journée. Chaque nouveau fichier étant nommé différemment.

À quoi servent-ils ?

Dès lors qu’on possède les informations liées au visiteur ou au demandeur de fichier (adresse IP et agent utilisateur), il est possible de reconstituer l’activité de ce dernier. Il sera donc possible pour un site d’analyser son activité et d’obtenir des statistiques. Les fichiers logs permettent également de suivre l’activité des robots de recherche au travers de l’URL. Il faut noter que ces données ne sont disponibles nulle part ailleurs. Pour finir, analyser les fichiers logs est essentiel pour bloquer les crawlers insignifiants qui bourrent l’activité du serveur. Les fichiers logs sont donc la base de l’optimisation du GoogleBot et aussi des sites web. Cependant, leur analyse est un vrai parcours du combattant.

Pour quelles raisons les fichiers logs sont-ils difficiles à analyser ?

Premièrement parce qu’ils sont volumineux. Un fichier log est un récapitulatif journalier de chaque petite commande envoyée au serveur. Ensemble, ils forment des gigaoctets de données, difficiles à télécharger.
Ensuite, pour effectuer l’analyse, il faudra que l’accès FTP soit compatible avec les configurations du serveur. Ce qui met le système à nu. De plus, les formats ne sont pas les mêmes d’un serveur à un autre. Ce qui peut les rendre inutilisables. D’ailleurs, vous pouvez vous retrouver face à des services de mise en cache tiers, qui eux ne produisent pas de fichiers logs.
Pour finir, il y a le risque que l’agent utilisateur ou user agent ait été parodié ou spoofé. C’est pour cette raison que le service Google Analytics est une alternative de choix pour analyser les fichiers logs.

COMMENT ÇA FONCTIONNE ?

Un petit Hack de Google Analytics et les données des fichiers logs seront disponibles dans un compte Google Analytics facile à accéder. Ce Hack fonctionne en supprimant le besoin de traitement des fichiers logs. Pour cette raison, il faut pouvoir créer un script personnalisé sur le serveur web. Ceci permet de suivre chaque requête. Si vous n’avez pas mes compétences nécessaires, vous pouvez toujours faire appel à un professionnel. Il est préférable de créer un compte Google Analytics spécial pour le stockage des données des fichiers logs. Il ne doit pas s’agir de votre compte principal.
Alors, si vous désirez faire l’analyse du crawl de votre moteur de recherche en évitant la lourde corvée qu’est l’analyse des fichiers logs, Google Analytics est la solution qu’il vous faut.

Crédit photo : Licence accordée