Le trafic bot est un trafic non humain vers un site Web. Bien qu’une partie du trafic bot soit bénéfique, le trafic bot abusif peut causer des perturbations.
Cet article s'articule autour des points suivants :
Contenu associé
Qu’est-ce qu’un bot ?
Qu'est-ce que la gestion des bots ?
Qu’est-ce que l’infiltration de comptes ?
Qu'est-ce que le scraping de contenu ?
Extraction de données
Abonnez-vous à theNET, le récapitulatif mensuel par Cloudflare des informations les plus populaires sur Internet !
Copier le lien de l'article
Le trafic bot décrit tout trafic non humain vers un site web ou une application. Le terme de trafic bot a souvent une connotation négative, cependant le trafic lié aux bots n’est pas nécessairement bon ou mauvais ; tout dépend de l’objectif des bots et des préférences de l’opérateur du site Web.
Certains bots sont essentiels pour des services utiles tels que les moteurs de recherche et les assistants numériques (par exemple Siri, Alexa). La plupart des entreprises accueillent ces types de robots sur leurs sites.
D'autres bots peuvent être malveillants, par exemple les bots utilisés pour le credential stuffing, le scraping de données et le lancement d'attaques DDoS. Même les « mauvais » bots les plus bénins, comme des robots d'indexation non autorisés, peuvent constituer une nuisance, parce qu’ils peuvent perturber les analytiques de site et générer une fraude au clic.
D'après une estimation, plus de 40 % de tout le trafic Internet est composé de trafic de bots, et une partie importante de ce trafic est constituée de bots malveillants. Cela explique pourquoi tant d'organisations cherchent des moyens de gérer le trafic de bots qui agissent sur leurs sites.
Les ingénieurs web peuvent examiner directement les requêtes réseau vers leurs sites et identifier le trafic probable de bots. Un outil d'analytique web intégré, tel que Google Analytics ou Heap, peut également aider à détecter le trafic de bots.
Les anomalies suivantes révélés par les analytiques sont caractéristiques du trafic de bots :
Comme mentionné précédemment, le trafic bot non autorisé peut influencer les métriques d'analytique telles que le nombre de consultations, le taux de rebond, la durée de session, la géolocalisation des utilisateurs et les conversions. Ces écarts dans les métriques peuvent créer une importante frustration chez le propriétaire du site . il est extrêmement difficile de mesurer la performance d’un site « inondé » par l'activité de bots. Les tentatives d’amélioration du site, telles que les tests A/B et l’optimisation du taux de conversion, sont également paralysées par le bruit statistique créé par les bots.
Google Analytics offre l’option « d’exclure tous les recherches issues des bots et araignées connus » ( les araignées sont des bots de moteurs de recherche qui parcourent les pages Web). Si la source de trafic bot peut être identifiée, les utilisateurs peuvent également fournir une liste d’adresses IP spécifiques qui seront ignorées par Google Analytics.
Bien que ces mesures soient efficaces pour empêcher certains bots de perturber les analyses, elles ne les arrêteront pas tous. De plus, la plupart des bots malveillants poursuivent un autre objectif que la perturbation des analyses de trafic et ces mesures ne font rien pour atténuer l’activité nuisible des bots au-delà de la préservation des données d’analyse.
L’envoi massif de trafic de bots est une méthode fréquemment utilisée par les attaquants pour lancer une attaque DDoS. Lors de certains types d’attaques DDoS, une telle quantité de trafic d'attaque est dirigée vers un site web que le serveur d'origine est surchargé et que le site est ralenti voire totalement indisponible pour les utilisateurs légitimes.
Certains sites web peuvent être financièrement paralysés par le trafic de bots malveillants, même si leurs performances ne sont pas affectées. Les sites qui dépendent de la publicité et les sites qui vendent des marchandises avec un stock limité sont particulièrement vulnérables.
Pour les sites qui diffusent des publicités, les bots qui arrivent sur le site et cliquent sur divers éléments de la page peuvent déclencher de faux clics d’annonce : c’est ce que l’on appelle la fraude au clic. Cela peut provoquer initialement une augmentation des revenus d’annonces, mais les réseaux de publicité en ligne savent parfaitement détecter les clics de bots. S’ils suspectent qu’un site Web commet une fraude au clic, ils prendront des mesures, généralement en bannissant ce site et ses propriétaire de leur réseau. Ainsi, les propriétaires de sites hébergeant des annonces sont très prudents à l’égard de la fraude au clic par les bots.
Les sites ne disposant que de stocks limités peuvent être visés par les bots d'accaparement de stock. Comme leur nom l'indique, ces bots s'attaquent aux sites d'e-commerce et placent des quantités de biens dans leur panier d'achat, afin de rendre ces articles indisponibles aux acheteurs légitimes. Dans certains cas, ces actions peuvent également déclencher un réassort non nécessaire auprès du fournisseur ou du fabricant. Les bots d'accaparement de stock ne finalisent jamais les achats, ils sont simplement conçus pour perturber la disponibilité du stock.
De nombreux sites web ont misé sur la production de contenu original pour attirer le trafic des utilisateurs et générer des revenus à partir de ce trafic, parfois grâce à des publicités. La montée en flèche de l'utilisation des outils d'IA dans les années 2020 a eu une incidence négative sur ces modèles d'activité. Les outils d'IA utilisent des contenus originaux du web pour entraîner leurs grands modèles de langage (LLM) sous-jacents, créer des index de recherche à utiliser avec ces modèles, et récupérer du contenu en temps réel en réponse aux Invites. Il est possible que les utilisateurs qui reçoivent des réponses des LLM ne visitent jamais les sites web sur le contenu desquels la réponse est basée. Les bots d'indexation IA qui extraient du contenu original peuvent également imposer des coûts directs aux exploitants de sites Web, car ils peuvent envoyer de nombreuses requêtes pour des pages web.
La première étape pour arrêter ou gérer le trafic bot vers un site Web consiste, pour un administrateur de site Web, à indiquer ses préférences dans un fichier robots.txt. Les fichiers Robots.txt fournissent des instructions pour les bots qui explorent la page, et ils peuvent être configurés pour indiquer aux bots qu’ils ne doivent ni consulter ni interagir avec certaines pages Web. Il est cependant à noter que seuls certains bots respectent les règles des fichiers robots.txt ; ces fichiers n’empêchent pas réellement les bots d’explorer les sites Web. Cloudflare propose un service sophistiqué de gestion de robots.txt pour aider les administrateurs de sites web à exprimer leurs préférences aux opérateurs de robots d'exploration.
Pour contrôler le trafic des bots d’indexation IA, les opérateurs de sites web gagneraient à utiliser un service tel que AI Audit de Cloudflare. Ce service permet aux opérateurs de sites web d’autoriser ou de bloquer les robots d’indexation IA (le blocage signifie que les robots d’indexation IA ne peuvent pas accéder au contenu pour quelque motif que ce soit). La fonctionnalité Paiement à l’exploration d’AI Audit permet également aux opérateurs de sites web de facturer les opérateurs de bots IA pour l’exploration, s’ils le souhaitent.
Un certain nombre d’autres outils peuvent également contribuer à l'atténuation du trafic bot lié aux bots abusifs. Une solution de contrôle du volume des requêtes, comme le produit WAF de Cloudflare, peut détecter et empêcher le trafic lié aux bots abusifs à volume élevé provenant d'une seule adresse IP.
Les ingénieurs réseau peuvent également examiner le trafic, en identifiant manuellement les requêtes réseau suspectes provenant d'une plage d'adresses IP et toutes les requêtes de ces adresses IP. Il s’agit toutefois d’un processus très fastidieux, et il est peu probable qu’il arrête la majorité du trafic bot malveillant auquel un site web peut être confronté.
En dehors du contrôle du volume de requêtes et de l'intervention directe d'un technicien, le moyen le plus efficace et le plus facile pour arrêter le trafic lié aux bots nuisibles consiste à utiliser une solution de gestion des bots. Ce type de solution peut tirer parti de notre système d'informations et met en œuvre l'analyse comportementale pour arrêter les bots malveillants avant qu'ils n'atteignent votre site web. La solution Cloudflare Bot Management, par exemple, s'appuie sur les informations issues des millions de propriétés Internet que nous protégeons et utilise à l'apprentissage automatique (Machine Learning) pour identifier et empêcher l'utilisation abusive des bots, le tout de manière proactive. Disponible dans les offres Pro et Business, le mode Super Bot Fight (Superlutte contre les bots) permet aux petites entreprises de bénéficier d'un degré de visibilité et de contrôle similaire sur leur trafic lié aux bots.
Le trafic lié aux bots désigne toute activité non humaine sur un site web ou une application. Il n’est pas intrinsèquement bon ou mauvais ; cela dépend de l’objectif du bot, certains étant essentiels pour des services comme les moteurs de recherche, tandis que d’autres sont malveillants.
Vous pouvez identifier le trafic lié aux bots en recherchant des anomalies dans les données d’analyse de votre site web. Voici quelques signes clés : un nombre anormalement élevé de pages vues ou de taux de rebond, des changements soudains dans la durée des sessions, un pic soudain de conversions indésirables ou une forte augmentation du trafic provenant d’une zone géographique inattendue.
Certains bots sont bénéfiques et même essentiels. Par exemple, les bots des moteurs de recherche (également appelés spiders ou robots d’indexation) sont nécessaires pour qu’un site web soit indexé et apparaisse dans les résultats de recherche. À l’inverse, les bots malveillants effectuent des actions nuisibles, telles que l’extraction de données, le bourrage d’identifiants (Credential Stuffing) et le lancement d’attaques DDoS.
Le trafic lié aux bots malveillants peut nuire à votre site web de plusieurs manières. Il peut fausser vos analyses, complexifiant la mesure des performances. En outre, les bots malveillants peuvent nuire aux performances de votre site web en surchargeant votre serveur. Pour les entreprises, les bots peuvent commettre des fraudes au clic sur les publicités ou accaparer les stocks des sites d’e-commerce, perturbant ainsi les ventes.
Un bon point de départ consiste à utiliser un fichier robots.txt pour donner des instructions aux bots. Cette méthode n’est cependant pas infaillible, car les bots malveillants l’ignoreront. D’autres outils sont plus efficaces, comme le contrôle du volume des requêtes pour bloquer le trafic à volume élevé et, encore plus efficace, une solution dédiée de gestion des bots qui utilise l’apprentissage automatique et l’analyse comportementale pour faire la distinction entre les bons et les mauvais bots.
Un fichier robots.txt est un ensemble d’instructions pour les bots qui visitent votre site web. Dans ce fichier, vous pouvez spécifier des règles, telles que les pages que les bots ne sont pas autorisés à explorer. Contrairement aux bons bots, de nombreux bots malveillants ne suivent pas ces règles.