Le web ne tourne plus pour nous : mon coup de gueule sur les 57 % de trafic robot

Quand on m’a montré le dernier relevé de Cloudflare, j’ai eu cette sensation désagréable que je connais bien après quinze ans à fouiller des journaux de serveurs : le sol qui se dérobe doucement. Le constat tient en un chiffre. Les programmes automatisés génèrent maintenant 57 % des requêtes adressées aux pages web. Autrement dit, pour chaque visiteur en chair et en os qui ouvre une de vos pages, il y a désormais plus d’un robot qui l’a déjà parcourue, copiée ou analysée. Ma réponse directe à la question que tout le monde me pose, à savoir si c’est grave : oui, mais pas pour les raisons qu’on croit. Le problème n’est pas que les machines lisent nos sites. C’est qu’on a passé vingt ans à construire un web pour des humains, et que ce public-là est devenu minoritaire sans qu’on s’en rende compte.

Je vais être franc, parce que c’est le genre de sujet où la prudence diplomatique ne sert personne. Pendant des années, on a balayé la question du trafic non humain d’un revers de main : du bruit, des aspirateurs de contenu, deux ou trois robots des moteurs, rien de sérieux. Cette époque est terminée. Et la profession, la mienne comprise, a un train de retard.

Ce basculement n’est pas une statistique, c’est un changement de nature

On a tort de lire ce chiffre comme une simple courbe qui monte. Passer la barre des 50 %, ce n’est pas “un peu plus de robots qu’avant”. C’est un renversement de majorité. Tant que le trafic automatisé restait minoritaire, on pouvait raisonner comme avant : le site est fait pour les gens, les machines sont un effet de bord qu’on tolère. À 57 %, cette logique s’effondre. La population dominante de votre site, celle qui consomme le plus de bande passante, qui sollicite le plus vos bases de données, qui dicte une partie de vos coûts d’hébergement, n’a pas d’yeux, pas de panier d’achat et pas de carte bancaire.

Ce qui m’agace, c’est qu’on continue de présenter cela comme une nuisance technique à filtrer. C’est réducteur. Tous ces programmes ne se valent pas. Il y a les explorateurs des moteurs de recherche classiques, ceux qu’on courtise depuis toujours. Il y a les robots de surveillance, de sécurité, de mesure, parfaitement légitimes. Et puis il y a la vague récente, celle qui change tout : les collecteurs qui nourrissent les modèles de langage et les assistants conversationnels. Ces derniers ne viennent pas pour vous envoyer du monde. Ils viennent se servir.

Voilà le point que je martèle auprès des gens avec qui je travaille. Un robot de moteur de recherche traditionnel passe un contrat tacite avec vous : je lis ta page, en échange je peux t’amener des visiteurs. C’est déséquilibré, c’est imparfait, mais c’est un échange. Une partie des nouveaux collecteurs ne propose aucun échange. Ils absorbent votre travail, le digèrent dans un modèle, et la réponse est servie ailleurs, sans citation, sans clic, sans rien. Le sol se dérobe précisément là.

La facture que personne ne veut regarder en face

Le coût de ce trafic est réel, mesurable, et on fait semblant de l’ignorer. Chaque requête, même automatisée, consomme quelque chose : du processeur, de la mémoire, de la bande passante, parfois une requête en base de données coûteuse. Quand une part majoritaire de votre charge serveur provient de programmes qui ne deviendront jamais clients, jamais lecteurs fidèles, jamais ambassadeurs, vous payez littéralement pour servir des machines qui ne vous rapportent rien en retour. Sur un gros site, la note grimpe vite. Sur une petite structure mal outillée, un emballement de robots peut faire vaciller un serveur entier.

J’ai vu des cas concrets, sur le terrain, où le ralentissement attribué à un “problème d’hébergement” était en réalité une horde de collecteurs mal élevés tapant sur des pages générées dynamiquement. Le diagnostic prend dix minutes quand on sait où regarder dans les journaux. Le déni, lui, peut durer des mois.

Mais la facture la plus sournoise n’est pas celle de l’hébergeur. C’est la facture stratégique. Si une part croissante de vos contenus est consommée par des assistants qui répondent directement à l’internaute, sans jamais le diriger vers vous, alors votre audience humaine se tarit en silence pendant que vos statistiques de “trafic” restent flatteuses. C’est un piège redoutable. Le compteur global gonfle, le moral suit, et pendant ce temps le public qui faisait vivre le site s’évapore. Je le dis sans détour : un tableau de bord qui mélange humains et robots dans une même courbe de visites est devenu un instrument trompeur. Tant qu’on ne sépare pas les deux populations, on pilote à l’aveugle.

Mon désaccord avec la réaction dominante du métier

La tentation du bunker est une erreur, et je la combats. Face à ce déferlement, le réflexe se divise en deux camps. D’un côté, les jusqu’au-boutistes qui veulent tout bloquer : verrouiller, interdire, ériger des murs contre tout ce qui n’est pas un navigateur humain. De l’autre, les résignés qui haussent les épaules et laissent faire au nom de la “visibilité”. Je ne me reconnais dans aucun des deux.

Bloquer aveuglément, c’est se tirer une balle dans le pied. Parmi ces robots, certains restent vitaux : ceux qui vous indexent, ceux qui mesurent votre disponibilité, ceux qui vérifient votre sécurité. Couper tout, c’est risquer de disparaître des résultats là où vous existiez encore. La sélectivité est tout. Il faut savoir précisément qui frappe à la porte, distinguer l’explorateur utile du parasite, et traiter chaque catégorie selon ce qu’elle apporte. Ce travail d’orfèvre, peu de gens le font sérieusement, parce qu’il est ingrat et qu’il n’a rien de spectaculaire.

Mais je refuse tout autant la résignation. Entendre que “de toute façon on n’y peut rien” me met hors de moi. On peut faire énormément. On peut décider de ce qu’on expose et de ce qu’on garde. On peut servir aux machines une version allégée et structurée de l’information, tout en réservant l’expérience riche aux humains. On peut surveiller, fixer des règles de cadence, et faire respecter sa porte. Ce qui me dérange profondément, c’est l’idée passive que le web serait une fatalité qui nous arrive dessus. Non. Le web, c’est nous qui le construisons, ligne de configuration après ligne de configuration.

Mon opinion tranchée, celle qui ne plaît pas à tout le monde dans les conférences : nous payons aujourd’hui des années de paresse collective sur l’infrastructure. On a tout misé sur le contenu et les mots-clés en négligeant la plomberie. Or c’est justement la plomberie, les journaux, les règles d’accès, la gestion fine des explorateurs, qui redevient le terrain décisif. Le métier doit se réconcilier avec sa part technique, celle qu’on avait reléguée comme un détail d’administrateur système.

Reprendre la main, concrètement et sans naïveté

La première décision n’est pas technique, elle est mentale : cesser de confondre activité et valeur. Tant qu’on assimile chaque requête à une victoire, on se ment. La bascule commence le jour où vous séparez nettement, dans vos analyses, ce qui relève de l’humain et ce qui relève de la machine. Deux populations, deux lectures, deux stratégies. Sans cette séparation, tout le reste reste cosmétique.

Ensuite vient l’inventaire, et c’est là que le terrain reprend ses droits. Ouvrez réellement vos journaux. Regardez qui passe, à quelle fréquence, sur quelles pages, en se présentant comment. Vous serez surpris. On découvre des collecteurs dont on ignorait l’existence, des emballements sur des pages sans intérêt, des signatures suspectes qui se font passer pour des navigateurs ordinaires. Ce diagnostic brut, fait à la main au moins une fois, vaut tous les rapports automatisés du monde. Il vous reconnecte avec la réalité de votre site.

Vient alors le tri. Définissez vos catégories : les bienvenus, les tolérés sous conditions, les indésirables. Pour les bienvenus, facilitez le travail en proposant une structure claire, des données lisibles, des informations balisées proprement. Pour les tolérés, posez des limites de fréquence, des règles de courtoisie, et faites-les respecter. Pour les indésirables, agissez avec discernement, en surveillant toujours l’effet de bord sur votre visibilité légitime.

Enfin, et c’est la partie que je préfère, repensez ce que vous donnez gratuitement. Tout ne se vaut pas. Une page d’actualité périssable n’a pas la même valeur qu’une analyse de fond patiemment construite. Réfléchir à ce qu’on expose librement et à ce qu’on protège, ce n’est pas de la mesquinerie, c’est de la stratégie élémentaire à l’ère où votre contenu nourrit des systèmes qui pourraient vous concurrencer. Je ne prône pas le repli, je prône la lucidité. On peut rester ouvert et généreux tout en cessant d’être naïf. Ces deux postures ne sont pas contradictoires, elles sont complémentaires, et c’est exactement l’équilibre que tout responsable de site devra apprendre à tenir dans les années qui viennent.

FAQ

Un trafic de robots à 57 %, est-ce que cela veut dire que mon site est attaqué ?

Pas nécessairement, et c’est important de ne pas céder à la panique. La majorité de ce trafic automatisé est parfaitement banale : explorateurs de moteurs, services de surveillance, outils de mesure. Une attaque a une signature différente, plus brutale, plus concentrée dans le temps. Le vrai sujet n’est pas l’agression mais la composition : il s’agit de savoir quelle part de ces machines vous apporte quelque chose et quelle part se contente de prélever. Cette distinction se fait en examinant vos journaux, pas en s’alarmant d’un pourcentage global.

Faut-il bloquer les collecteurs liés à l’intelligence artificielle ?

Ma réponse honnête : cela dépend entièrement de votre situation, et méfiez-vous de ceux qui tranchent à votre place. Si votre modèle repose sur des visites humaines vers du contenu original et coûteux à produire, vous avez de bonnes raisons d’être sélectif. Si au contraire la notoriété prime et que la citation par ces systèmes vous sert, le calcul change. Il n’existe pas de réponse universelle. Ce qui est sûr, c’est qu’une décision par défaut, prise sans réflexion, est rarement la bonne. Posez-vous d’abord la question de ce que vous gagnez et de ce que vous perdez.

Comment savoir si mon audience humaine diminue alors que mon trafic total augmente ?

C’est précisément le piège que je décris dans l’article, et il se déjoue par la mesure séparée. Tant que vos outils additionnent humains et machines dans une même courbe, vous êtes aveugle. Isolez les visites réellement humaines, suivez-les sur la durée, et comparez cette tendance à votre trafic brut. Si la courbe humaine stagne ou recule pendant que le total grimpe, vous tenez votre réponse. Cette lecture en deux temps devrait devenir un réflexe pour quiconque pilote un site sérieusement.

Je terminerai par une conviction simple. Ce chiffre de 57 % n’est pas une anomalie passagère qu’un correctif fera disparaître. C’est le visage du web tel qu’il devient, un espace partagé entre des humains de moins en moins nombreux à l’échelle relative et des machines de plus en plus voraces. On peut le déplorer, et il m’arrive de le déplorer. Mais le déni ne nous mènera nulle part. La vraie question n’est plus de savoir si les robots vont prendre le dessus, c’est déjà fait. Elle est de savoir si nous allons continuer à concevoir nos sites comme si de rien n’était, ou si nous aurons le courage de redevenir des artisans attentifs à qui franchit notre porte. Le terrain a changé. À nous de décider si nous le subissons ou si nous le tenons.