In het kort:
De cijfers liegen er niet om: AI-bots worden de nieuwe heersers van het internet. Waar in het eerste kwartaal van 2025 slechts 1 op de 200 websitebezoeken van een AI-bot kwam, is dat in het vierde kwartaal gestegen naar 1 op de 50.
- Meer dan 13 procent van de bot-verzoeken negeert robots.txt-bestanden, die aangeven welke pagina's bots moeten vermijden.
- Het aantal AI-bots dat deze regels overtreedt, steeg met 400 procent tussen het tweede en vierde kwartaal van 2025.
- Websites proberen zich te verweren: 336 procent meer sites blokkeren nu actief AI-bots.
Achter de schermen:
De tactieken van AI-bots worden steeds geavanceerder in hun strijd om toegang tot webinhoud. Ze vermommen zich als gewone browsers en imiteren menselijk surfgedrag zo goed dat ze bijna onherkenbaar worden. TollBit-CEO Toshit Pangrahi waarschuwt: "De meerderheid van het internet zal in de toekomst bot-verkeer zijn."
Wat volgt:
Er ontstaat een nieuwe economie rond deze ontwikkeling. Meer dan 40 bedrijven bieden nu bots aan voor AI-training en contentophaling, terwijl bedrijven zoals Brandlight al spreken van "generative engine optimization" als nieuwe marketingkanaal naast traditionele zoekmachines.
