Eddie van Leuven
Online performance marketeer
+31610123038
e.leuven@nexwork.nl
We zijn inmiddels allemaal bekend met AI, en met de verandering van AI op ons zoekgedrag op internet. Zoals we eerder met jullie besproken hebben is GEO (Generative Engine Optimization) een belangrijke optimalisatie van je webcontent vandaag de dag. Nu mensen steeds meer ‘googlen’ via bijvoorbeeld ChatGPT of de ingebouwde Gemini in de Google zoekmachine, komen ook nieuwe indexatie ontwikkelingen om de hoek kijken. Maar hoe zorgen we ervoor dat AI-crawlers onze content kunnen vinden en begrijpen? Daar komt het llms.txt-bestand om de hoek kijken!
Wat is dit bestand precies?
First things first: wat is een llms.txt-bestand?
LLM staat voor Large Language Model, een type kunstmatige intelligentie, en is dus bedoeld voor AI. Waar de robots.txt ervoor zorgt dat traditionele zoekmachines zoals Google en Bing de belangrijkste content op jouw website kunnen vinden, vervult de llms.txt deze functie voor AI-zoekmachines.
Maar waarom is dit eigenlijk nodig? En waarom kan een slimme AI-crawler niet uit de voeten met een robots.txt?
“Een llms.txt-bestand bevat een lijst met de belangrijkste content op je website, met als doel het informeren van AI-crawlers.”
Eddie van Leuven
-
Online performance marketeer
Welk probleem probeert een llms.txt op te lossen?
AI-crawlers lopen tegen twee problemen aan bij het zoeken naar informatie:
1. Moderne websites zijn moeilijk te lezen: de meeste AI-crawlers kunnen alleen de basis-HTML van een pagina uitlezen, en niet de content die wordt ingeladen met JavaScript.
2. De meeste websites bevatten een overvloed aan informatie: een AI-crawler weet niet welke informatie op je website het belangrijkst is. Wanneer ze eerst minder waardevolle informatie crawlen (zoals verouderde blogs), is de kans groot dat ze foutieve of verouderde antwoorden genereren.
Een llms.txt-bestand vertaalt dus complexe HTML-pagina’s met navigatie, advertenties en JavaScript naar een makkelijk te begrijpen en gestructureerde vorm van codetaal.
Dus moeten we nu met z’n allen massaal llms.txt-bestanden gaan opstellen?
Moet je een llms.txt bestand gebruiken?
Het opstellen van een llms.txt een interessant concept, maar op dit moment nog geen bewezen strategie voor meer verkeer vanuit AI zoekmachines.
Het is momenteel slechts een voorgestelde standaard die nog niet bewezen wordt gebruikt door grote AI-bedrijven. Geen van de grote spelers zoals OpenAI, Google of Anthropic, heeft officieel verklaard dat zij deze bestanden volgen wanneer ze je website crawlen. Echter zijn er ook onderzoeken door Amerikaanse bedrijven die bewijzen dat deze tekstbestanden wel worden ingelezen door LLM’s. Het is dus nog geen gevestigde standaard maar wordt wel voorgesteld om bij te blijven met de AI ontwikkelingen.
En in de toekomst dan?
Hoewel grootschalige optimalisatie van llms.txt-bestanden nu nog toekomstmuziek is, verwachten experts dat dit soort AI-optimalisatie op (korte) termijn wel een belangrijke rol kan gaan spelen. Door nu al op de hoogte te zijn van deze ontwikkelingen, heb je in de toekomst dus een voorsprong op de rest!
Wil je weten wat de ontwikkelingen gaan zijn op dit gebied of hoe je een llms.txt-bestand opstelt? Wij ondersteunen jullie graag op het gebied van zoekmachineoptimalisatie en de ontwikkelingen van het AI zoekgedrag.