Net als voor de mens bestaat er ook voor een zoekmachine een soort van ID-kaart. Dit is de user-agent. Elke zoekmachine heeft er een. De user-agent in de robots.txt geeft aan voor welke zoekmachines de richtlijnen zijn bedoeld.
De robots van Google identificeren zich bijvoorbeeld met Googlebot, Bing identificeert zich met BingBot en Yahoo met Slurp.
De user-agent staat altijd bovenaan de robots.txt. Alle richtlijnen die genoemd worden tot de volgende user-agent, zijn van toepassing op de eerste user-agent.
Wanneer de richtlijnen van toepassing zijn op alle robots, kun je gebruikmaken van een zogeheten wildcard. Door een * achter user-agent te zetten zijn alle richtlijnen van toepassing op alle zoekmachines.
In het voorbeeld hieronder zie je bijvoorbeeld dat Coolblue verschillende zoekmachines compleet uitsluit.
# For specific bots (on all domains) User-agent: AdsBot-Google Disallow: User-Agent: Baiduspider Disallow: / User-Agent: CazoodleBot Disallow: / User-Agent: Fasterfox Disallow: / User-agent: teracent-feed-processing Disallow: / User-Agent: Ingrid Crawl-delay: 20 User-Agent: Jyxobot Disallow: / User-Agent: MJ12bot Disallow: / User-Agent: ShopWiki Disallow: /
