Quotidien Shaarli
August 9, 2023
La petite trouvaille du jour : si vous voulez envoyer indiquer aux algos de OpenAI que vous ne voulez pas qu'ils crawlent votre site, vous pouvez l'indiquer dans votre fichier robots.txt
:
User-agent: GPTBot
Disallow: /
Edit : cette autre page indique qu'il existe un autre user-agent dédié à ChatGPT, on pourra donc également ajouter :
User-agent: ChatGPT-User
Disallow: /
Merci à @Troll sur Mastodon pour le partage !