Hebdomadaire Shaarli

Tous les liens d'un semaine sur une page.

Semaine 32 (August 7, 2023)

GPTBot - OpenAI API

La petite trouvaille du jour : si vous voulez envoyer indiquer aux algos de OpenAI que vous ne voulez pas qu'ils crawlent votre site, vous pouvez l'indiquer dans votre fichier robots.txt :

User-agent: GPTBot
Disallow: /

Edit : cette autre page indique qu'il existe un autre user-agent dédié à ChatGPT, on pourra donc également ajouter :

User-agent: ChatGPT-User
Disallow: /

Merci à @Troll sur Mastodon pour le partage !