Tinta.news | Sekarang kamu bisa mencegah ChatGPT dari OpenAI untuk mengakses situs webmu, atau bagian dari situsmu, dengan menggunakan robots.txt.
OpenAI baru saja mengumumkan informasi mengenai GPTBot, pengintai web baru mereka.
Apa itu GPTBot? GPTBot adalah pengintai web dari OpenAI. OpenAI menggunakannya untuk menjelajahi web, mengumpulkan pengetahuan untuk fitur-fitur AI mereka (seperti ChatGPT), dan memberikan jawaban berbasis AI atas pertanyaan-pertanyaan (atau permintaan).
User agent. Token User Agent GPTBot adalah “GPTBot”. String user-agent lengkapnya adalah: “Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.0; +https://openai.com/gptbot)”.
Robots.txt. Kamu bisa menggunakan robots.txt untuk menghalangi GPTBot agar tidak mengakses situs webmu, atau bagian dari situsmu. Untuk melarang GPTBot mengakses situsmu, kamu bisa menambahkan GPTBot ke dalam robots.txt situsmu:
User-agent: GPTBot
Disallow: /
Untuk mengizinkan GPTBot hanya mengakses bagian-bagian tertentu dari situsmu, kamu bisa menambahkan token GPTBot ke dalam robots.txt situsmu seperti ini:
User-agent: GPTBot
Allow: /directory-1/
Disallow: /directory-2/
Dokumentasi GPTBot. Kamu bisa membaca dokumentasi mengenai GPTBot.
Rentang IP GPTBot. OpenAI juga mempublikasikan rentang IP yang digunakan oleh GPTBot. Saat ini hanya ada satu daftar, tapi saya curiga mereka akan menambahkan lebih banyak seiring berjalannya waktu.
Mengapa ini penting? Kamu bisa melarang GPTBot untuk menjelajahi situsmu jika kamu tidak ingin OpenAI menggunakan kontenmu dengan cara apapun. Ini adalah protokol yang sama yang biasa kamu gunakan untuk memblokir GoogleBot, BingBot, atau pengintai web lainnya. Perusahaan-perusahaan ini juga sedang mencari alternatif untuk robots.txt dalam tujuan yang sama. (tn)
