Büyük internet mimarisi sağlayıcısı Cloudflare, Salı günü yapılan bir duyuruya göre, artık bilinen AI web tarayıcılarını "izin veya tazminat olmadan içeriğe erişmelerini" önlemek için varsayılan olarak engelleyecek . Değişiklikle birlikte Cloudflare, yeni alan adı sahiplerine AI kazıyıcılarına izin vermek isteyip istemediklerini sormaya başlayacak ve hatta bazı yayıncıların "Tarama Başına Ödeme" ücreti uygulamasına izin verecek .

Pay Per Crawl programı, yayıncıların AI kazıyıcılarının içeriklerine erişmesi için bir fiyat belirlemesine olanak tanıyacak. AI şirketleri daha sonra fiyatlandırmayı görüntüleyebilir ve "Pay Per Crawl" ücretine kaydolmayı veya reddetmeyi seçebilir. Bu, şimdilik yalnızca "önde gelen yayıncılardan ve içerik oluşturucularından oluşan bir grup" için geçerli ancak Cloudflare, bunun "AI şirketlerinin kaliteli içeriği doğru şekilde - izin ve tazminatla - kullanabilmesini" sağlayacağını söylüyor.

Cloudflare bir süredir alan adı sahiplerinin AI tarayıcılarıyla mücadele etmesine yardımcı oluyor. Şirket, web sitelerinin AI tarayıcılarını engellemesine 2023'te izin vermeye başladı, ancak bu yalnızca bir sitenin robots.txt dosyasına uyanlar için geçerliydi ; bu, botların içeriğini tarayıp tarayamayacağını belirten uygulanamaz bir anlaşmadır. Cloudflare, web sitelerinin "tüm" AI botlarını engellemesine geçen yıl izin vermeye başladı; bir sitenin robots.txt dosyasına saygı duyup duymadıklarına bakılmaksızın ve şimdi bu ayar yeni Cloudflare müşterileri için varsayılan olarak etkin. (Şirket, engellenecek tarayıcıları, bilinen AI botları listesiyle karşılaştırarak belirliyor.) Cloudflare ayrıca Mart ayında, web tarayıcı botlarını izinsiz site taramaktan caydırmak için bir "AI Labirenti"ne gönderen bir özellik kullanıma sundu.

The Associated Press , The Atlantic , Fortune , Stack Overflow ve Quora gibi birçok büyük yayıncı ve çevrimiçi platform, web sitelerinin arama motorları yerine AI sohbet robotları aracılığıyla bilgi bulduğu bir gelecekle mücadele etmesiyle Cloudflare'in yeni AI tarayıcı kısıtlamalarına katılıyor. Cloudflare CEO'su Matthew Prince geçen hafta Axios Live etkinliğinde "İnsanlar son altı ayda AI'ya daha fazla güveniyor, bu da orijinal içerik okumadıkları anlamına geliyor" dedi .

Ayrıca Cloudflare, tarayıcılarını doğrulamak ve "amaçlarını açıkça belirtmelerine" yardımcı olmak için AI şirketleriyle çalıştığını söylüyor; örneğin, içeriği eğitim, çıkarım veya arama için kullanıp kullanmadıklarını. Web sitesi sahipleri daha sonra bu bilgileri inceleyebilir ve hangi tarayıcıların içeri girmesine izin vereceklerini belirleyebilir.

Prince basın açıklamasında, "Orijinal içerik, İnternet'i son yüzyılın en büyük icatlarından biri yapan şeydir ve onu korumak için bir araya gelmeliyiz" dedi. "AI tarayıcıları sınırsız bir şekilde içerik topluyor. Amacımız, gücü yaratıcıların ellerine geri verirken AI şirketlerinin yenilik yapmasına yardımcı olmak."

Kaynak: https://www.theverge.com/news/695501...awlers-default