Bing, Yandex ve Yahoo botlarını robots.txt engellememe rağmen index almış?

Bu nasıl olabiliyor onu anlamadım. Bu dosyanın ne anlamı kalıyor o zaman? Dosyam alttaki şekilde ayarlı durumda. Noindex yapsam Google'da indexlemeyecek bunun çözümü nedir tam olarak?

User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php
User-agent: Bingbot
Disallow: /
User-agent: Yahoo! Slurp
Disallow: /
User-agent: YandexBot
Disallow: /
User-agent: Baiduspider
Disallow: /

Merhaba,

Sadece Bing için konuşacağım: Bing hesabınızı GSC ile bağladınız mı? Otomatik oradan çekmiş olabilir.

Hayır hocam sadece Search Console ekledim domaini o kadar başka bir şey yok. Dikkate almıyor o zaman artık talimatları arama motorları.

'noindex' etikete aldığını %100 biliyorum ama disallow'u almamış olabilir.

Zaten kullanım şartlarında da bunları dikkate almak zorunda olmadığını belirtiyor.

Hangi web sunucusunu kullanıyorsunuz? Apache, Nginx? Litespeed? Söylerseniz ona göre bir başka çözüm yöntemi söyleyeyim.

Apache hocam.

.htaccess dosyasını açın ve en altına aşağıdaki kodları ekleyin:

BrowserMatchNoCase "Baiduspider" bots
BrowserMatchNoCase "bingbot" bots
BrowserMatchNoCase "yandex" bots
BrowserMatchNoCase "YandexBot" bots
BrowserMatchNoCase "Slurp" bots

Order Allow,Deny
Allow from ALL
Deny from env=bots

Kaydedin.

Böylece sitenizi artık indeksleyemezler çünkü ilgili botların sitenize girmelerini engellemiş olacaksınız. Mevcut indeksler de zamanla silinecektir.

Doğru hocam bu aklıma gelmemişti, teşekkürler.