Alemi Eğitim adında sitem var. google hergün yüklediklerimi indexliyor ama yandex bir türlü indexlemiyor. yandex webmaster e siteyi ekledim. metrica da ekledim gelen ziyaretçileri gösteriyor ama siteyi indexlemiyor. şu iki hatayı gönderiyor. bunu nasıl düzeltebilirim?
10/05/2017 the bot received the HTTP status code 403 when accessing the page. Check the server response. If the problem persists, contact the administrator of your site or server. If the page is available now, submit it for reindexing.
The page was removed from search results by a special algorithm. If this algorithm shows that the page is relevant to users in the future, it will appear in search results automatically.
Yandex Sitemi İndexlemiyor
6
●1.984
- 04-04-2018, 11:32:05Veridyenden Gelen Cevap
Maalesef ki Yandex botları saldırgan bir şekilde çalışıyor bu yüzden sunucularımızda bulunan Modsecurity güvenlik yazılımı tarafından Yandex botları engelleniyor, lakin Yandex botlarının sitenize erişmesini istiyorsanız istediğiniz siteler için açabiliriz.Fakat bu durumda aşırı CPU (işlemci gücü) kullanmanız gibi bir durumda herhangi bir sorumluluk almadığımızı, bu durumun sizin açınızdan risk teşkil ettiğini bilmenizi isterim. Aşırı kaynak kullanımından dolayı hesabınız askıya alınabilir yada tekrar Yandex erişimine kapatılabilir.
Yandex Bot Saldırısı Video:
https://www.youtube.com/watch?v=cz0lGxtUQbU
Yandex firmasının web sitelerine gönderdiği crawler botlarının dofollow/nofollow mantığı olmamasından dolayı videoda gördüğünüz şekilde ard arda link denemeleri yapmakta ve indexine almaya çalışmaktadır. Özellikle iki ziyaret arasındaki sürenin çok kısa olması, 404 sayfalara istek göndermesi nedeniyle sunucu tarafında saldırı olarak algılanır, aşırı işlemci (kaynak) kullanımına, web sitenizin yavaşlamasına sebebiyet verir.
