Robots.txt, web sitesi sahiplerinin arama motorlarına ve diğer web robotlarına (bot'lara) belirli sayfaları veya bölümleri taratmama talimatı vermek için kullandıkları bir standart metindir.
Web sitesi sahipleri robots.txt dosyasını kullanarak, arama motorlarının belirli sayfalarını tarayamamasını veya belirli kısıtlamalar getirmesini sağlayabilirler. Bu, özellikle gizli veya güvenlik açığı olan sayfaların taramasını engellemek için önemlidir.
Robots.txt dosyası, web sitelerinde genellikle "siteninadresi.com/robots.txt" şeklindeki URL'den ulaşılabilen bir metin dosyasıdır.
ChatGPT
Teşekkür ederim hocam, kafamda biraz daha oturdu durum.
Arama motoru botlarının sitenizin hangi bölümlerini tarayıp taramayacağını belirlediğiniz alandır.
Örnek olarak Google sitenizi taramasın istiyorsanız Googlebot'u engelleyebilirsiniz.
Teşekkürler hocam, anlaşılama göre şu an pasif bırakmak gerekiyor sanırım.