Robots.txt, web sitesi sahiplerinin arama motorlarına ve diğer web robotlarına (bot'lara) belirli sayfaları veya bölümleri taratmama talimatı vermek için kullandıkları bir standart metindir.
Web sitesi sahipleri robots.txt dosyasını kullanarak, arama motorlarının belirli sayfalarını tarayamamasını veya belirli kısıtlamalar getirmesini sağlayabilirler. Bu, özellikle gizli veya güvenlik açığı olan sayfaların taramasını engellemek için önemlidir.
Robots.txt dosyası, web sitelerinde genellikle "siteninadresi.com/robots.txt" şeklindeki URL'den ulaşılabilen bir metin dosyasıdır.
ChatGPT