Robots.txt Nedir?

Question

Merhaba,
Websitenin pazarlama araçları kısmında düzenlemeler sağlıyorum şu an.
Bu robots.txt dediğimiz tam olarak nedir, ne işe yarar ve tam olarak bu ekrana ne yazmam gerekmekte, sabit mi?

Teaqaria · Answer

Robots.txt, web sitesi sahiplerinin arama motorlarına ve diğer web robotlarına (bot'lara) belirli sayfaları veya bölümleri taratmama talimatı vermek için kullandıkları bir standart metindir.
Web sitesi sahipleri robots.txt dosyasını kullanarak, arama motorlarının belirli sayfalarını tarayamamasını veya belirli kısıtlamalar getirmesini sağlayabilirler. Bu, özellikle gizli veya güvenlik açığı olan sayfaların taramasını engellemek için önemlidir.
Robots.txt dosyası, web sitelerinde genellikle "siteninadresi.com/robots.txt" şeklindeki URL'den ulaşılabilen bir metin dosyasıdır.

ChatGPT

mcanyarar · Answer

Arama motoru botlarının sitenizin hangi bölümlerini tarayıp taramayacağını belirlediğiniz alandır.
Örnek olarak Google sitenizi taramasın istiyorsanız Googlebot'u engelleyebilirsiniz.

serkanhzl · Answer

Teaqaria adlı üyeden alıntı:						mesajı görüntüle									Robots.txt, web sitesi sahiplerinin arama motorlarına ve diğer web robotlarına (bot'lara) belirli sayfaları veya bölümleri taratmama talimatı vermek için kullandıkları bir standart metindir.
Web sitesi sahipleri robots.txt dosyasını kullanarak, arama motorlarının belirli sayfalarını tarayamamasını veya belirli kısıtlamalar getirmesini sağlayabilirler. Bu, özellikle gizli veya güvenlik açığı olan sayfaların taramasını engellemek için önemlidir.
Robots.txt dosyası, web sitelerinde genellikle "siteninadresi.com/robots.txt" şeklindeki URL'den ulaşılabilen bir metin dosyasıdır.

ChatGPT 		Teşekkür ederim hocam, kafamda biraz daha oturdu durum.

mcanyarar adlı üyeden alıntı:						mesajı görüntüle									Arama motoru botlarının sitenizin hangi bölümlerini tarayıp taramayacağını belirlediğiniz alandır.
Örnek olarak Google sitenizi taramasın istiyorsanız Googlebot'u engelleyebilirsiniz. 		Teşekkürler hocam, anlaşılama göre şu an pasif bırakmak gerekiyor sanırım.

emrehandilekci · Answer

serkanhzl adlı üyeden alıntı:						mesajı görüntüle									Teşekkür ederim hocam, kafamda biraz daha oturdu durum.

Teşekkürler hocam, anlaşılama göre şu an pasif bırakmak gerekiyor sanırım. 		Google aramalarında üye sayfanızın gözükmesini istemiyorsanız (örneğin) bu sayfayı robots.txt ile engelleyebilirsiniz. Tüm sayfalarınız index alırken belirlediğiniz sayfalar almayabilir.

serkanhzl · Answer

emrehandilekci adlı üyeden alıntı:						mesajı görüntüle									Google aramalarında üye sayfanızın gözükmesini istemiyorsanız (örneğin) bu sayfayı robots.txt ile engelleyebilirsiniz. Tüm sayfalarınız index alırken belirlediğiniz sayfalar almayabilir. 		Teşekkürler hocam, sağ olun.

emrehandilekci · Answer

serkanhzl adlı üyeden alıntı:						mesajı görüntüle									Teşekkürler hocam, sağ olun.  		Rica ederim ne demek