yasina adlı üyeden alıntı: mesajı görüntüle
Elinize sağlık faydalı bir içerik hazırlamışsınız.

Bu örnek hakkında ne düşünüyorsunuz?
https://books.google.com.tr/robots.txt
Global çok büyük projelerde

https://www.linkedin.com/robots.txt şeklinde tavsiye ediyorum. Search için kapatmış botlara Google ama linkedin daha detaylı bir robots.txt düzenlemesi yapmış bana kalırsa en güzel referans olarak verilebilir .

Saygılarımla.