univerakadem adlı üyeden alıntı: mesajı görüntüle
katılıyorum

--R10.NET; Flood Engellendi -->-> Yeni yazılan mesaj 20:42:19 -->-> Daha önceki mesaj 20:41:48 --



işe nasıl yarayacağını anlatır mısınız.
şuan google dan sadece wp-admin engelli onda da sorun olmaz heralde
mevcut robots.txt nizde google'ın ulaşabileceği ama sizin engellemek isteyebileceğiniz bir şey yok zaten.

wp-admin klasörünü engelleseniz ne olacak şifreli zaten.

sitemap ler webmaster tools'dan ekleniyor, bing'den vs. den hit almıyorsanız ona da gerek yok.

bir sürü botu engellemişsiniz.
10 senelik yabancı siteleri olan bir kardeşiniz olarak bu engellediğiniz botların %90'ından haberim olmadı, bir zararları da olsaydı şimdiye kadar olurdu herhalde.

yanlış indekslenebilen klasörleriniz olduğunda ve indekslenmesinin sizi sıkıntıya sokacağı durumlarda robots.txt yi kullanın. şu haliyle silin gitsin anlamsız. olup olmamasının bir önemi bulunmuyor.

robots.txt ler herkese açık olduğu için çok ziyaret edilen siteler hangi amaçla ve nasıl kullanıyor bu text dosyalarını bir inceleyin :

http://www.haberturk.com/robots.txt
http://www.google.com/robots.txt ( search sonuçlarını indeksletmiyor kerata )
http://mashable.com/robots.txt
https://moz.com/robots.txt
http://www.seohocasi.com/robots.txt