Robots.txt'de css ve js engelleri

anladım şuan yapacağım bir değişiklik yok o zaman teşekkürler

hocam sitemap yolunu kapatmışsınız arama motorları için sorun bu bilmiyorum farkındamısınız ama belirtmek istedim.

kapatmadim? nasil oldu anlamadim duzeltiminden bahseder misiniz?

#Sitemap: http://aerospaceengineering.aero/sitemap.xml
#Sitemap: http://aerospaceengineering.aero/sitemap_index.xml

Başındaki # işaretleri kaldırmanız yeterli

Tesekkurler

zerre kadar işe yaramayan bir robots.txt niz var değerli kardeşim.

işe yarayanı paylaşşanız da öğrensek değerli kardeşim.

katılıyorum

--R10.NET; Flood Engellendi -->-> Yeni yazılan mesaj 20:42:19 -->-> Daha önceki mesaj 20:41:48 --

işe nasıl yarayacağını anlatır mısınız.
şuan google dan sadece wp-admin engelli onda da sorun olmaz heralde

mevcut robots.txt nizde google'ın ulaşabileceği ama sizin engellemek isteyebileceğiniz bir şey yok zaten.

wp-admin klasörünü engelleseniz ne olacak şifreli zaten.

sitemap ler webmaster tools'dan ekleniyor, bing'den vs. den hit almıyorsanız ona da gerek yok.

bir sürü botu engellemişsiniz.
10 senelik yabancı siteleri olan bir kardeşiniz olarak bu engellediğiniz botların %90'ından haberim olmadı, bir zararları da olsaydı şimdiye kadar olurdu herhalde.

yanlış indekslenebilen klasörleriniz olduğunda ve indekslenmesinin sizi sıkıntıya sokacağı durumlarda robots.txt yi kullanın. şu haliyle silin gitsin anlamsız. olup olmamasının bir önemi bulunmuyor.

robots.txt ler herkese açık olduğu için çok ziyaret edilen siteler hangi amaçla ve nasıl kullanıyor bu text dosyalarını bir inceleyin :

http://www.haberturk.com/robots.txt
http://www.google.com/robots.txt ( search sonuçlarını indeksletmiyor kerata )
http://mashable.com/robots.txt
https://moz.com/robots.txt
http://www.seohocasi.com/robots.txt