Robot.txt Hakkında Bilgisi Olan Bakabilir Mi?

Question

Merhabalar,
benim site işlerinden pek anladığım yoktur. Ancak profesyonel şekilde makale yazarlığı yapıyorum arada da, kendi siteme içerik giriyorum. Web sitem wordpress alt yapısını kullanmaktadır ve robot.txt dosyası mevcut değildir. İnternette çok araştırdım ancak doyurucu bir kaynağa erişemedim. Bu dosya ne işe yarıyor? Olmamasının dez avantajları nelerdir? Standart bir wordpress alt yapılı sağlık bloğuna en ideal şekilde robot.txt nasıl uyarlanır?

EBT · Answer

site adresi nedir

EBT · Answer

Site çekme botu , zararlı spam botları vs.


						valtor adlı üyeden alıntı:						mesajı görüntüle									Hocam o httrack'ın altındakide site çekme botlarımı veya ne işe yarıyor onlar ?

valtor · Answer

EBT adlı üyeden alıntı:						mesajı görüntüle									Öyle diyince sunucu saldırı aldı diye korkdum  

ama giriyor hocam http://prntscr.com/876582

+ intodns.com/e-b.com.tr

+ proxysite.com deneyebilirsiniz  		Hocam o httrack'ın altındakide site çekme botlarımı veya ne işe yarıyor onlar ?

EBT · Answer

Öyle diyince sunucu saldırı aldı diye korkdum  

ama giriyor hocam http://prntscr.com/876582

+ intodns.com/e-b.com.tr

+ proxysite.com deneyebilirsiniz 



						valtor adlı üyeden alıntı:						mesajı görüntüle									Hocam siteye giremiyorum malesef .d

valtor · Answer

EBT adlı üyeden alıntı:						mesajı görüntüle									Örnek olarak 

https://www.e-b.com.tr/robots.txt 		Hocam siteye giremiyorum malesef .d

kpsshaberlerim · Answer

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/ 
Allow: /wp-includes/*.js   
Allow: /wp-includes/*.css
User-agent: Mediapartners-Google*
Allow: /
User-agent: Googlebot-Image
Allow: /wp-content/uploads/
User-agent: Adsbot-Google
Allow: /
User-agent: Googlebot-Mobile
Allow: / 
Sitemap: http://www.site.com/sitemap.xml

EBT · Answer

Örnek olarak 

https://www.e-b.com.tr/robots.txt



						valtor adlı üyeden alıntı:						mesajı görüntüle									Hocam nasıl httrack programlarını felan engellıycez ve botları ?

valtor · Answer

EBT adlı üyeden alıntı:						mesajı görüntüle									Kişisel düşüncem Robots bir çok işe yarar,

Sitemap ı buldurur
Kötü botları engeller
Sitenizi HTTrack gibi html kopyalama sitelerini ve programlarını engeller

bence güzel bi olay 		Hocam nasıl httrack programlarını felan engellıycez ve botları ?

ilk · Answer

http://www.siteismi.com/robots.txt seklinde oluyor genelde merak ettigin sitenin robots'unada ulasman mumkun

blacktalba · Answer

EBT adlı üyeden alıntı:						mesajı görüntüle									Ne demek hocam  helal hoş olsun varsa hakkım

Öneri olarak ,

https://wordpress.org/plugins/google-captcha/

Klasör, Dosya ve İzin Değerleri;

Ana Dizin (Root Directory)	:	755
wp-includes/	:	755
wp-admin/	:	755
wp-admin/index.php	:	644
wp-admin/js/	:	755
wp-content	:	755
wp-content/themes/	:	755
wp-content/plugins	:	755
.htaccess	:	644
wp-config.php	:	644


Birde htaccess ile 

en başına Options All -Indexes eklemenizi tavsiye ederim  		Hocam ben sunucuma robots.txt yi atıyorum. Sitemapı www.siteadi.com/sitemap.xml şeklinde kaydediyorum. Ancak www.siteadi.com/robots.txt yi açınca orada sitemap adresi sitemap.xml.zn şeklinde veriliyor. Bunun sebebi nedir?

EBT · Answer

Ne demek hocam  helal hoş olsun varsa hakkım

Öneri olarak ,

https://wordpress.org/plugins/google-captcha/

Klasör, Dosya ve İzin Değerleri;

Ana Dizin (Root Directory)	:	755
wp-includes/	:	755
wp-admin/	:	755
wp-admin/index.php	:	644
wp-admin/js/	:	755
wp-content	:	755
wp-content/themes/	:	755
wp-content/plugins	:	755
.htaccess	:	644
wp-config.php	:	644


Birde htaccess ile 

en başına Options All -Indexes eklemenizi tavsiye ederim 


						blacktalba adlı üyeden alıntı:						mesajı görüntüle									sağolun hocam. Engellemem gereken şeyler var mı? Wordpress'te. Spam falan olmaması için. Hakkınızı helal edin bu arada.

blacktalba · Answer

EBT adlı üyeden alıntı: mesajı görüntüle

Kişisel düşüncem Robots bir çok işe yarar,

Sitemap ı buldurur
Kötü botları engeller
Sitenizi HTTrack gibi html kopyalama sitelerini ve programlarını engeller

bence güzel bi olay

Mhmt_Clskn · Answer

Bu şekilde kullanıyorum ben. 

User-agent: *
Allow: /
Disallow: /wp-admin/

Sitemap: http://siteadi.com/sitemap.xml

EBT · Answer

http://analiz.r10.net/robots-txt-olusturucu/ 

						blacktalba adlı üyeden alıntı:						mesajı görüntüle									Peki  hocam nasıl oluşturacağım?

blacktalba · Answer

EBT adlı üyeden alıntı:						mesajı görüntüle									Kişisel düşüncem Robots bir çok işe yarar,

Sitemap ı buldurur
Kötü botları engeller
Sitenizi HTTrack gibi html kopyalama sitelerini ve programlarını engeller

bence güzel bi olay 		Peki  hocam nasıl oluşturacağım?

EBT · Answer

Kişisel düşüncem Robots bir çok işe yarar,

Sitemap ı buldurur
Kötü botları engeller
Sitenizi HTTrack gibi html kopyalama sitelerini ve programlarını engeller

bence güzel bi olay




						blacktalba adlı üyeden alıntı:						mesajı görüntüle									Merhabalar,
benim site işlerinden pek anladığım yoktur. Ancak profesyonel şekilde makale yazarlığı yapıyorum arada da, kendi siteme içerik giriyorum. Web sitem wordpress alt yapısını kullanmaktadır ve robot.txt dosyası mevcut değildir. İnternette çok araştırdım ancak doyurucu bir kaynağa erişemedim. Bu dosya ne işe yarıyor? Olmamasının dez avantajları nelerdir? Standart bir wordpress alt yapılı sağlık bloğuna en ideal şekilde robot.txt nasıl uyarlanır?