Robot.txt hakkında..

26-06-2009, 08:06:56

Selamunaleykümm..
Arkadaslar siteme google'da robot.txt olusturduktan sonra eğer wordpress kullanıyorsam bunu header.php'nin en üst kısmına mı ekleyeceğim..?
Googlenin bana vermis olduğu :
User-Agent: *
Allow: /

robots.txt dosyanızı kaydedin ve sitenizin en üst düzey dizinine yükleyin (diyor google.)
En üst düzeyden kasıt nedir? Nereye yüklemem gerekir..
Birde ; Bir dizin olarak algılandı; belirli dosyaların farklı kısıtlamaları olabilir (diyor bu ne anlama geliyor aceba sitemde robot.txt yüklü, ama sitemde google'ye kısıtlama mı var? Tam anlamış değilim..
Birde robot.txt eklerken ; User agent sekmesinde hangisini işaretlemeliyim? ; Googlebot, useragent, googlebot-mobile, tüm tarayıcılar, diğer robot..

26-06-2009, 08:25:39

#2

~~reaver~~

Üyeliği durduruldu

hayır robots.txt yi ftp anadizine atıcaksınız wp-admin, wp-content klasörlerinin olduğu dizine yani.

26-06-2009, 08:31:26

#3

WaTaNSeWeR

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content

User-agent: Mediapartners-Google
Allow: /

User-agent: Adsbot-Google
Allow: /

User-agent: Googlebot-Image
Allow: /

User-agent: Googlebot-Mobile
Allow: /

Bu doğrumudur simdi arkadasım?

26-06-2009, 08:36:32

#4

~~G_i_X_~~

Üyeliği durduruldu

Robots.txt Generator - McAnerin International Inc.

yukardaki site ile istediğine göre oluşturabilirsin..

26-06-2009, 08:37:59

#5

googler

Kimlik doğrulama veya yönetimden onay bekliyor.

yok be jardesim. drek txtyi atacaksın

26-06-2009, 08:40:35

#6

alias

https://www.r10.net/robots.txt Sana fikir verir, buyur.

26-06-2009, 08:44:49

#7

WaTaNSeWeR

Yahu tamam bilmiyoruz.. Ona bisey dediğimiz yok'ta biz bilmediğimiz halde, bize acıklayıcı bi sekilde anlatmıyorsunuz ki abicim biz napalım...

Direk txt'yi atacaksın diyen arkadasımız Sadece User-agent: * Allow/ bu sekilde mi atıyım? Google tanır diyorsun yani...

26-06-2009, 08:52:31

#8

~~G_i_X_~~

Üyeliği durduruldu

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content

txt içine bunu yazıp sitenin ana dizinine atarsan botlar bu dizine ulaşamayacaklardır.

allow izin vermektir allow yazarsan botlar sitenin her yerinde dolaşır...

user agent deki yıldız işaretinin anlamı ise, * tüm karakterler demektir bu demek oluyor bütün botlar için.

26-06-2009, 08:59:33

#9

alias

Disallow ve Allow arasındaki farkı anlatan bir yazı:

Alıntı

İzin Ver uzantısı
Googlebot, robots.txt standardının İzin Ver adlı uzantısını tanır. Diğer arama motoru botlarının hepsi bu uzantıyı tanımayabilir, bu nedenle ilgilendiğiniz diğer arama motorlarının bu uzantıyı tanıyıp tanımadığını kontrol edin. İzin Ver satırı, tıpkı İzin Verme satırı gibi çalışır. Tek yapmanız gereken izin vermek istediğiniz bir dizini veya sayfayı listelemektir.

İzin Verme ve İzin Ver satırlarını birlikte kullanmak isteyebilirsiniz. Örneğin, bir alt dizinde bir tanesi hariç tüm sayfalara erişimi engellemek için aşağıdaki girişleri kullanabilirsiniz:

User-agent: Googlebot
Disallow: /klasor1/

Allow: /klasor1/dosyam.html

Bu girişler, dosyam.html dışında klasor1 dizinindeki tüm sayfaları engelleyebilir.

Googlebot'u engelleyip başka bir Google botuna (Googlebot-Mobile gibi) izin vermek isterseniz İzin Ver kuralını kullanarak söz konusu bota erişim izni verebilirsiniz. Örneğin:

User-agent: Googlebot
Disallow: /

User-agent: Googlebot-Mobile
Allow: /

Hiç bilmediğini bilmiyordum kusura bakma.