Örnek robots.txt Dosyası Olan

03-10-2018, 11:56:00

Arkadaşlar ben WebMaster konularında yeniyim. Şuanda siteme alelade bulduğum bir robots.txt dosyası var fakat istemeden Googlebot'u engellemişim. Bana genel kullanım için uygun bir robots.txt örneği paylaşabilir misiniz. Bir de mantığını anlatırsanız çok mutlu olurum.
Sitemin linki mahiryildizhan.com

03-10-2018, 12:01:06

#2

Ersinco

Merhabalar,
Disallow: Engelle
Allow: İzin ver Anlamına gelir.
User-Agent: * ( Yıldız işareti tüm botlar için geçerli yap demek )
Siz Disallow vermişsiniz, yani Tüm botlara siteyi engelle demişsiniz.
Allow şeklinde değiştirmeniz yeterli.

03-10-2018, 12:09:23

#3

fatii

igtr.net

hocam Buradan bakabilirsiniz

03-10-2018, 12:18:37

#4

Cankat

User-agent: *
Allow: /
Sitemap: http://mahiryildizhan.com/sitemap.xml

Böyle yapman yeterli.

03-10-2018, 12:50:15

#5

m4h1r

Cankat adlı üyeden alıntı: mesajı görüntüle

User-agent: *
Allow: /
Sitemap: http://mahiryildizhan.com/sitemap.xml

Böyle yapman yeterli.

Bu durumda her hangi bir bot engellemesi yapmama gerek yok mu?

03-10-2018, 13:02:51

#6

HveH

Benimde robot tx dosyası da disallow mus hic bakmak aklima gelmedi konuyu gorunce farkettim bende haftalardir niye indexlenmiyor diye düşünüyordum.😊 sitem