robot.txt

smf foruma robot.txt dosyasını nasıl oluşturabilirim?

https://www.r10.net/sitemap/104415-ro...l-yapilir.html

https://www.r10.net/google-optimizasy...endirmeli.html

https://www.r10.net/yeni-baslayanlar/...ma-sorunu.html

forumda yazmıslar işi görür bir bak

kısaca botlar herşeyi indexlesin istiyorsan robots.txt adında bir dosya oluştur ve içine şunu yaz.

User-agent: *
Disallow:

bu kadar basit

Ama ben pek tavsiye etmem çünkü arama motorlarında indexlenmeye bilirsin. (Öyle duydum)

Sadece sitemap i indexlemesi için yazman gereken kod nedir?

User-agent: *
Disallow: /
Allow: /site.com/sitemap.php

doğru mu? Teşekkürler.

Şu konuyu inceleyebilirsiniz.
https://www.r10.net/sitemap/104415-ro...ml#post1185792

Forumda arama yapmıştım. O konulara da bakmıştım. Fakat allow ile ilgili bulabildiğim tek cevap var o da bir soru.

Ben tüm site indexlensin istemiyorum. Sadece sitemap indexlensin istiyorum. Disallow dolu olmayan bi robots.txt yapmam mümkün mü?

User-Agent: *
Disallow:
Sitemap:http://www.site.com/sitemap.php

Sadece sitemapin indexlenmesi için bu kod doğru kod mu? Teşekkürler.

Benim sitenin google sorgulamasında sadece sitenin adı görünüyor başlıkta site:forum.dataci.net - Google'da Ara

bunu nedeni robot.txt ile alakalımı acaba

Sadece sitemapinizin indexlenmesi size bir yarar sağlamazki. Eğer atıyorum forumunuzun indexlenmesini istemiyorsanız sitemapınızdada forumunuza ait bağlantılar yer alıyorsa sitemapınızın indexlenmesinin ne mantığı varki? Robots.txt de disallow ile indexlenmemesini istemediğiniz bir klasörü yada klasörleri veya sayfaları listelerseniz google sitenizin ulaşabildiği o klasörler veya sayfa hariç heryeri indeksler. Mesela sitemap.php yi indexlemesind derseniz yazdığınız robots.txt doğrudur.

User-Agent: *
Disallow:
Sitemap:http://www.site.com/sitemap.php

Bu kod ile sadece sitemap.php yi indexleme google diyorsunuz botlara.