Forumda arama yapmıştım. O konulara da bakmıştım. Fakat allow ile ilgili bulabildiğim tek cevap var o da bir soru.
Ben tüm site indexlensin istemiyorum. Sadece sitemap indexlensin istiyorum. Disallow dolu olmayan bi robots.txt yapmam mümkün mü?
User-Agent: *
Disallow:
Sitemap:http://www.site.com/sitemap.php
Sadece sitemapin indexlenmesi için bu kod doğru kod mu? Teşekkürler.
Sadece sitemapinizin indexlenmesi size bir yarar sağlamazki. Eğer atıyorum forumunuzun indexlenmesini istemiyorsanız sitemapınızdada forumunuza ait bağlantılar yer alıyorsa sitemapınızın indexlenmesinin ne mantığı varki? Robots.txt de disallow ile indexlenmemesini istemediğiniz bir klasörü yada klasörleri veya sayfaları listelerseniz google sitenizin ulaşabildiği o klasörler veya sayfa hariç heryeri indeksler. Mesela sitemap.php yi indexlemesind derseniz yazdığınız robots.txt doğrudur.
User-Agent: *
Disallow:
Sitemap:http://www.site.com/sitemap.php
Bu kod ile sadece sitemap.php yi indexleme google diyorsunuz botlara.