hocam farklı dosya kullanıyor olabilirler. son protokole göre robots.txt'nin içinde en altta dosya yolunun belirtilmesi gerekir. çoğunlukla robots.txt nin içine bakarak sitemapleri bulabilirsiniz. protokole uymayan siteler hariç. (bot sitemap.xml arar. bulamazsa robots.txt den yolu alır)
hocam robots a baktım şu an orada da belirtilmemiş. Sanırım kullanmıyorlar.
kendinğizde diyosunuz büyük siteler büyük sitelerin bizim gibi googleye linklerini gösterme gibi dertleri yok zaten her türlü index alıyorlar
O halde google bot içerikleri bulabiliyorsa biz de kullanmayalım ?