İkinci sorunuza cevap olarak;

Crawl ve indexing farklı şeyler. Botun bir sayfası ziyaret etmesi, onun dizine ekleneceği anlamına gelmez. Sevgiler.