Bunu yaptıktan sonra Google botunun da gelmemesi, dosyada sorun yok. Googledan check edince de bota engel olmadığı görülüyor fakat 2 gün önce robots dosyasını güncelleyince bot gelmez oldu. Bilginiz var mı?
Merhaba, başka bir sebepten gelmiyor olabilir diğer durumları kontrol edin çünkü bu robots.txt dosyasının ilk oluşturulmuş olanından farkı sadece diğer botları engellemesi Google gibi arama motorları açısından bir değişiklik yok. Ayrıca bana geliyor bir sorun yok. Yandex biraz fazla gelmeye başladı eskisine göre o kadar.
kod kalabalığı olmuş ama güzel. Eline sağlık
Teşekkürler. Robotlar yorulmaz okur hepsini
