Hocam bu şekilde google botları engellemez değil mi?
Bir de opt. indexes kodunu yazabilir misiniz?
Vermiş olduğumuz robots.txt örneği tagları, arşiv sayfalarını kategori sayfalarını ve sayfalama sayfalarını engelliyor. Sizin yazılarınızı vs engellemiyor.
bu kod ise alt klasörleri 403 döndürüyor.