User-agent: Googlebot Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php User-agent: Googlebot-Image Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php User-agent: Googlebot-News Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php User-agent: Googlebot-Video Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php User-agent: Googlebot-Mobile Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php User-agent: Mediapartners-Google Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php User-agent: AdsBot-Google Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php User-agent: AdsBot-Google-Mobile Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php User-agent: Applebot Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php User-agent: Bingbot Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php User-agent: msnbot Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php User-agent: Twitterbot Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php User-agent: Yandex Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php User-agent: DuckDuckBot Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php User-agent: ia_archiver Disallow: / User-agent: * Disallow: / Sitemap: https://www.siteadi.com/sitemap.xml
İpucu: Wordpress İçin Kullanabileceğiniz ROBOTS.TXT Örneği
8
●394
- 26-10-2022, 19:58:46Robots.txt dosyanızı, Public_Html içine, yani root bölümüne atmanız gerek. www.siteadi.com/robots.txt şeklinde ulaşılabilir olması gerek. Archive.org ve diğer botlar engellenmiş haliyle aşağıda. Site haritanızı ekleyerek direkt kullanabilirsiniz.
- 27-10-2022, 00:24:17Teşekkürler katkınız için. Ancak gereksiz kod kalabalığı olmuş. Aşağıdaki şekilde kullanılırsa da aynı işlevi sağlar:
User-agent: Googlebot User-agent: Googlebot-Image User-agent: Googlebot-News User-agent: Googlebot-Video User-agent: Googlebot-Mobile User-agent: Mediapartners-Google User-agent: AdsBot-Google User-agent: AdsBot-Google-Mobile User-agent: Applebot User-agent: Bingbot User-agent: msnbot User-agent: Twitterbot User-agent: Yandex User-agent: DuckDuckBot Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php User-agent: ia_archiver Disallow: / Sitemap: https://www.siteadi.com/sitemap.xml
Daha fazla bilgi için: https://developers.google.com/search...ots/robots_txt - 27-10-2022, 05:18:22Teşekkürler düzenleme için evet bu şekilde de olur. Ben LinkedIn, Twitter gibi 4-5 tane büyük siteyi incelemiştim hepsi benim yazdığım gibi ayrı şekilde yazınca öyle yapayım dedim. Bir fark olmaz tabi ama çoğunluğa uydum.Empat adlı üyeden alıntı: mesajı görüntüle
- 29-10-2022, 10:12:16Bunu yaptıktan sonra Google botunun da gelmemesi, dosyada sorun yok. Googledan check edince de bota engel olmadığı görülüyor fakat 2 gün önce robots dosyasını güncelleyince bot gelmez oldu. Bilginiz var mı?
- 29-10-2022, 12:33:58Merhaba, başka bir sebepten gelmiyor olabilir diğer durumları kontrol edin çünkü bu robots.txt dosyasının ilk oluşturulmuş olanından farkı sadece diğer botları engellemesi Google gibi arama motorları açısından bir değişiklik yok. Ayrıca bana geliyor bir sorun yok. Yandex biraz fazla gelmeye başladı eskisine göre o kadar.Bilgehan34 adlı üyeden alıntı: mesajı görüntüle
Teşekkürler. Robotlar yorulmaz okur hepsiniNookta adlı üyeden alıntı: mesajı görüntüle
- 29-10-2022, 13:18:11bu botların tesbitini hangi eklentiyle yapıyorsunuzag19 adlı üyeden alıntı: mesajı görüntüleMerhaba, başka bir sebepten gelmiyor olabilir diğer durumları kontrol edin çünkü bu robots.txt dosyasının ilk oluşturulmuş olanından farkı sadece diğer botları engellemesi Google gibi arama motorları açısından bir değişiklik yok. Ayrıca bana geliyor bir sorun yok. Yandex biraz fazla gelmeye başladı eskisine göre o kadar.
Teşekkürler. Robotlar yorulmaz okur hepsini - 29-10-2022, 15:11:52Eklenti değil, Cloudflare ile bakıyorum. Analytics - Security kısmında gösteriyor.akif68 adlı üyeden alıntı: mesajı görüntüle
