0
Kayıt Ol

Google'ın robots.txt dosyasını kaale almadan dizine almaya başlaması

6

●

170

  • 13-03-2025, 15:18:27
    #1
    mylih
    mylih
    Arkadaşlar merhabalar, Mart ayı başından beri Search Console'da /share? URL'li paylaşım butonlarının indexlendiğini gözlemliyorum. Robots.txt tarafında bu URL uzatısını reddeetmiş olsam da Google bunu umursamadan indexlemeye başladı. Resimde gördüğünüz index artışının büyük bir kısmı bu URL'lerden oluşmakta. Bu tarz bir sorun yaşayan var mı? Bu konu hakkında ne düşünüyorsunuz? Sitemin sağlığını ne kadar olumsuz etkiler?

  • 13-03-2025, 15:21:42
    #2
    cetin61
    cetin61
    Çünkü sizin bunu googlea bildirmeniz lazımdı,

    Sol Menüden ayarlara gelin
    robots.txt yazar orada RAPORU AÇ butonuna tıklayın
    Çıkan dosyanın sağındaki 3 noktadan "yeniden tarama isteğinde bulun" deyin
  • 13-03-2025, 15:28:38
    #3
    RakipsizHizmet
    RakipsizHizmet
    Kurumsal PLUS
    Tarama bütçesini bitirebilir. Robots.txt dosyası son tarama isteği ne zaman? Ayrıca bu sayfalara ekstra <meta name="robots" content="noindex"> eklerseniz Google indexlemeyecektir.
  • 13-03-2025, 15:53:58
    #4
    mylih
    mylih
    cetin61 adlı üyeden alıntı: mesajı görüntüle
    Çünkü sizin bunu googlea bildirmeniz lazımdı,

    Sol Menüden ayarlara gelin
    robots.txt yazar orada RAPORU AÇ butonuna tıklayın
    Çıkan dosyanın sağındaki 3 noktadan "yeniden tarama isteğinde bulun" deyin
    Öncelikle tavsiyeleriniz için teşekkürler,
    @cetin61; hocam robots.txt dosyamızda "Disallow: /share? " zaten aylardır bulunuyordu ve böyle bir sorun yaşamıyorduk. Yani yakın tarihte bir değişiklik yapıldı ve google robots.txt'yi taramamış degil. Ayrıca kontrol ettim en son 1 hafta önce robots dosyası taranmış. Yinede dediğiniz gibi tekrar tarama talebinde bulundum.

    @RakipsizHizmet; Tarama bütçesini çok olumsuz etkileyeceğinden endişe etmekteyim zaten. Bahsettiğim sayfa sayısı neredeyde 80bin adet. Son olarak bir yanlış anlaşılma oldu herhalde bu URL'ler whatsapp twitter pinterest vs. paylaşma butonu URL'leri yani bu sayfalara meta kodunu eklemem mümkün değil. İçeriğin olduğu sayfaya eklersem de içeriğimi no index yapmış olurum.
  • 13-03-2025, 16:00:22
    #5
    cetin61
    cetin61
    mylih adlı üyeden alıntı: mesajı görüntüle
    Öncelikle tavsiyeleriniz için teşekkürler,
    @cetin61; hocam robots.txt dosyamızda "Disallow: /share? " zaten aylardır bulunuyordu ve böyle bir sorun yaşamıyorduk. Yani yakın tarihte bir değişiklik yapıldı ve google robots.txt'yi taramamış degil. Ayrıca kontrol ettim en son 1 hafta önce robots dosyası taranmış. Yinede dediğiniz gibi tekrar tarama talebinde bulundum.

    @RakipsizHizmet; Tarama bütçesini çok olumsuz etkileyeceğinden endişe etmekteyim zaten. Bahsettiğim sayfa sayısı neredeyde 80bin adet. Son olarak bir yanlış anlaşılma oldu herhalde bu URL'ler whatsapp twitter pinterest vs. paylaşma butonu URL'leri yani bu sayfalara meta kodunu eklemem mümkün değil. İçeriğin olduğu sayfaya eklersem de içeriğimi no index yapmış olurum.
    Bu linkler muhtemelen direkt olarak 301 olmuyorlar. Google botu 301i index almaz genellikle.. Share linkinin birini url denetimine atıp önce taranan sayfayı göster diyip oradaki kodu ardından, canlı test yapıp onun ile çıktı aldığı kodu gönderebilir misiniz?
  • 13-03-2025, 16:47:31
    #6
    mylih
    mylih
    Canlı testte URL'lerin indexlenmediği gözüküyor. Sayfalar sekmesinde indexli gözüküyorlar. Search Console kendisiyle çelişiyor

  • 14-03-2025, 09:39:32
    #7
    Gelistirici
    Gelistirici
    En iyisi sanırım
    Eğer daha önceden taradıysa o yüzden indexlemiş olabilir. Search Console sayfa sayısı bölümü haftalık güncellenir.
    Veya bu URL'ler aşırı fazla trafik alıyorsa, Google robots.txt'yi gözardı edebilir.