İpucu: Penquencik sorunu yaşayanların izleyeceği yol.

Bunun için robots.txt yi fazla kurcalamanızı tavsiye etmem. Google webmaster tools aracılığı ile Google dizini bölümünden URL'leri kaldır seçeneğini kullanmanız daha mantıklıdır. Kırık link 404 hatası verdiği veya ulaşılmadığı müddetçe zaten bir zaman sonra arama motorlarından kalkacaktır. Engelleme ayrı, dizinden kaldırmak ayrı. İkisi farklı şeyler...

Kırık linkleri webmaster toolsdan kaldırmak google için etkili olabilir ama diğer arama motorlarınıda düşünmek gerek.

Diğer arama motorları konusunda haklısınız. Fakat robots.txt ulaşılmaz olmasını istediğiniz sayfa veya klasörleri arama motorların index almasını engellemek için kullanılır. Yoksa googleda indexlerinizi ararken, "site:siteadi.com gibi"

Size en alakalı sonuçların gösterilmesi için yukarıda görüntülenen 6 sonuca benzer bazı girişler çıkarıldı.
İsterseniz, aramayı çıkarılan sonuçlarla birlikte tekrarlayabilirsiniz.

Bu şekilde sonuç alacaksınız. Robots.txt ile arama motorlarından sitenize ulaşmak isteyen kullanıcılara ve arama motorlarında sıralanan sayfaları gizlemiş oluyorsunuz. Dikkat ederseniz, Arama motorlarına değil(!) Botlar gene o içeriklere ulaşacaktır, gene o içerikleri index alacaktır. Fakat sorun google dışındaki arama motorlarındaki index alınmış sayfaları kaldırtmak ise, tıpkı googleda yaptığınız gibi URL kaldırma işlemini yapabilirsiniz. Zaten kırık linklere 404 sayfası döndermediğinizi düşünmüyorum, o yüzden robots.txt yi bu şekilde kullanmak mantıklı değil.

User-agent: *
Disallow:
Disallow: /*ref=*
Disallow: /*?ref=

Disallow: /*?ref=ornek1.com
Disallow: /*?ref=ornek2.net

++++++++++++++++++++++++++++++++++
Robots.txt dosyanızda www kullanmayın.

404 sayfasında head etiketi içerisinde <meta name="robots" content="noindex,follow" /> şeklinde kullanırsan robots.txt ile uğraşmana gerek olacağını sanmıyorum

Dünyanın neresine gidersen git ençok kullanılan 404 yöntemi robots.txt tir sırf bunun için webmaster tools ta robots.txt tester mevcuttur bilip bilmeden teşvik etmeyelim lütfen

--R10.NET; Flood Engellendi -->-> Yeni yazılan mesaj 08:36:19 -->-> Daha önceki mesaj 08:33:43 --

hepsinde ref çekmesine gerek yok

Örnek robots.txtimden bir örnek vereyim

User-Agent: *
Disallow: /captcha.php
Disallow: /editpost.php
Disallow: /misc.php
Disallow: /modcp.php
Disallow: /moderation.php
Disallow: /newreply.php
Disallow: /newthread.php
Disallow: /online.php
Disallow: /printthread.php
Disallow: /private.php
Disallow: /ratethread.php
Disallow: /report.php
Disallow: /reputation.php
Disallow: /search.php
Disallow: /sendthread.php
Disallow: /task.php
Disallow: /usercp.php
Disallow: /usercp2.php
Disallow: /calendar.php
Disallow: /*action=emailuser*
Disallow: /*action=nextnewest*
Disallow: /*action=nextoldest*
Disallow: /*year=*
Disallow: /*action=weekview*
Disallow: /*action=nextnewest*
Disallow: /*action=nextoldest*
Disallow: /*sort=*
Disallow: /*order=*
Disallow: /*mode=*
Disallow: /*datecut=*
Disallow: /konu-the-mg-okul-not-yonetimi-scripti.html?action=newpost
Disallow: http://scriptburada.net/konu-forum-kurallari.html
Disallow: http://scriptburada.net/forum-e-ticaret
Disallow: http://scriptburada.net/konu-stwity-takipci-script-v1-3.html
Disallow: http://scriptburada.net/konu-wordpress%E2%80%99te-eklenti-nasil-kurulur.html
Disallow: http://scriptburada.net/konu-wordpress-nedir.html
Disallow: http://scriptburada.net/konu-wordpress-vip-eklenti-chat-sistemi.html
Disallow: http://scriptburada.net/konu-wordpress-haber-blog-sitesi-temasi.html
Disallow: http://scriptburada.net/konu-tema-logo-satma-scripti-full.html
Disallow: http://scriptburada.net/konu-psd-magazine-dergi-kapaklari.html
Disallow: http://scriptburada.net/konu-wordpress-puan-durumu-fikstur-eklentisi.html
Disallow: http://scriptburada.net/konu-hesabiniza-her-gun-yuzlerce-havale-gelsin-hem-del-5-er-10-lira.html
Disallow: http://scriptburada.net/whmcs
Disallow: http://scriptburada.net/archive/index.php?forum-8.html
Disallow: http://scriptburada.net/sohbet.php
Disallow: http://scriptburada.net/forumdisplay.php?fid=133
Disallow: http://scriptburada.net/member.php?action=profile&uid=3
Disallow: http://scriptburada.net/konu-wordpress-haber-magazin-teknoloji-sitesi-temasi.html
Disallow: http://scriptburada.net/forumdisplay.php?fid=129
Disallow: http://scriptburada.net/uye-stwity.html
Disallow: http://scriptburada.net/forumdisplay.php?fid=136
Disallow: http://scriptburada.net/archive/index.php?forum-9.html
Disallow: http://scriptburada.net/tagcloud.php?tag=guppy
Disallow: http://scriptburada.net/tagcloud.php?tag=kasma
Disallow: http://scriptburada.net/archive/index.php?thread-39.html
Disallow: http://scriptburada.net/uye-saimyildiz.html
Disallow: http://scriptburada.net/forumdisplay.php?fid=116
Disallow: http://scriptburada.net/archive/index.php?thread-724.html
Disallow: http://scriptburada.net/forumdisplay.php?fid=117
Disallow: http://scriptburada.net/konu-sunucumuz-tasinmistir.html
Disallow: http://scriptburada.net/uye-bykasparow.html
Disallow: http://scriptburada.net/uye-kutay4343.html
Disallow: http://scriptburada.net/konu-ucretsiz-wordpress-haber-temasi-%E2%80%93-snapwire.html
Disallow: http://scriptburada.net/tagcloud.php?tag=platinum
Disallow: http://scriptburada.net/archive/index.php?thread-212.html
Disallow: http://scriptburada.net/konu-canli-destek-sistemi-coklu-konusma-live-zilla-tarzi-bedava-full.html
Disallow: http://scriptburada.net/uye-olderstyle.html
Disallow: http://scriptburada.net/uye-yakuza.html
Disallow: http://scriptburada.net/uye-s3s.html
Disallow: http://scriptburada.net/tagcloud.php?tag=linkex-
Disallow: http://scriptburada.net/uye-umut54848.html
Disallow: http://scriptburada.net/archive/index.php?forum-1.html
Disallow: http://scriptburada.net/konu-mt2dosyalar-cloud-index-tasarimi.html
Disallow: http://scriptburada.net/archive/index.php?thread-734.html
Disallow: http://scriptburada.net/tagcloud.php?tag=king
Disallow: http://scriptburada.net/tagcloud.php?tag=kisaca
Disallow: http://scriptburada.net/tagcloud.php?tag=sayac
Disallow: http://scriptburada.net/tagcloud.php?tag=links
Disallow: http://scriptburada.net/tagcloud.php?tag=mailchimp
Disallow: http://scriptburada.net/tagcloud.php?tag=code
Disallow: http://scriptburada.net/forumdisplay.php?fid=113
Disallow: http://scriptburada.net/tagcloud.php?tag=yukleme
Disallow: http://scriptburada.net/showthread.php?tid=745
Disallow: http://scriptburada.net/uye-a2012.html
Disallow: http://scriptburada.net/tagcloud.php?tag=tags
Disallow: http://scriptburada.net/tagcloud.php?tag=siyah
Disallow: http://scriptburada.net/tagcloud.php?tag=qr-code
Disallow: http://scriptburada.net/tagcloud.php?tag=smart
Disallow: http://scriptburada.net/konu-yoast-wordpress-seo-ucretsiz-wp-seo-eklentisi.html?action=lastpost
Disallow: http://scriptburada.net/tagcloud.php?tag=zcumbeton

Robotx ile Engelleme


User-Agent: *
Disallow: /?ref=site.com/
Disallow: /?ref=sub.site.com/

Gibi engelleyebilirsiniz yada toplu olarak engelleyebilirsiniz düşük hitli siteleri

Kardeş sen nasıl kurtardın sitelerini? böyleyse eğer zaten linkleri reddettiğinde kurtulmuşsa kurtulur. Bana kalırsa bu işten pek anladığında yok kusura bakma sen yanlış bilgi veriyosun arkadaşlar açıklamış sen halen ben biliyorum işlerine giriyosun bilmemek ayıp değil öğrenmemek ayıp. Doğru bildiğin yanlışlar var biraz ekleme yapayım bak.

Disallow: http://scriptburada.net/tagcloud.php?tag=code

Bu böyle eklenmez doğrusu;

Disallow: /tagcloud.php?tag=code budur hatta işin içine regex katarsak dahada geliştirilebilir.

404 bulunmayan sayfalarda döndürülen koddur, robots.txt dosyasına eklediğin engellemektir bu şekilde o urlyi kaldırtacağına bir arkadaşın tekide söylemiş, noindex,follow veyahut noindex,nofollow yaparak o urlenin googleden silinmesini sağlayabilirsin. Tekrar ediyorum engellemek ayrı şey bulunmayan sayfaları kaldırmak ayrı şey. 2 Türlüde google dizinden siler fakat örneğin aktif bir sayfanızı engellediğinizde sayfa çalışır fakat engellemişsinizdir googlede indexlenmez yani pratik yolu varken metalardan noindex yapabilirken tek tek eklemeniz sisteminizi buna göre yapmamanız acemice oluyor bilmem anlatabildimmi.

iyi forumlar.

Çok yanlış düşünüyorsun 5-6 gün önce aldığım hata çok fazla kırık sayfa olmasıydı yaklaşık 3000 kırık linkte 3k hitsten 1.5 kya düşürdü %20 sini temizledim sıralamda yerim oynadı yukarı çıkmaya tekrar başladım. diğer sitemdede 400 adet kırık sayfa çıktı 500 kişiden 250 kişiyekadar düşmüştü 2 sayfadada robots.txten engelleme yaptım şuanda tekrar aynı hitse ulaşmaya başladı buyrun buda resimler

Normalde 1.gün istatistik



Sıralamada 7,8 sıra kaybettım ama herhangi bir uyarı gelmedi hemen 404 sayfalarını robots.txt le red ettim ardından bugun sabaha kadar 65 kişi girmiş dün sabah bu saate kadar giren sayısı 36 idi


--R10.NET; Flood Engellendi -->-> Yeni yazılan mesaj 10:14:01 -->-> Daha önceki mesaj 10:04:59 --

Bence senin hiçbir bilgin yok zaten panelden link olarak editlediğindede http olarak engelliyorsun senin /sada.html olarak verdiğin link dışardanda klasor yolunu belirler yani www. ile arasında hiçbir fark yoktur. Bunu kolayca Robots editörden görebilirsin.

Bilgisizliğin alasını yaşıyorsun google docsu neden icat etti veya neden sana bunları cvs olarak webmaster toolstan indirtiyor veya neden txt dosyası ile güncelleyebiliyorsun düşün bakalım ? docs olarak indirdiğinde veya cvs olarak indirdiğinde sadece linkleri alip notpade yapıştırabiliyorsun , Bir konu hakkında bilgin yoksa yorum yapmayacaksın. Elle tektek 4000 tane linki silmem 10 günümü alır . Docs ile tablo olarak online açıp 1snde kendi özelliği olan kes yöntemiyle alıp robots.txt dosyasına ekleyebiliyorum. İnsanları boş yere farklı düşüncelere sokma sen bildiğin yöntemi uygula ben bildiğimi uygularım dilersen analiz screenlerini atarım sıralamada 1,2 iken 8.sıraya duşmem ayrıca engeller engellemez sıralamaya tekrar girmem 8sitede rastlantı olamaz .

Disallow: /katagori/
Disallow: /private_file.html
Yukarıdaki verdiğim kodların benim verdiğimle hiçbir farkı yok zaten google bot.txt siteyi ziyaret ettiğinde site yolunu okur örnek olarak sitemap robots yapılandırmasına bakarsan oradada link verildiği görülmüştür yanı adam sitemap: http://www.sadad.com/sitemap.xml olarak yolunu göstermiş bu linke allow verirken neden Disallow: veremeyelim ? ve Koskoca Google amcadan daha iyi biliyorsun.



http://www.sabah.com.tr/robots.txt buyur kardeşim sitemap için kullanılan allow izni http olarak verilmiş bu adam işi bilmiyorda senmi biliyorsun. Allow yada Disallow hiç farketmez o komut robots.txt e paşalar gibi geçer.

Son birşey daha ekleyeceğim Sen bir alışveriş sitesisin diyelimki site alt yapılandırman yani Url yapılandırmanı değiştirdin ve sonrasında senin hakkında yazılan yazılar mevcut atıyorum trendyol gibi bir sitesin bir anda link yapılandırması değişti ve eski linklerin gitti noindex yaptığın an ne olur biliyormusun sana zararı dokunur oradan gelen hitler kaybolur taki senin konunu elle gözle bulana kadar sitene gelemezler. Doğru olan yöntem sitene 301 çekip olmayan linklere hata sayfası oluşturup bu şekilde linkleri disallow ederek benım şuan kullandığım linkler bu değil veya o linkleri yönlendirerek yeni linkine yönlendirirsin bundan başka bir seçenek yoktur. Yap dene gör sonucunu gel bana yaz bakalım . Senin anlattığın olay tamamen farklı bir olay hakkında w.a.r.e.z veya 18 tarzında illegal sitelerde işe yarar örnek illegal bir 18 sitede adam kıllığına makale koymuştur hitsi vardır o seni indexler bunu anca bu yöntemle çözersin bunun başka bir yolu yoktur. Neyse Avatarını çok beğendim çok yakışmış kardeşim