robots.txt Hakkında - Sayfa 2

21-09-2012, 19:42:17

#10

User-agent: *
allow: /

Yukarıdaki Kod Tüm arama motorlarının taramasına izin vermiyorum demek..
Yani arama motor botları sitenize gelmez..

Aşağıdai kodu ekleyin..

User-agent: *
Disallow:

yazın sadece başka hiçbirşey yazmayın önune tüm botların taramasına izin vermiş olacaksınız..

21-09-2012, 19:44:02

#11

drupal

Robot txt ile alakalı değil sorun.Zaten arkadaş dosyasını söylemiş.Siteyi arama motorlarına kapatmanın bir sonucudur.

mrks adlı üyeden alıntı: mesajı görüntüle

User-agent: *
Disallow:

yazın sadece başka hiçbirşey yazmayın önune tüm botların taramasına izin vermiş olacaksınız..

22-09-2012, 00:34:38

#12

cappa

mrks adlı üyeden alıntı: mesajı görüntüle

User-agent: *
allow: /

Yukarıdaki Kod Tüm arama motorlarının taramasına izin vermiyorum demek..
Yani arama motor botları sitenize gelmez..

Aşağıdai kodu ekleyin..

User-agent: *
Disallow:

yazın sadece başka hiçbirşey yazmayın önune tüm botların taramasına izin vermiş olacaksınız..

Maalesef yukarıdaki açıklama hatalı bir açıklama olmuş:

İlk kodun anlamı "Tüm arama motorlarının taramasına izin vermiyorum demek" değildir. Aksine bu kod tüm arama motorlarının tüm sayfaları taramasına izin vermektedir. Yıllardır robots.txt dosyamın içeriği bu şekildedir ve taranma problemi bulunmamaktadır. İlk kodun, sağlayacağı sonuç açısından, şu koddan farkı bulunmamaktadır.

User-agent: *
Disallow:

Bunun yanında, esas "Tüm arama motorlarının taramasına izin vermiyorum demek" için kullanabileceğiniz kod ise bu şekildedir:

User-agent: *
Disallow: /

22-09-2012, 17:21:04

#13

mrks

cappa adlı üyeden alıntı: mesajı görüntüle

Maalesef yukarıdaki açıklama hatalı bir açıklama olmuş:

İlk kodun anlamı "Tüm arama motorlarının taramasına izin vermiyorum demek" değildir. Aksine bu kod tüm arama motorlarının tüm sayfaları taramasına izin vermektedir. Yıllardır robots.txt dosyamın içeriği bu şekildedir ve taranma problemi bulunmamaktadır. İlk kodun, sağlayacağı sonuç açısından, şu koddan farkı bulunmamaktadır.

User-agent: *
Disallow:

Bunun yanında, esas "Tüm arama motorlarının taramasına izin vermiyorum demek" için kullanabileceğiniz kod ise bu şekildedir:

User-agent: *
Disallow: /

Arama motolarına izin veriyorum demek..

User-agent: *
Disallow:

Bu koddur..

Eğerki Disallow: önünde / olsaydı bu sefer izin vermiyorum anlamında olurdu.

neyin açıklamasını yaptığınızı anlamıyorum ayni şeyden bahsediyoruz?

22-09-2012, 17:27:21

#14

drupal

Robot.txt dosyasında allow kullanımı çok nadirdir veya yok denecek kada azdır.
Disallow kullanılarak,dosya,klasör ve text dosyalarının indekslenmesi önlenir.
Örnek:Aşağıdaki hiçbir url yolu indekslenmeyecektir.

User-agent: *
Crawl-delay: 10
# Directories
Disallow: /includes/
Disallow: /misc/
Disallow: /modules/
Disallow: /profiles/
Disallow: /scripts/
Disallow: /themes/
# Files
Disallow: /CHANGELOG.txt
Disallow: /cron.php
Disallow: /INSTALL.mysql.txt
Disallow: /INSTALL.pgsql.txt
Disallow: /INSTALL.sqlite.txt
Disallow: /install.php
Disallow: /INSTALL.txt
Disallow: /LICENSE.txt
Disallow: /MAINTAINERS.txt
Disallow: /update.php
Disallow: /UPGRADE.txt
Disallow: /xmlrpc.php
# Paths (clean URLs)
Disallow: /admin/
Disallow: /comment/reply/
Disallow: /filter/tips/
Disallow: /node/add/
Disallow: /search/
Disallow: /user/register/
Disallow: /user/password/
Disallow: /user/login/
Disallow: /user/logout/
# Paths (no clean URLs)
Disallow: /?q=admin/
Disallow: /?q=comment/reply/
Disallow: /?q=filter/tips/
Disallow: /?q=node/add/
Disallow: /?q=search/
Disallow: /?q=user/password/
Disallow: /?q=user/register/
Disallow: /?q=user/login/
Disallow: /?q=user/logout/

22-09-2012, 17:27:21

#15

UnPooMKT

...

--- Edit ---

Pardon kardeşim "/" olayını farketmemişim. Haklısın burada "/" olayı olmadığı zaman otomatik olarak Allow olayına dönmektedir.

22-09-2012, 17:31:12

#16

mrks

UnPooMKT adlı üyeden alıntı: mesajı görüntüle

Üstad yanlışın var

vede insanlarıda yanlış bilgilendirme lütfen. Allow kabul etmektir Disallow ise red etmektir.

- http://www.robotstxt.org/
- http://support.google.com/webmasters...&answer=156449

Saygılar sunarım.

kardeş haklısın allow karşılığı indexle demek evet, ancak / olduğunda googlebot ve yahoobot' bunu indexleme anlamında algılıyorlar bunu bizzat yaşadım örneğin robots.txt dosyasınıza allow: / tre koyarsanız sıkıntı yaşayacaksınız kaldıki konuyu açan arkadaşta ayni sıkıntıyı yaşamış bende yaşadım bu sıkıntıyı bu nedenle..

en iyi yöntem..

User-agent: *
Disallow:

Kodudur.. disallow: önüne "/" tre koyarsak gelme anlamında oluyor eğer koymazsak sorun kalmaz örneğin kendi sitelerimdede bunu kullanıyorum allow:/ komutunda sorun yaşadığım için bunu belirtmek istedim.

22-09-2012, 17:32:44

#17

UnPooMKT

Evet farkettim vermeden direk vermişsin. Yukarda düzenledim mesajı.

---

Bu arada ben direk Alow şeklinde kullanmaktayım ve herhangi bir sıkıntı yaşamıyorum. WP sistemlerde ise ilk kurulumda genelde sorar ki arama motorlarında işleme girsinmi girmesin mi diye burada ilk kurulumda bu hataya gidildiyse ayarlardan direk açılarak ve güncel ping siteleri yardımıyla hızlı bir şekilde bu sorun halledilebilir.

--- Sürekli edite döndü mesajda

- http://www.robotstxt.org/robotstxt.html

22-09-2012, 17:42:48

#18

drupal

Botların normal mantığı takip etmektir.Takip eden bir bota allow vermek teorik olarak gereksizdir.
disallow yanında hiçbirşey belirtilmiyorsa bu hiçbirşeyi yasaklama anlamına gelir."/" ise anadizini gösterir url yolu olarak.Peki neden kullanıyoruz bu robot.txt'i.
A-Sitemizi arama botlarına açmamak için(google,yahoo v.b.)
B-Bazı indekslenmesini istemediğimiz yerlerin veya güvenlik-mahremiyet v.b. yerlerin diğer insanlar tarafından görülmesini engellemek için

Birçok lamer hackleyecek site ararken google arama motorunda arama yapıp açıkları bulmaya çalışır.Bunu engellemek için de robot.txt önemlidir.