ulijonroth adlı üyeden alıntı: mesajı görüntüle
User-agent: *
Disallow: /*.php
Disallow: /*.pl
Disallow: /*.cgi
Disallow: /*.swf
Disallow: /*.iso
Disallow: /*.zip
Disallow: /*.exe
Robots.txt dosyasında hangi tür dosya indekslenmesi diyorsan o dosya türlerini bırakman yeterli olacaktır.
Zamanında şurda sormuştum yanıt alamamıştım
Alıntı
Disallow: /*.swf
robots.txt içinde bunu kullandığımda herhangibir dizindeki .swf uzantılarını görmeyecek mi? Test ettinmi yada çalışıyormu bilgin varmı yanlış birşey yapmayalım.

Benim swf klasörüm belli sürelerde değişiyor o yüzden pek işime gelmiyordu ama bu şekilde kullanıyordum eğer senin swf klasörün değişmiyorsa şunu kullanabilirsin.
Alıntı
User-agent: *
Disallow: /sfw/