User-agent: *
Disallow: /*.php
Disallow: /*.pl
Disallow: /*.cgi
Disallow: /*.swf
Disallow: /*.iso
Disallow: /*.zip
Disallow: /*.exe
Robots.txt dosyasında hangi tür dosya indekslenmesi diyorsan o dosya türlerini bırakman yeterli olacaktır.
Zamanında
şurda sormuştum yanıt alamamıştım
robots.txt içinde bunu kullandığımda herhangibir dizindeki .swf uzantılarını görmeyecek mi? Test ettinmi yada çalışıyormu bilgin varmı yanlış birşey yapmayalım.
Benim swf klasörüm belli sürelerde değişiyor o yüzden pek işime gelmiyordu ama bu şekilde kullanıyordum eğer senin swf klasörün değişmiyorsa şunu kullanabilirsin.
Alıntı
User-agent: *
Disallow: /sfw/