Şuan sitemin robots.txt dosyası şu şekilde

Alıntı
User-Agent: *
Allow: /

Disallow: /*?ref=*
Disallow: /*%CAtegory*
Site yöneticisi araçlarında 80 kadar bulunamayan sayfa var ve bunları kaldırmak için girdiğimde şöyle bir dosya verdi.

Alıntı
User-agent: *
Allow: /

User-agent: Googlebot
Disallow: /murat-boz-gumbur-gumbur-dinle.html
Disallow: /opusme-ve-sevisme-sahneleri.html
Disallow: /gece-gunduz-27bolum.html
Disallow: /gunaydin-mesajlari.html
Disallow: /index.php/her-eve-lazim.html
Disallow: /memati-kurtlar-vadisi-bu-sehir-girdap-gulum.html
Disallow: /cilgin-dershane.html
Disallow: /index.php/fox-tv-carkifelek-yarismasi.html
Disallow: /kategori/ask-bir-hayal
Disallow: /ask-bir-hayal/ask-bir-hayal-7-bolum-izle-8-kasim-izle.html
Disallow: /18-nisan-2009-ehliyet-sinav-sorulari.html
Disallow: /x-men-wolverine-fragmani-izle.html
Disallow: /index.php/sabahlarin-sultani-seda-sayan.html
Disallow: /yalanci-romantik/yalanci-romantik-54-bolum-izle.html
Disallow: /gunesi-gordum-fragmani-izle.html
Disallow: /zoraki-baskan/zoraki-baskan-izle-10-bolum-izle.html
Disallow: /toygar-isikli-son-sardunyalar-dinle.html
Disallow: /arsenal-villareal-izle.html
Disallow: /9-sinif-edebiyat-dersi-konulari.html
Disallow: /gokhan-kirdar-dayan-kalbim-dinle.html
Disallow: /spor/trabzonspor-4-kayserispor-1-macinin-ozeti-ve-gollerini-izle-2-mayis.html
Disallow: /atv-bir-sarkisin-sen-yarismasi.html
Disallow: /serdar-ortac-sikayet-dinle.html
Disallow: /sicak-18.html
Disallow: /milan-barosun-rovasata-golu.html
Disallow: /cehennem-yolu-hero-wanted-izle.html
Disallow: /ender-erman-eksik-etek.html
Disallow: /sila-bana-biraz-renk-ver-dinle.html
Disallow: /superbahis273.html
Disallow: /candan-ercetin-biyografisi.html
Disallow: /ssk-randevu-almak.html
Disallow: /bagkur-emekli-ayligi.html
Disallow: /asi/asi-70-bolum-izle.html
Disallow: /msn-yazilari.html
Disallow: /index.php/avg-anti-virus-free-edition-80237-programi.html
Disallow: /spor/3-kasim-sampiyonlar-ligi-maclari-ozetleri-goll
Disallow: /disko-krali-24-25-nisan.html
Disallow: /alexander-buyuk-iskender-izle.html
Disallow: /ozan-canima-yetti-dinle.html
Disallow: /kategori/varmisin-yokmusun
Disallow: /murat-boz-hatun-yikilir-dinle.html
Disallow: /index.php/gece-gunduz-27bolum.html
Disallow: /sila-bitse-de-gitsek-dinle.html
Disallow: /beyonce-feat-jay-z-baby-boy.html
Disallow: /avg-anti-virus-free-edition-80237-programi.html
Disallow: /ebru-yasar-eger.html
Disallow: /manga-dunyanin-sonuna-dogmusum.html
Disallow: /erkekleri-etkilemenin-yollari.html
Disallow: /muro-filmi-izle.html
Disallow: /genel/1-mayis-isci-bayrami-haberleri.html
Disallow: /sila-her-an-aksilik-cikabilir-dinle.html
Disallow: /kavak-yelleri-79-bolum-18-nisan.html
Disallow: /rafet-el-roman-askindan-haber-ver-dinle.html
Disallow: /duman-senin-gibi.html
Disallow: /index.php/yabanci-damat-106-bolum-final-ozeti.html
Disallow: /ceylan-son-albumu-bir-daha.html
Disallow: /haber/kabir-azabi-ceken-genc-cocuk.htmlkabir%20azab%C4%B1%20%C3%A7eken%20gen%C3 %A7%20%C3%A7ocukkabir%20azab%C4%B1%20%C3%A7eken%20 gen%C3%A7%20%C3%A7ocuk
Disallow: /hidalgo-fragmani-izle.html
Disallow: /kategori/zoraki-baskan
Disallow: /ajda-pekkan-flu-gibi-dinle.html
Disallow: /yabanci-damat-106-bolum-final-ozeti.html
Disallow: /fox-tv-carkifelek-yarismasi.html
Disallow: /knowing-kehanet-izle.html
Disallow: /titanic-filminin-sarki-sozleri.html
Disallow: /aof-2009-sinav-sorulari.html
Disallow: /sicak-video.html
Disallow: /murat-boz-ucurum-dinle.html
Disallow: /asi/asi-70-bolum-12-haziran.html
Disallow: /index.php/ssk-randevu-almak.html
Disallow: /kategori/yalanci-romantik
Disallow: /sila-en-dogru-zaman-dinle.html
Disallow: /sabahlarin-sultani-seda-sayan.html
Disallow: /benjamin-button-izle.html
Disallow: /her-eve-lazim.html
Disallow: /aski-memnu-29-bolum-izle.html
Disallow: /spor/4-kasim-carsamba-oynanan-sampiyonlar-ligi-macl
Disallow: /cem-erman-biyografisi.html
Disallow: /ask-bir-hayal/ask-bir-hayal-5-bolum-izle.html
Allow: /
En sonda bi daha Allow: / var. Kısacası nasıl yapmalıyım hazır olan robots. txt üzerine bunları eklersem ne şekilde olmalı ? Ve bir de silinmesini istediğim sayfaları doğru mu yazmışım? Şimdiden teşekkürler