Robots.txt'te Türkçe karakter kullanımı hakkında

Selamlar arkadaşlar. MediaWiki altyapılı bir sitem bulunuyor ve robots.txt dosyasına Disallow: /index.php/Özel: gibi Türkçe karakter içeren kurallar eklemem gerekiyor, ekliyorum da sorun yok ancak dosyayı tarayıcıda açınca Ö harfi Ö olarak çıkıyor. Cpanel'de dosyayı düzenlerken Encoding'i utf-8 seçerek düzenlemeyi denedim olmadı, direkt bilgisayarımda oluşturup yüklemeyi denedim yine aynı.

Bu sorunu nasıl aşabiliriz?

Hiçbiriyle uğraşmayıp direkt * eklerseniz sorun kalmaz.

Disallow: /index.php/*
Disallow: /index.php/*/

Yine de karakter kodlamasıyla bu sorunu aşabilirsiniz:

Disallow: /index.php/Özel:
Disallow: /index.php/Şablon:

Ö = Ö
Ş = Ş

Daha fazlasına şuradan ulaşabilirsiniz:
https://www.ee.ucl.ac.uk/~mflanaga/j...IItableC1.html

Google bu kodlamayı algılayabilir ve sorun kalmaz. Test için Google'da Ö aratırsanız durumu anlarsınız ama yine de * ekleyerek önündeki tüm sayfaların indekslenmesinin önüne geçmiş olursunuz.

Edit: R10 da algıladığı için çevirme yapıyor bu yüzden ekran görüntüsü olarak ekledim:

Hocam * kullanamam çünkü MediaWiki'de şöyle bir durum var; normal sayfalar site.com/index.php/Sayfa_Başlığı formatında, ancak bu sayfaların düzenleme, geçmişi görüntüleme gibi yönetim sayfaları ise site.com/index.php?title=Sayfa_Başlığı&action=edit şeklinde. Haliyle * koyarsam ana içerik sayfalarını da engellemiş olurum, zaten şu an bir gariplik var Google indeks almıyor bir de böyle hepten engellemeyeyim

Karakter kodlama tekniğine bir göz atayım, teşekkür ederim.

Az önceki mesajımı düzelttim. R10 da algılama yaptığı için direkt çevirmiş ama ekran görüntüsünden anlarsınız ve karakter kodlamasıyla düzeltebilirsiniz.

Bir diğer konu ise, verdiğiniz bağlantıların birisi eyleme, diğeri sonuca dayalı ve onu da şöyle halledebilirsiniz:

Disallow: /index.php?*
Allow: /index.php/*

?* action/işlem
/* sonuç/semantik URL

Tabii yine de endişe içinde kalmamak için en iyi çözüm karakter kodlamasıyla yapmak olacaktır.