robot.txt sayfasında istemediğin siteleri yazdım ona rağmen girerlerse robot.txt sayfasının bir anlamı olmuyor sanırım
Robots.txt arama motorlarının indexlemesi için kullanılıyor.
Normal bir kullanıcı orada yasaklı olan içeriklere de ulaşabilir ek doğrulama yoksa(üye girişi vs)