Ya geçen birisi birşey yazmıştı ona mahsuben bende robots.txt ile oynadım
Robots.txt de aşağıya yazacağım kodların avantajları yada dezavantajları varmı?
Alıntı
User-agent: Mediapartners-Google*
Disallow:
User-agent: Googlebot
Disallow:
User-agent: MSNBot
Disallow:
User-agent: Yahoo! Slurp
Disallow:
User-agent: *
Disallow:
Saygılarımla