Wordpress Sitede Robots.txt olmasa ne olur ?

18-12-2018, 14:32:10

Arkadaşlar geçen fark ettim bir sitemde '' Robots.txt '' yok ? Bunun zararını görür müyüm ? Oluşturmalımıyım ? ( Ben googlenin herşeyi baktığını düşünüyorum da.)

18-12-2018, 14:40:14

#2

BigSEO

PREMIUM SEO

Robots.txt dosyasıyla botlar daha kolay hareket eder sitende. Olması tabi ki yararına olur.

18-12-2018, 14:42:47

#3

HasanAYT

BigSEO adlı üyeden alıntı: mesajı görüntüle

Robots.txt dosyasıyla botlar daha kolay hareket eder sitende. Olması tabi ki yararına olur.

Saolun hocam sizi bulmuşken örnek atayım direk böyle bir dosya ile koysam yeterli mi ?

sitemap: https://www.örnek/sitemap.xml.

User-agent: *

Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/
Disallow: /archives/
disallow: /*?*
Disallow: *?replytocom
Disallow: /wp-*
Disallow: /author
Disallow: /comments/feed/
User-agent: Mediapartners-Google*
Allow: /
User-agent: Googlebot-Image
Allow: /wp-content/uploads/

User-agent: Adsbot-Google
Allow: /

User-agent: Googlebot-Mobile

18-12-2018, 14:56:25

#4

BigSEO

PREMIUM SEO

HasanAYT adlı üyeden alıntı: mesajı görüntüle

Saolun hocam sizi bulmuşken örnek atayım direk böyle bir dosya ile koysam yeterli mi ?

sitemap: https://www.örnek/sitemap.xml.

User-agent: *

Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/
Disallow: /archives/
disallow: /*?*
Disallow: *?replytocom
Disallow: /wp-*
Disallow: /author
Disallow: /comments/feed/
User-agent: Mediapartners-Google*
Allow: /
User-agent: Googlebot-Image
Allow: /wp-content/uploads/

User-agent: Adsbot-Google
Allow: /

User-agent: Googlebot-Mobile

Yeterli.