https://www.kukumav.net/blog/robots-txt-olusturma/

yukarıdakı baglantıda robot.txt ve zararlı botları engellemeye yarayan bir anlatım var. buraya kadar bir sorun yok, zararlı botları buraya bakarak aynı mantıkta engelledım bende.

ancak;
https://www.kukumav.net/robots.txt
https://www.kukumav.net/blog/robots.txt

bizlere bu anlatımı veren siteler neden kendı sitelerınde kendılerı kullanma gereği duymuyorlar?

yukarıdakı site sadece bir örnek çok sık karsılastıgım bir durum bu