yukarıdakı baglantıda robot.txt ve zararlı botları engellemeye yarayan bir anlatım var. buraya kadar bir sorun yok, zararlı botları buraya bakarak aynı mantıkta engelledım bende.
ancak;
https://www.kukumav.net/robots.txt
https://www.kukumav.net/blog/robots.txt
bizlere bu anlatımı veren siteler neden kendı sitelerınde kendılerı kullanma gereği duymuyorlar?
yukarıdakı site sadece bir örnek çok sık karsılastıgım bir durum bu
