birisine ait değil ve yasak değil lütfen madem böyle olacak koskoca googleda scrape servisi niye var
dediğim gibi haber sitesi yada kişisel blog değil
Google botlarını kapatma şansı veriyor size;
yani diyor ki beni bu şekilde bloklayabilir ve bu şekilde sizden bilgi almama izin vermeyebilirsiniz.
Ha eğer birisine ait değil ve yasak degilse o zaman lafım yok zaten.