deepcrawl alıyorsunuz sonra orada bulunamayan urlleri çıkart diyorsunuz ardından robot.txt'den o urlleri engelliyorsunuz
.
Deepcrawl hakkında bilgi verebilir misiniz hocam ? Nedir nasıl yapılır kısmetimizde varsa mı uğrar sitemize yoksa Google gibi getir deepcrawl mıdır ? Bu konuyu hep merak ediyordum