hocam google ın mantıklarından biri şu örnek yat kiralama yazdınız yat kiralama fiyatlarıyla alakalı metinleri öne çıkarıyor. yani olay şu kullanıcıların neyi arıyorsa onla alakalıysa eğer siteniz bir yerden bağlantı veya google kullanıcısı girmişse ona göre bot gönderiyor mantığı kısaca "aa bu bununla alakalıymış, bu tarz kullanıcıların ilgi alanı vs." deyip çıkarıyor gibi bir şey.
Hocam sunucuda bulunan diğer siteleri de her defasında tarayarak yeni eklenenleri fark edip sisteme ekliyor şeklinde bir yöntemde hatırlıyorum da bilmediğim daha genel bir yöntem varsa kullanışlı botu yazılabilecek onu merak etmiştim