Google'ın öyle bi apisi vardı sanırım mesela vbulletin forumlarda google botları kayıt olmadan, linkleri görebiliyor içeriği kapalı olanlardada içeriği görüyor. Bunu bir araştır istersen