Siteleri yazıyorsunuz da veriyi array yaptınız mı ki? Gelen post'u array yapmalısınız ki elinizde url olsun. Ayrıca Crawler için bu kadar uğraşmanıza lüzum yok, bir sürü Crawler reposu var Github'ta.