Şöyle birşey düşündüm.
Arama motorundan kelimeler aratıp, Çıkan sonuçların linklerini çekip.
Her bir linke girip h1 <p> ve img dan başlık makale ve resim çekmeye çalışıyorum
Beautifulsoup ve requests ile yapıyorum.
Ama sanırım her sitede resim img src bulunmuyor
demin bir sitede data-src buldum img etiketi aldında.
Bu şekilde nasıl tüm sitelerden içerik çeken sabit kodlu bir bot yazabilirim