scrapy ile içiçe sayfları kazıma?

21-07-2021, 20:05:46

Kimlik doğrulama veya yönetimden onay bekliyor.

scarpy ile bir sayfadaki ürünlerin linklerini aldım
forarainresponse.xpath("//td[@class='searchResultsTitleValue ']"):
yield{
"Link" : ara.xpath(".//a[@class=' classifiedTitle']/@href").get(),
}
olarak elimde linkler mevcut. Şimdi bu sayfalara da tek tek girip ordaki bi kaç bilgiyi de almam lazım ancak nasıl yapacağımı bulamadım. İşe başlarken

start_urls2 = [ara.xpath(".//a[@class=' classifiedTitle']/@href").get()]

şeklinde yaparım diye düşünmüştüm ancak yield içinde o şekilde çalışmıyormuş.
Araştırmalarımda
callback - urljoin gibi komutları gördüm ama nasıl kullanacağımı anlayamadım

21-07-2021, 20:06:47

#2

keremyagan

Python Coder

Python ile yardımcı olabilirim hocam isterseniz

21-07-2021, 23:25:58

#3

keyiflerolsun

YaBuZ adlı üyeden alıntı: mesajı görüntüle

scarpy ile bir sayfadaki ürünlerin linklerini aldım
forarainresponse.xpath("//td[@class='searchResultsTitleValue ']"):
yield{
"Link" : ara.xpath(".//a[@class=' classifiedTitle']/@href").get(),
}
olarak elimde linkler mevcut. Şimdi bu sayfalara da tek tek girip ordaki bi kaç bilgiyi de almam lazım ancak nasıl yapacağımı bulamadım. İşe başlarken

start_urls2 = [ara.xpath(".//a[@class=' classifiedTitle']/@href").get()]

şeklinde yaparım diye düşünmüştüm ancak yield içinde o şekilde çalışmıyormuş.
Araştırmalarımda
callback - urljoin gibi komutları gördüm ama nasıl kullanacağımı anlayamadım

Buyrun size örnek projem : https://github.com/keyiflerolsun/Scrapy_Yenir_Mi

23-07-2021, 15:22:09

#4

MontyPython

Sahibinden.com dan çektiriyorsun sanırım.

classifiedTitle

görünce...

24-07-2021, 14:00:08

#5

YaBuZ

keyiflerolsun adlı üyeden alıntı: mesajı görüntüle

Buyrun size örnek projem : https://github.com/keyiflerolsun/Scrapy_Yenir_Mi

teşekkürler ilgilendiğiniz için

24-07-2021, 14:02:09

#6

YaBuZ

MontyPython adlı üyeden alıntı: mesajı görüntüle

Sahibinden.com dan çektiriyorsun sanırım.

classifiedTitle

görünce...

aynen 1.5 sene önce php ile yapmıştım çok işime yaramıştı ancak php ile güvenlik engellerini aşmak baya zorlaşmış bu sebeple ne zamandır öğrenmeyi düşündüğüm python a bahane oldu benim için

bu tarz bir sıkıntı ile karşılaşan olursa da yardımcı olması bakımından
response.follow ve callback ile çözebilirler