Bu soru Selenium ile bot yazan uzman arkadaşlara

Question

Arkadaşlar iyi çalışmalar..

Bir çalışmam için aşağıdaki urldeki ana görseli çekmek istiyorum.. Nasıl yapabilirim..

https://www.olumhaberi.com/haci-acar...aldirida-oldu/

Not: Bu sayfa örnektir. Benzer bir başka siteden çekim olucaktır.

Melihhh · Answer

hangi dille yazıyorsun onu söylemende lazım (:

lookout · Answer

Örnektir

from selenium import webdriver
from selenium.webdriver.common.by import By
import requests
import os

# WebDriver'ı başlatın (Bu örnekte ChromeDriver kullanılıyor)
driver_path = 'path/to/chromedriver'  # Buraya ChromeDriver'ın yolunu girin
driver = webdriver.Chrome(driver_path)

# URL'yi açın
url = 'https://www.example.com'  # Buraya hedef URL'yi girin
driver.get(url)

# Resim elementini bulun (örneğin, img etiketi ve belirli bir sınıf adı ile)
image_element = driver.find_element(By.CSS_SELECTOR, 'img.some-class-name')  # CSS seçiciyi güncelleyin

# Resim URL'sini alın
image_url = image_element.get_attribute('src')

# Resmi indirin ve yerel diske kaydedin
response = requests.get(image_url)
if response.status_code == 200:
    with open('downloaded_image.jpg', 'wb') as file:
        file.write(response.content)
    print('Resim başarıyla indirildi!')
else:
    print('Resim indirilemedi. HTTP Durum Kodu:', response.status_code)

# WebDriver'ı kapatın
driver.quit()
Başka bir örnek

import re
from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.options import Options
import requests

# WebDriver'ı başlatma
driver_path = 'path/to/chromedriver'  # ChromeDriver'ın yolunu girin
options = Options()
options.headless = True  # Tarayıcının görünmemesi için headless modu kullanabilirsiniz
service = Service(driver_path)
driver = webdriver.Chrome(service=service, options=options)

# URL'yi açma
url = 'https://www.example.com'  # Hedef URL'yi girin
driver.get(url)

# Sayfanın HTML kaynak kodunu alma
page_source = driver.page_source

# WebDriver'ı kapatma
driver.quit()

# Regex kullanarak resim URL'sini bulma
# Bu örnekte img etiketlerinin src özniteliklerini düzenli ifade kullanarak buluyoruz
image_urls = re.findall(r'<img[^>]+src="([^">]+)"', page_source)

# İlk resmi alıp indirme (daha fazla resim için döngü ile işleyebilirsiniz)
if image_urls:
    image_url = image_urls[0]
    response = requests.get(image_url)
    if response.status_code == 200:
        with open('downloaded_image.jpg', 'wb') as file:
            file.write(response.content)
        print('Resim başarıyla indirildi!')
    else:
        print('Resim indirilemedi. HTTP Durum Kodu:', response.status_code)
else:
    print('Hiçbir resim bulunamadı.')

ErayEfe · Answer

Wordpress tabanlı sitelerden çekecekseniz selenium ile uğraşmanıza gerek yok. Rest api üzerinden alabilirsiniz. Hem performanstan hem zamandan kazanırsınız. Cloudflare takılırsanız da farklı çözümler mevcut.

karakurtmedya · Answer

Selenium ile link urlsini çeken örnek kod

from bs4 import BeautifulSoup
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.wait import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

driver = webdriver.Chrome()

driver.get('https://www.olumhaberi.com/inanc-oktemay-ve-ozge-ceren-deniz-izmir-de-yolda-elektrik/')
WebDriverWait(driver, 10).until(
EC.presence_of_element_located((By.CLASS_NAME, 'g1-frame-inner'))
)
html_content = driver.page_source
soup = BeautifulSoup(html_content, 'html.parser')
src = soup.find('div', class_='g1-img-wrap mashsb-micro-wrapper').find('img')['src']
print(src)

fatiheryildiz · Answer

Melihhh adlı üyeden alıntı:						mesajı görüntüle									hangi dille yazıyorsun onu söylemende lazım (: 		Excel vba üzerinden yazıyorum üstadım..

Melihhh · Answer

fatiheryildiz adlı üyeden alıntı: mesajı görüntüle

Önemli olan doğru elementi bulabilmek diye düşünüyorum. Aslında şöyle bir kodum var ama çalıştıramadım bi türlü..

    Dim screenShot As Image
    Set screenShot = x.FindElementByClass("g1-frame-inner").FindElementByTag("img").TakeScreenshot(1000)
    
    screenShot.SaveAs (ThisWorkbook.Path & "\resim.jpg")

fatiheryildiz · Answer

Melihhh adlı üyeden alıntı: mesajı görüntüle

Ben hepsini python request ile yapıyorum genelde hem hızlı oluyor hemde sorunsuz.

eğer bu koddan çözebilirsen buradan yardımcı olabilirim buda python kodu çünkü

Önemli olan doğru elementi bulabilmek diye düşünüyorum. Aslında şöyle bir kodum var ama çalıştıramadım bi türlü..

    Dim screenShot As Image
    Set screenShot = x.FindElementByClass("g1-frame-inner").FindElementByTag("img").TakeScreenshot(1000)
    
    screenShot.SaveAs (ThisWorkbook.Path & "\resim.jpg")

fatiheryildiz · Answer

lookout adlı üyeden alıntı:						mesajı görüntüle									Örnektir

from selenium import webdriver
from selenium.webdriver.common.by import By
import requests
import os

# WebDriver'ı başlatın (Bu örnekte ChromeDriver kullanılıyor)
driver_path = 'path/to/chromedriver'  # Buraya ChromeDriver'ın yolunu girin
driver = webdriver.Chrome(driver_path)

# URL'yi açın
url = 'https://www.example.com'  # Buraya hedef URL'yi girin
driver.get(url)

# Resim elementini bulun (örneğin, img etiketi ve belirli bir sınıf adı ile)
image_element = driver.find_element(By.CSS_SELECTOR, 'img.some-class-name')  # CSS seçiciyi güncelleyin

# Resim URL'sini alın
image_url = image_element.get_attribute('src')

# Resmi indirin ve yerel diske kaydedin
response = requests.get(image_url)
if response.status_code == 200:
    with open('downloaded_image.jpg', 'wb') as file:
        file.write(response.content)
    print('Resim başarıyla indirildi!')
else:
    print('Resim indirilemedi. HTTP Durum Kodu:', response.status_code)

# WebDriver'ı kapatın
driver.quit()Başka bir örnek

import re
from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.options import Options
import requests

# WebDriver'ı başlatma
driver_path = 'path/to/chromedriver'  # ChromeDriver'ın yolunu girin
options = Options()
options.headless = True  # Tarayıcının görünmemesi için headless modu kullanabilirsiniz
service = Service(driver_path)
driver = webdriver.Chrome(service=service, options=options)

# URL'yi açma
url = 'https://www.example.com'  # Hedef URL'yi girin
driver.get(url)

# Sayfanın HTML kaynak kodunu alma
page_source = driver.page_source

# WebDriver'ı kapatma
driver.quit()

# Regex kullanarak resim URL'sini bulma
# Bu örnekte img etiketlerinin src özniteliklerini düzenli ifade kullanarak buluyoruz
image_urls = re.findall(r'<img[^>]+src="([^">]+)"', page_source)

# İlk resmi alıp indirme (daha fazla resim için döngü ile işleyebilirsiniz)
if image_urls:
    image_url = image_urls[0]
    response = requests.get(image_url)
    if response.status_code == 200:
        with open('downloaded_image.jpg', 'wb') as file:
            file.write(response.content)
        print('Resim başarıyla indirildi!')
    else:
        print('Resim indirilemedi. HTTP Durum Kodu:', response.status_code)
else:
    print('Hiçbir resim bulunamadı.') 								karakurtmedya adlı üyeden alıntı:						mesajı görüntüle									Selenium ile link urlsini çeken örnek kod

from bs4 import BeautifulSoup
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.wait import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

driver = webdriver.Chrome()

driver.get('https://www.olumhaberi.com/inanc-oktemay-ve-ozge-ceren-deniz-izmir-de-yolda-elektrik/')
WebDriverWait(driver, 10).until(
EC.presence_of_element_located((By.CLASS_NAME, 'g1-frame-inner'))
)
html_content = driver.page_source
soup = BeautifulSoup(html_content, 'html.parser')
src = soup.find('div', class_='g1-img-wrap mashsb-micro-wrapper').find('img')['src']
print(src) 		Eyvallah üstadlarım. Sanırım bu örneklerle çözerim diye düşünüyorum. Herkese çok çok teşekkür ederim.

Melihhh · Answer

fatiheryildiz adlı üyeden alıntı: mesajı görüntüle

Önemli olan doğru elementi bulabilmek diye düşünüyorum. Aslında şöyle bir kodum var ama çalıştıramadım bi türlü..

    Dim screenShot As Image
    Set screenShot = x.FindElementByClass("g1-frame-inner").FindElementByTag("img").TakeScreenshot(1000)
    
    screenShot.SaveAs (ThisWorkbook.Path & "\resim.jpg")

fatiheryildiz adlı üyeden alıntı: mesajı görüntüle

Önemli olan doğru elementi bulabilmek diye düşünüyorum. Aslında şöyle bir kodum var ama çalıştıramadım bi türlü..

    Dim screenShot As Image
    Set screenShot = x.FindElementByClass("g1-frame-inner").FindElementByTag("img").TakeScreenshot(1000)
    
    screenShot.SaveAs (ThisWorkbook.Path & "\resim.jpg")

fatiheryildiz · Answer

Melihhh adlı üyeden alıntı:						mesajı görüntüle									Ben hepsini python request ile yapıyorum genelde hem hızlı oluyor hemde sorunsuz.

eğer bu koddan çözebilirsen buradan yardımcı olabilirim buda python kodu çünkü  		Önemli olan doğru elementi bulabilmek diye düşünüyorum. Aslında şöyle bir kodum var ama çalıştıramadım bi türlü..

Dim screenShot As Image
    Set screenShot = x.FindElementByClass("g1-frame-inner").FindElementByTag("img").TakeScreenshot(1000)
    
    screenShot.SaveAs (ThisWorkbook.Path & "&#92;resim.jpg")

Melihhh · Answer

fatiheryildiz adlı üyeden alıntı:						mesajı görüntüle									Önemli olan doğru elementi bulabilmek diye düşünüyorum. Aslında şöyle bir kodum var ama çalıştıramadım bi türlü..

Dim screenShot As Image
    Set screenShot = x.FindElementByClass("g1-frame-inner").FindElementByTag("img").TakeScreenshot(1000)
    
    screenShot.SaveAs (ThisWorkbook.Path & "&#92;resim.jpg") 		html_content = driver.page_source
soup = BeautifulSoup(html_content, 'html.parser')
src = soup.find('div', class_='g1-img-wrap mashsb-micro-wrapper').find('img')['src']
print(src)

burada src den sanırım şu şekilde yapman lazım bard öyle diyor

Bard!
' Resim URL'sini değişkene atayın
Dim resimUrl As String
resimUrl = "https://cdn.r10.net/image.php?u=130789&avatartime="

Bard!
' Dosya adını oluşturmak için StrMid fonksiyonunu kullanın
Dim dosyaAdi As String
dosyaAdi = StrMid(resimUrl, InStr(1, resimUrl, "/", vbTextCompare) + 1, _
InStrRev(resimUrl, ".", vbTextCompare) - InStr(1, resimUrl, "/", vbTextCompare) - 1)

' Dosya uzantısını ekleyin
dosyaAdi = dosyaAdi & ".jpg"

Sen resim url yerine yukarda src ye vericen ve print sc ile uğraşmadan net resmi alıyor olman lazım.

fatiheryildiz · Answer

Melihhh adlı üyeden alıntı:						mesajı görüntüle									html_content = driver.page_source
soup = BeautifulSoup(html_content, 'html.parser')
src = soup.find('div', class_='g1-img-wrap mashsb-micro-wrapper').find('img')['src']
print(src)

burada src den sanırım şu şekilde yapman lazım bard öyle diyor

Bard!
' Resim URL'sini değişkene atayın
Dim resimUrl As String
resimUrl = "https://cdn.r10.net/image.php?u=130789&avatartime="

Bard!
' Dosya adını oluşturmak için StrMid fonksiyonunu kullanın
Dim dosyaAdi As String
dosyaAdi = StrMid(resimUrl, InStr(1, resimUrl, "/", vbTextCompare) + 1, _
InStrRev(resimUrl, ".", vbTextCompare) - InStr(1, resimUrl, "/", vbTextCompare) - 1)

' Dosya uzantısını ekleyin
dosyaAdi = dosyaAdi & ".jpg"

Sen resim url yerine yukarda src ye vericen ve print sc ile uğraşmadan net resmi alıyor olman lazım. 		Şu kodlarla çözdüm.. Herkese teşekkür ederim..

Private Declare PtrSafe Function URLDownloadToFile Lib "urlmon" Alias "URLDownloadToFileA" (ByVal pCaller As LongPtr, ByVal szURL As String, ByVal szFileName As String, ByVal dwReserved As LongPtr, ByVal lpfnCB As LongPtr) As LongPtr
Sub gorselindir()

Url = indirfotourl
    dosyaYolu = "C:&#92;Users&#92;Fotoğraflar&#92;" & fotoisim & urlal & ".webp"
    '"C:&#92;Users&#92;fatih&#92;OneDrive&#92;Masaüstü&#92;Yeni klasör&#92;" & "fotoisim" & i & ".jpg"
    
    URLDownloadToFile 0, Url, dosyaYolu, 0, 0
    Sheets("Haberler").Range("D" & HbBSonSatir + 1).Value = "İndirme Tamamlandı"
    Sheets("Haberler").Range("E" & HbBSonSatir + 1).Value = fotoisim & urlal & ".webp"
'Next i

'MsgBox "Çalışma tamamlandı"
End Sub