• 21-08-2021, 12:29:18
    #1
    Cloudflare kendi içerisinde Bot Fight özelliği devrede olsada, bazı botları durduramıyor, kökten çözüm için bazı ayarlar önereceğim.

    Geçen gün 10 dakika içerisinde 71.000'in üzerinde istek geldi, siteyi botlar tarıyordu. Bot fight açık olsa bile onu aşabilen yöntemler mevcut. Siteyi taramaya devam ediyordu.
    saldırganın dedi/vps/vds/host barındırdığı servisi bloke ederek sorunu kökünden çözdüm.
    Saldıran kişiyi Cloudflare üzerinden anlık nasıl yakaladım ve nasıl engelledim bununla ilgili bilgi vereceğim.

    Eğer benim gibi yurtdışı siteniz varsa global DC servis sağlayıcılarını kafadan bloke ederek başlayabilirsiniz.
    SERVER4YOU,Hetzner,OVH,DigitalOcean,Contabo gibi. Yazının sonunda listesini vereceğim.

    Tabiki önce genel ayarları yapmalıyız. Sitemize gelen isteklerin log'unu tutmamız gerekiyor.

    -------------------------------------------------------

    "Firewall / Firewall Rules" sekmesine gidin.
    "Create a Firewall rule" ile bir firewall kuralı oluşturalım.
    Kutucukları aşağıdaki gibi dolduralım.

    Rule name : ALL HTTP
    Field: URI
    Operator: Contains
    Value: /
    Choose an action : Allow

    Ve Deploy ile kuralı yayınlayın.

    "Firewall / Overview" sekmesinde bir süre sonra, cloudflare üzerinde sitenize gelen istekleri anlık görebileceksiniz.
    Ne zaman girmiş hangi sayfaya gitmiş, IP, ASN numarası, DC vs.








    Artık bot ve normal isteklerinizin LOG'unu tutuyoruz ve anlık görebiliyoruz.



    Eğer sitenize üstüste çok fazla istek geliyorsa, google bot vs. değilse, cloudflare bot fight moduna geçecektir. Ama bloke etmez, onu aşan botlarda varsa çok rahat sitenizi kopyalamaya devam ederler.

    İstatistikleri düzenli takip edin, şüpheli istekleri gördüğünüzde, üzerine tıkladığınızda size gelen isteklerin detaylı log'unu verir.
    Gelen isteklerin üzerine tıklarsanız, detaylı log'a erişirsiniz.

    Örneğin, bana gelen bir istek;






    Burada DIGITALOCEAN'ın bir ziyaretçi değil bir datacenter olduğunu zaten biliyorum. Yani DIGITALOCEAN'dan gelen tüm isteklerin aslında, zararlı bir istek olduğunu biliyorum.
    MOZ hariç, SEMRUSH gibi botlar da kendi ASN numarasını kullanıyor. MOZ adı farklı => AS23033 WOW diye geçiyor.

    Path /sito/wp-includes/wlwmanifest.xml
    ASN: AS14061 DIGITALOCEAN-ASN

    ASN numarasını alıp servisi komple bloke edeceğiz ve artık DIGITALOCEAN datacenter'ındaki tüm istekleri bloke etmiş olacağız.

    ----------------------------------------------------

    "Firewall / Tools" sekmesine gidin.
    "IP Access Rules" sayfasındaki;
    "Enter IP ... or ASN" yazan kutucuğa DIGITALOCEAN ASN numarasını girin. Sırasıyla kutucukları aşağıdaki gibi seçin

    AS14061
    Block
    All website accounts
    DIGITALOCEAN

    ADD butonuna tıklayın ve Artık DIGITALOCEAN den gelen isteklerin hepsini bloke ettiniz.






    Bu şekilde ASN, ülke veya ip/ip bloklarını buradan engel koyabilir ve izin verebilirsiniz.
    ASN ile bloke ettiğinizde ip değiştirse bile engel devam eder. Çünkü saldırgan halen DIGITALOCEAN kullanıyor, biz DIGITALOCEAN'dan gelen tüm istekleri bloke ettik.

    -----------------------------------------------------------------


    Sizin gözünüzden kaçan şüpheli istekleri ise şu şekilde bulabilirsiniz.

    "Firewall / Overview" sekmesine gidin.
    Add Filter tıklayın.
    Açılan pencereden sondaki selectbox'ı seçin ve "Managed Challenge" seçin ve filtreleyin. bot fighta düşen istekleri görebilirsiniz.
    "Block" seçerekte sizin blokladıklarınızı görebilirsiniz.





    Bu şekilde hem sunucunuza daha az istek gelecek, hem de içeriğinizi mümkün olduğunca koruma altına almış olacaksınız.

    Bazı DC ASN numaraları;

    AS203020 HOSTROYALE
    AS53667 PONYNET
    AS60404 LITESERVER
    AS49505 SELECTEL
    AS9794 DNET-ID-AP Indonesia
    AS55045 TEKTONIC
    AS9260 MULTINET-AS-AP Multinet Pakistan
    AS30083 SERVER4YOU
    AS24940 Hetzner
    AS16276 OVH
    AS4134 ChinaNet
    AS14061 DigitalOcean
    AS51167 Contabo

    bu konunun altına bu şekilde ASN listeleri, IP vb. block edilmesi gerekenleri ekleyebilirsiniz. Birbirimize yardımcı olalım.
  • 21-08-2021, 12:35:34
    #2
    Teşekkürler ama konu eksik; sunucu IP portları 80 ve 443 sadece Cloudflare'e duyarlı olmadıkça botlar hosts kaydı yapar yine girer; ayrıca subnet ban ASN bandan daha iyi Avrupa sağlayıcılarında.
    Arkadaşlar için faydalı konu
  • 21-08-2021, 12:52:09
    #3
    yalinyalniz adlı üyeden alıntı: mesajı görüntüle
    Teşekkürler ama konu eksik; sunucu IP portları 80 ve 443 sadece Cloudflare'e duyarlı olmadıkça botlar hosts kaydı yapar yine girer; ayrıca subnet ban ASN bandan daha iyi Avrupa sağlayıcılarında.
    Arkadaşlar için faydalı konu
    Aşılamayacak hiç bir sistem yoktur. Ama bu önerdiğim yöntem, hem basit hemde bir çok saldırganı engelleyebiliyor.
    Söylediğin konu ile ilgilide senden bir yazı bekliyorum
  • 21-08-2021, 13:04:59
    #4
    sunucu bilgisi olmaksızın herkesin kolayca uygulayabileceği bir yöntem. elinize sağlık.
  • 21-08-2021, 13:37:25
    #5
    nokie adlı üyeden alıntı: mesajı görüntüle
    sunucu bilgisi olmaksızın herkesin kolayca uygulayabileceği bir yöntem. elinize sağlık.
    Teşekkürler
  • 03-03-2022, 14:13:53
    #6
    Faydalı konu birkaç gündür bu sorunu yaşıyordum.
    Aşağıdaki listede iş görür.
    https://github.com/brianhama/bad-asn...d-asn-list.csv
  • 03-03-2022, 14:38:48
    #7
    Tufan1903 adlı üyeden alıntı: mesajı görüntüle
    Faydalı konu birkaç gündür bu sorunu yaşıyordum.
    Aşağıdaki listede iş görür.
    https://github.com/brianhama/bad-asn...d-asn-list.csv
    Evet ama burada google dahil tüm asnler var
    Ayıklamanız lazım
  • 03-03-2022, 15:01:07
    #8
    MCERAN adlı üyeden alıntı: mesajı görüntüle
    Evet ama burada google dahil tüm asnler var
    Ayıklamanız lazım
    Google olarak Google cloud asnsi bence o
  • 03-03-2022, 15:16:24
    #9
    Tufan1903 adlı üyeden alıntı: mesajı görüntüle
    Google olarak Google cloud asnsi bence o
    Hayır Googlebot bu ASN adresini kullanıyor

    IP address
    66.249.66.14
    ASN
    AS15169 GOOGLE