Kullanım · 9 dk okuma
Scraping’de IPv4 Adres Havuzu: Alt Ağ, Adet ve Kota Hesabı
24 Eylül 2026

Scraping’de IPv4 adres havuzu üç sayıyla planlanır: hedef sitenin bir adrese saatte kaç istek tolere ettiği, havuzdaki adreslerin kaç farklı alt ağdan geldiği ve işin toplam trafik kotası. Bu üç sayı bilinmeden alınan paket ya ilk günden engellenir ya da ihtiyacın birkaç katı ödenir. Aşağıda IPv4’ün scraping’de neden hâlâ zorunlu olduğu, havuzun nasıl boyutlandırıldığı, alt ağ engelinin ne anlama geldiği, static adet ile rotating GB arasındaki hesap ve havuzu sağlıklı tutan günlük kontrol var. Yalnız herkese açık ve toplanmasına izin verilen veriler için geçerlidir; hedefin kullanım koşulları ve robots kuralları havuz planından önce gelir.
Hedef uyumu: scraping’de IPv4 neden zorunlu?
Toplanan sitelerin büyük kısmı yalnız IPv4 üzerinden hizmet verir. Alan adının AAAA kaydı yoksa IPv6 adresle o siteye hiç ulaşılamaz; IPv6 havuzu ne kadar büyük olursa olsun işe yaramaz. Havuz planlamasından önce hedef listesindeki her alan adı için AAAA kaydı sorgulanır: nslookup -type=AAAA alanadi ya da dig AAAA alanadi. Kayıt dönmeyen her hedef IPv4 havuzuna yazılır. Pratikte listenin çoğu bu gruba düşer.
IPv4’ün ikinci zorunluluğu CDN ve koruma katmanlarıdır. Alan adı AAAA kaydı döndürse bile koruma katmanı IPv6 istemciyi IPv4’e göre farklı puanlayabilir; aynı hedefe iki protokolden yapılan deneme sonuçları karşılaştırılmadan IPv6’ya güvenilmez. İki protokolün scraping dışındaki farkları ayrı bir rehberde anlatılıyor; burada yalnız havuz hesabı var.
Üç sayıyla havuz boyutu
Birinci sayı toleranstır: hedefin tek bir adresten saatte kaç isteği engel ya da captcha vermeden kabul ettiği. Bu sayı sitede yazmaz; ölçülür. Tek adresle, sabit aralıkla istek gönderilir ve ilk 429, 403 ya da captcha hangi istekte geldiyse saatlik tolerans ondan hesaplanır. Ölçüm en az iki farklı adresle ve iki farklı saatte tekrarlanır, düşük olan alınır.
İkinci sayı hedef hızdır: işin saatte kaç sayfa çekmesi gerektiği. Üçüncü sayı bu ikisinin bölümüdür: hedef hız bölü tolerans, gereken eşzamanlı adres sayısını verir. Üstüne engellenen ve dinlendirilen adresler için en az dörtte bir yedek eklenir. Varsayımsal bir örnek: tolerans saatte 60 istek, hedef saatte 6.000 sayfa ise 100 adres gerekir; yedekle 125. Bu sayı katalogdaki 100 ya da 250 adetlik static datacenter paketlerinden birine oturur; hangisinin seçileceği aşağıdaki alt ağ sayısına bağlıdır.
Rotating üründe hesap tersine döner. Havuzu sağlayıcı işletir, adres sayısını siz seçmezsiniz; sizin seçtiğiniz, trafiğin kaç GB olacağıdır. Tolerans burada aynı adresin aynı hedefe art arda düşme olasılığı üzerinden işler ve geniş havuzda bu olasılık küçüktür. Rotating’de üçüncü sayı kota olur; hesabı aşağıda.
Alt ağ çeşitliliği: /24 engeli ne demek?
Hedef siteler engeli çoğu zaman adresin içinde bulunduğu /24 bloğunun tamamına uygular: ilk üç okteti aynı olan 256 adresin tamamı aynı anda kapanır. Datacenter adresler sağlayıcının ardışık bloklarından geldiği için 100 adresin tamamı tek bir /24 içinde olabilir; o durumda tek bir engel bütün havuzu götürür ve adres sayısı hiçbir şey ifade etmez.
Kontrol, adres listesi elinize geçtiğinde bir dakikada yapılır: listedeki her adresin ilk üç okteti alınır, tekrarlar atılır ve kaç farklı blok kaldığına bakılır. Komut satırında cut -d. -f1-3 liste.txt | sort -u | wc -l bu sayıyı verir. 100 adres 10 farklı blokta ise bir engel en çok 10 adresi götürür; 100 adres 2 blokta ise iki engel havuzu bitirir. Paket alırken sağlayıcıya havuzun kaç bloğa yayıldığını sormak, adet sorusundan daha önemlidir.
Blok çeşitliliğinin ötesinde ASN çeşitliliği vardır: hedef bazı siteler belirli bir barındırma sağlayıcısının bütün adreslerini engeller. Residential rotating havuzda adresler ev operatörlerinin ağlarından geldiği için blok ve ASN dağılımı doğal olarak geniştir; static datacenter havuzda ise sağlayıcının kaç farklı ağdan adres verdiğine bakılır. Adres listesi geldiğinde kara liste durumunu da aynı gün kontrol etmek, engellenmiş adresle işe başlamayı önler.
Static adet mi rotating GB mi: iki hesap yan yana
Static IPv4 datacenter paketleri adet bazlı ve aylıktır: katalogda 100, 250, 500 ve 1.000 adetlik paketler var. Maliyet adres sayısıyla ölçeklenir; çekilen sayfa sayısı maliyeti değiştirmez. Bu model, hedef sayısı az ve her hedefe sürekli aynı adreslerden gidilen işlere uyar: fiyat izleme, stok takibi, oturum gerektiren paneller.
Rotating IPv4 paketleri GB bazlı ve tek seferliktir: datacenter ve residential seçeneklerinin ikisinde de 2 GB’tan 1.000 GB’a uzanan paketler var ve kota bitene kadar kullanılır. Maliyet trafikle ölçeklenir; adres sayısı sınırsız gibi davranır. Bu model, hedef sayısı çok ve her hedefe az istek düşen işlere uyar: keşif taraması, geniş dizin toplama, tek seferlik arşivleme.
Kota hesabı sayfa boyutu ile sayfa sayısının çarpımıdır ve en büyük tasarruf sayfa boyutundan gelir. Yalnız HTML çekildiğinde bir sayfa çoğu sitede birkaç yüz kilobayttır; görsel, yazı tipi ve üçüncü parti betikler de indirilirse aynı sayfa megabaytı geçer. Varsayımsal örnek: 200 KB HTML ile 100.000 sayfa 20 GB eder; aynı sayfalar bütün varlıklarıyla çekilirse kota beş ile on kat büyür. Tarayıcı tabanlı toplama yerine yalnız gövdeyi çeken bir istemci, rotating’de doğrudan para demektir.
İki modelin kesiştiği nokta tolerans ölçümüdür. Tolerans yüksek ve hedef az ise static havuz hem ucuz hem öngörülebilirdir; tolerans düşük ve hedef çok ise rotating’in geniş blok dağılımı static’in adet avantajını siler. Çoğu üretim düzeninde ikisi birlikte kullanılır: static adreslerle oturumlu ve tekrar eden hedefler, rotating ile keşif ve geniş tarama.
Havuz sağlığı: günlük dört ölçüm
Havuz alındıktan sonra işin sağlığı dört sayıyla izlenir. Dördü de istemci loglarından çıkar; özel bir araç gerekmez. Sayılardan biri eşiği aştığında önce istek düzenine bakılır: çoğu bozulma, tolerans ölçümünün eskimesinden ya da isteklerin tek bloğa yığılmasından gelir.
- Engelli adres oranı: 403 ve captcha alan adres sayısı bölü toplam adres. Yüzde onu geçerse o hedefte tolerans yeniden ölçülür.
- Adres başına saatlik istek: hedef hız bölü aktif adres sayısı. Ölçülen toleransın altında kalmalıdır; eşitse yedek adresler devreye alınır.
- Blok başına hata: 429 ve zaman aşımları /24 bloğuna göre gruplanır. Tek blokta yığılan hata, engelin adrese değil bloğa geldiğini gösterir.
- Kota tüketim hızı (rotating): günlük GB bölü günlük sayfa. Sayfa başına kilobayt artıyorsa istemci gereksiz varlık indirmeye başlamıştır.
Belirti, neden, çözüm
İlk saatte bütün adresler engellendi: havuz tek blokta ya da adresler kara listede. Blok sayısı ve kara liste kontrolü yapılır, sağlayıcıdan farklı bloklardan adres istenir. Belirli saatlerde 429 artıyor: hedefin toleransı güne göre değişiyor; adres başına istek o saatlerde düşürülür, yedek adresler eklenir. Rotating’de kota beklenenden hızlı bitiyor: istemci HTML dışı varlık indiriyor ya da yönlendirme zincirlerini takip ediyor; yalnız gövde çekilir, yönlendirme sayısı sınırlanır.
407 ve bağlantı hataları havuzla ilgili değildir; kimlik doğrulama, port ve izin listesi hatalarının ayrımı bağlantı hataları rehberinde var. Hedef 200 döndürüyor ama içerik boş ya da farklı: sessiz engel; adres bloğu değiştirilir ve aynı sayfa başka bloktan doğrulanır. Aynı adresin aynı hedefe art arda düşmesi (rotating): sticky oturum açık kalmıştır; oturum parametresi kaldırılır ya da oturum süresi kısaltılır.
Sonuç
Havuz planı tolerans ölçümüyle başlar, blok sayısıyla doğrulanır ve kota ya da adet hesabıyla biter. Üç sayı elde olmadan paket seçmek, engel ya da fazla ödeme olarak geri döner. Static datacenter paketleri adet bazlı tekrar eden hedefler için, rotating GB paketleri geniş ve seyrek taramalar için düşünülür; ikisini birlikte kullanan düzen çoğu üretim işinde en az engelle çalışır.
