Kullanım Alanı · Veri Toplama

Scraping için IPv4 proxy listesi

E-ticaret fiyat takibi, içerik indeksleme ve pazar araştırması için büyük hacimli kazıma projeleri, IP itibarı düşük altyapılarda hızla engellenir. IPv4Proxy’nin datacenter ve residential havuzları, her istekte otomatik IP rotasyonu veya crawl boyunca sabit kalan sticky oturumlarla, hedef sitenin rate limit ve bot koruma sistemlerinin altında kalmanızı sağlar.

Şimdi başla
DatacenterResidential

Neden bu havuz

Büyük ölçekli web scraping için doğru altyapı

  • Her istekte otomatik IP rotasyonu
  • Sınırsız eş zamanlı thread desteği
  • Gerçek zamanlı kota ve log takibi
  • ASN ve şehir seviyesinde hedefleme

Nasıl çalışır

Dört adımda devreye alın

  1. 01

    Hedefi tanımlayın

    Kazınacak domain, sayfa aralığı ve istek sıklığını belirleyin.

  2. 02

    Havuzu seçin

    Hız öncelikli işler için datacenter, yüksek başarı oranı için residential havuzu seçin.

  3. 03

    Rotasyonu ayarlayın

    Her istekte yeni IP kullanın veya sayfalama için sticky oturum tanımlayın.

  4. 04

    Sonucu izleyin

    Panel üzerinden başarı oranını, engellenme sayısını ve bandwidth kullanımını takip edin.

Büyük ölçekli web scraping rehberi

Kısa cevap

Scraping için IPv4 proxy kullanırken işin çoğu, sağlayıcının verdiği listeyi scraper’a doğru bağlamaktır: satır formatını hatasız ayrıştırmak, Python veya Node istemcisinde HTTP ve HTTPS trafiğini birlikte yönlendirmek, whitelist ve port hatalarını birbirinden ayırmak, hedefin yalnız IPv4 sunup sunmadığını kontrol etmek ve GB tüketimini panelle karşılaştırarak ölçmek. Bu sayfa her adımı kod, tablo ve örnek hesapla gösterir.

Scraping için IPv4 proxy bağlantısı hangi katmanlardan geçer?

Scraping için IPv4 proxy satın aldıktan sonra elinizde ya tek bir bağlantı satırı ya da yüzlerce satırlık bir liste olur. Bu satırın scraper’ınızın gönderdiği her isteğe doğru biçimde uygulanması, çoğu ekibin sandığından fazla katmandan geçer: panelde tanımlı kimlik bilgisi, indirilen liste dosyası, o dosyayı okuyan kod, istemci kütüphanesinin proxy ayarı, sağlayıcının kimlik doğrulaması, çıkış IPv4 adresi ve hedefin DNS kayıtları. Bunların herhangi birinde yapılan küçük bir hata ya açık bir bağlantı hatası olarak ya da çok daha sinsi biçimde, isteklerin proxy’yi hiç kullanmadan sunucunuzun kendi adresinden çıkması olarak geri döner.

Bu sayfa hangi proxy türünü seçmeniz gerektiğini yeniden anlatmaz; o karar ürün sayfalarında ve rehberlerde ayrıca ele alınır. Burada odak, seçilmiş bir IPv4 listesini ya da gateway satırını çalışan bir toplayıcıya bağlamaktır. Aşağıdaki tablo zinciri baştan sona gösterir. Bir sorunla karşılaştığınızda tabloyu yukarıdan aşağı izlemek, rastgele ayar değiştirmekten çok daha hızlı sonuç verir; çünkü üst katmandaki bir hata, alttaki katmanlarda bambaşka bir belirti gibi görünebilir.

Panelden hedefe: her katmanın taşıdığı bilgi ve tipik bozulma
KatmanNe taşırTipik bozulmaİlk bakılacak yer
Panel ve siparişKimlik bilgileri, port, lokasyon dağılımı, kotaSüresi dolmuş paket, biten kota, yanlış ülkeye dağıtılmış IPPaket durumu ve kullanım ekranı
Liste dosyasıSatır başına bir uç noktaYanlış ayraç, görünmeyen satır sonu karakteri, dosya başındaki BOMDosyanın ilk ve son satırları
AyrıştırıcıSatırı adres, port ve kimliğe bölerŞifredeki iki nokta ya da @ işaretiyle bozulan bölmeAyrıştırıcının hata raporu
İstemci kütüphanesiProxy ayarını isteklere uygularHTTPS isteklerinin proxy’siz çıkması, ortam değişkeninin ayarı ezmesiİstemcinin proxy anahtarları ve ortam değişkenleri
Kimlik doğrulamaKullanıcı adı ve şifre ya da yetkili kaynak IP407 yanıtı, bağlantının hemen kapanmasıSunucunuzun gerçek çıkış IPv4 adresi
Çıkış adresi ve hedefIPv4 çıkış, hedefin A kaydıYanlış adres ailesi, yanlış bölgenin içeriğiHedefin DNS kayıtları ve yanıt içeriği
SayaçAktarılan baytPanel ile scraper sayısının ayrışmasıKalibrasyon ölçümü

Tablonun son satırı çoğu zaman unutulur ama faturayı doğrudan belirler. GB bazlı paketlerde panelin saydığı trafik, scraper’ınızın kendi günlüğünde gördüğü bayttan farklıdır ve bu farkı bilmeden yapılan bütçe planı sistematik olarak eksik kalır. Ölçüm yöntemi aşağıda ayrı bir bölümde, örnek hesapla birlikte anlatılıyor.

Liste formatları: ip:port:kullanıcı:şifre satırını hatasız okumak

Sağlayıcılar bağlantı bilgisini birkaç farklı biçimde verir ve aynı panel farklı ürünler için farklı biçim kullanabilir. Statik datacenter IPv4 paketlerinde her IP için ayrı bir satır beklenir; listenin hangi biçimde ve nereden alındığını panelde kontrol edin. Dönen (rotating) ürünlerde ise genellikle tek bir gateway satırı ve kullanıcı bilgileri gelir. Hangi biçimle karşılaştığınızı ilk satıra bakarak anlamak çoğu zaman mümkündür; ama ayrıştırıcınızı tek bir biçime göre yazarsanız bir sonraki siparişte farklı bir dosya geldiğinde kod sessizce bozulur.

Yaygın liste biçimleri ve ayrıştırma notları
BiçimÖrnek satırNe anlama gelirAyrıştırma tuzağı
ip:port:kullanıcı:şifre203.0.113.24:PORT:KULLANICI:ŞİFREHer satır ayrı bir çıkış adresi; en yaygın statik liste biçimiŞifrede iki nokta varsa satırı soldan en fazla üç kez bölün, kalanı şifre sayın
kullanıcı:şifre@ip:portKULLANICI:Şİ[email protected]:PORTKimlik önde, adres arkada; URL biçimine yakınŞifrede @ varsa satırı son @ işaretinden bölün
ip:port192.0.2.15:PORTKimlik bilgisi yok; kaynak IP yetkilendirmesi (whitelist) beklenirÜrün whitelist desteklemiyorsa her istek 407 ile döner
gateway:port:kullanıcı:şifreGATEWAY:PORT:KULLANICI:ŞİFRETek uç nokta, arkasında dönen havuzSatır sayısı IP sayısı değildir; satırı çoğaltmak çeşitlilik getirmez
şema://kullanıcı:şifre@adres:porthttp, socks5 ya da socks5h şemalı tam adresKütüphanelerin doğrudan kabul ettiği biçimKullanıcı adı ve şifredeki özel karakterler yüzde kodlamasıyla yazılmalı

İki nokta üst üste ile ayrılmış biçimin çalışmasının tek nedeni, IPv4 adresinin kendi içinde iki nokta barındırmamasıdır. Aynı dosyaya bir IPv6 adresi karışırsa bölme işlemi adresi parçalara ayırır ve sonuç çoğu zaman hata vermeden yanlış bir ana bilgisayar adı üretir. Bu yüzden ayrıştırıcınız her satırdaki adresin gerçekten bir IPv4 adresi ya da bir alan adı olduğunu doğrulamalı, ikisi de değilse satırı reddetmelidir. IPv6 adresleri URL içinde köşeli parantezle yazılır ve iki nokta ayraçlı liste biçimine güvenle sığmaz; IPv4 listesi için yazılmış bir ayrıştırıcının bu satırları kabul etmemesi doğru davranıştır.

İkinci kalıcı tuzak, şifre içindeki özel karakterlerdir. Liste satırını şema://kullanıcı:şifre@adres:port biçimine çevirdiğinizde kullanıcı adı ve şifre URL’nin kimlik bölümüne girer; bu bölümde @, iki nokta, eğik çizgi, diyez, soru işareti ve yüzde işareti özel anlam taşır. Örneğin şifresi a@b:c olan bir hesabın şifresi URL içinde a%40b%3Ac olarak yazılmalıdır. Kodlanmamış bir @ işareti istemcinin adresi yanlış yerden bölmesine yol açar; sonuç ya bilinmeyen bir ana bilgisayara bağlanma denemesi ya da hatalı kimlikle gelen bir 407 yanıtıdır. Python’da urllib.parse modülündeki quote işlevini safe parametresi boş olarak, Node’da encodeURIComponent işlevini kullanmak yeterlidir.

Üçüncü tuzak dosyanın kendisidir. Windows’ta oluşturulan ya da tablo programından dışa aktarılan listelerde satır sonu iki karakterdir ve görünmeyen satır başı karakteri şifrenin sonuna yapışır; panelde doğru görünen şifre, istemciye bir karakter uzun gider. Bazı düzenleyiciler dosyanın başına bayt sırası işareti (BOM) ekler ve ilk satırdaki IP adresi bozulur. Satır sonlarındaki boşluklar, boş satırlar ve açıklama satırları da aynı sınıftadır. Bu hataların ortak özelliği, listenin yalnız bazı satırlarında görünmeleridir: “ilk satır hiç çalışmıyor” ya da “her satır 407 veriyor ama şifre doğru” şikâyetlerinin önemli bir kısmı buradan çıkar.

Listeyi scraper’a vermeden önce satır satır doğrulamak

Bir listeyi doğrudan üretim scraper’ına vermek, liste hatalarını hedef sitenin yanıtlarıyla karıştırmak demektir. Bir isteğin neden başarısız olduğunu anlamaya çalışırken sorunun satırda mı, kimlikte mi, portta mı yoksa hedefte mi olduğunu ayırmak zorlaşır. Daha temiz yol, listeyi her dağıtımdan önce kısa bir ön kontrolden geçirmektir: her satır ayrıştırılır, URL biçimine çevrilir ve çıkış adresini düz metin olarak döndüren bir test uç noktasına bir kez istek gönderilir. Sonuç, her satır için tek kelimelik bir teşhistir.

Aşağıdaki Python betiği bu işi yapar. Python’un requests kütüphanesini kullanır; SOCKS satırları için requests[socks] eklentisinin kurulu olması gerekir. HEDEF_URL yerine yalnız çıkış IP’sini döndüren bir test adresi yazın; üretim hedeflerinizi ön kontrol için kullanmayın.

Python: liste satırlarını ayrıştıran, URL’ye çeviren ve çıkış adresini kontrol eden ön kontrol betiği
import csv
import ipaddress
import sys
from urllib.parse import quote

import requests

ECHO_URL = "HEDEF_URL"   # yalnız çıkış IP’sini düz metin döndüren test adresi
SCHEME = "http"          # SOCKS satırları için "socks5h" (requests[socks] gerekir)


def host_ok(host):
    try:
        return ipaddress.ip_address(host).version == 4
    except ValueError:
        return any(ch.isalpha() for ch in host)   # gateway alan adı


def parse_line(raw):
    line = raw.strip()                    # boşlukları ve Windows satır sonunu atar
    if not line or line.startswith("#"):
        return None
    if "@" in line:                       # KULLANICI:ŞİFRE@IP:PORT
        cred, hostport = line.rsplit("@", 1)
        user, password = cred.split(":", 1)
        host, port = hostport.rsplit(":", 1)
    else:                                 # IP:PORT veya IP:PORT:KULLANICI:ŞİFRE
        parts = line.split(":", 3)
        if len(parts) not in (2, 4):
            raise ValueError("beklenmeyen alan sayısı")
        host, port = parts[0], parts[1]
        user, password = (parts[2], parts[3]) if len(parts) == 4 else (None, None)
    if not host_ok(host):
        raise ValueError("IPv4 ya da alan adı değil: " + host)
    if not port.isdigit() or not 0 < int(port) < 65536:
        raise ValueError("geçersiz port")
    return host, int(port), user, password


def to_url(host, port, user, password):
    auth = ""
    if user is not None:
        auth = quote(user, safe="") + ":" + quote(password, safe="") + "@"
    return SCHEME + "://" + auth + host + ":" + str(port)


def probe(proxy_url):
    proxies = {"http": proxy_url, "https": proxy_url}   # iki anahtar da gerekli
    try:
        r = requests.get(ECHO_URL, proxies=proxies, timeout=(5, 15))
    except requests.exceptions.RequestException as exc:
        text = str(exc)
        for key, label in (("407", "kimlik_407"), ("timed out", "zaman_asimi"),
                           ("refused", "reddedildi"), ("SOCKS", "socks_hatasi")):
            if key in text:
                return label, ""
        return "diger_hata", text[:100]
    if r.status_code == 407:
        return "kimlik_407", ""
    exit_ip = r.text.strip()
    try:
        family = "IPv" + str(ipaddress.ip_address(exit_ip).version)
    except ValueError:
        family = "bilinmiyor"
    return "ok_" + family, exit_ip


def main(path):
    with open(path, encoding="utf-8-sig") as src:   # utf-8-sig, BOM’u atar
        lines = list(src)
    with open("liste_kontrol.csv", "w", newline="", encoding="utf-8") as out:
        rapor = csv.writer(out)
        rapor.writerow(["satir", "uc_nokta", "sonuc", "cikis_ip", "ayni_ip"])
        for no, raw in enumerate(lines, 1):
            try:
                parsed = parse_line(raw)
            except ValueError as exc:
                rapor.writerow([no, "", "ayristirma: " + str(exc), "", ""])
                continue
            if parsed is None:
                continue
            host, port, user, password = parsed
            sonuc, cikis = probe(to_url(host, port, user, password))
            rapor.writerow([no, host + ":" + str(port), sonuc, cikis, cikis == host])


if __name__ == "__main__":
    main(sys.argv[1])

Betikteki birkaç seçim bilinçlidir. Dosya utf-8-sig kodlamasıyla açılır; bu kodlama dosyanın başındaki BOM işaretini kendiliğinden atar. Her satıra uygulanan strip çağrısı, Windows satır sonundan kalan görünmez karakteri temizler. Kimliğin önde olduğu biçimde satır son @ işaretinden, IP’nin önde olduğu biçimde ise en fazla üç kez bölünür; böylece şifre içindeki @ ve iki nokta işaretleri korunur. Kimlik bilgileri URL’ye yüzde kodlamasıyla girer ve rapor dosyasına şifre yazılmaz.

Rapordaki ayni_ip sütunu statik listelerde işe yarar. Çoğu statik IPv4 listesinde satırdaki adres aynı zamanda çıkış adresidir ve iki değerin eşleşmesi, isteğin gerçekten o satırdan çıktığını gösterir. Eşleşmiyorsa ya sağlayıcı giriş ve çıkış için farklı adres kullanıyordur ya da istek beklediğiniz yoldan gitmiyordur; hangisinin geçerli olduğunu panelde ve destek ekibiyle netleştirin. Gateway satırlarında bu sütun doğal olarak eşleşmez; orada bakılacak değer çıkış adresinin ailesidir. Sonuç sütununda IPv6 ya da sunucunuzun kendi adresini görüyorsanız istek proxy’den geçmiyor ya da yanlış yere gidiyor demektir.

Bin satırlık bir listeyi sırayla denemek, yanıt vermeyen satırların zaman aşımları yüzünden uzun sürebilir. probe işlevini concurrent.futures modülündeki bir iş parçacığı havuzuyla paralel çalıştırmak kolaydır; yine de aynı test uç noktasına aynı anda yüzlerce istek göndermemek için havuz boyutunu makul tutun. Ön kontrolü her dağıtımda ve her yeni listede tekrarlamak, sorunlu satırı üretim trafiği başlamadan ayıklar.

Python ve Node istemcilerinde proxy ayarı: sessiz bypass’ları önlemek

Proxy entegrasyonunda en pahalı hata, hata vermeyen hatadır. İstek başarıyla döner, veri gelir; ama trafik proxy’den değil sunucunuzun kendi IPv4 adresinden çıkmıştır. Bunun sonucu birkaç gün sonra ortaya çıkar: sunucunuzun adresi hedefin hız sınırına takılır, veri yanlış ülkenin içeriğini taşır ya da barındırma sağlayıcınız giden trafikle ilgili bir uyarı gönderir. Bu tür sessiz bypass’ların neredeyse tamamı, istemci kütüphanesinin proxy’yi hangi koşulda uyguladığını yanlış bilmekten doğar.

İstemciye göre proxy ayarı ve bilinen tuzaklar
İstemciProxy nasıl verilirBilinen tuzak
Python requestsproxies sözlüğünde http ve https anahtarlarıYalnız http anahtarı verilirse HTTPS istekleri doğrudan çıkar. HTTPS_PROXY ortam değişkeni tanımlıysa Session.proxies ile verilen ayarın önüne geçebilir.
Python httpxİstemci oluşturulurken proxy parametresiEski sürümlerdeki proxies parametresi yeni sürümlerde kaldırıldı; SOCKS için httpx[socks] eklentisi gerekir.
Python aiohttpHer istekte proxy parametresiDoğrudan yalnız HTTP proxy destekler, SOCKS için ayrı bir bağlayıcı paketi gerekir. Ortam değişkenleri trust_env açılmadan okunmaz.
Scrapyİsteğin meta sözlüğünde proxy anahtarıYerleşik olarak SOCKS desteklemez; listeden HTTP satırlarını kullanın.
Node axiosproxy: false ile birlikte httpAgent ve httpsAgentYerleşik proxy seçeneğinin bazı sürümlerde HTTPS hedeflerle sorun çıkardığı bilinir; ortam değişkenlerini kendiliğinden okur.
Node yerleşik fetchundici dispatcher’ıhttp.Agent ile verilen ayar yok sayılır ve istek doğrudan çıkar.
Playwright, PuppeteerPlaywright’ta başlatma seçeneğindeki proxy alanı; Puppeteer’da başlatma argümanı ve sayfa düzeyinde kimlik doğrulamaChromium, SOCKS5 proxy’de kullanıcı adı ve şifre doğrulamasını tarihsel olarak desteklemez; kullandığınız sürümün belgesini kontrol edin.

requests ile ilgili ilk tuzak çok yaygındır, çünkü sözlüğün anahtarları proxy’nin değil hedefin şemasını belirtir. http anahtarı “HTTP hedeflere giderken bu proxy’yi kullan”, https anahtarı “HTTPS hedeflere giderken bu proxy’yi kullan” demektir; değer ise her iki anahtar için de aynı proxy adresidir. Bugün hedeflerin büyük çoğunluğu HTTPS olduğu için yalnız http anahtarını veren bir yapılandırma, test sırasında bir HTTP adresiyle doğru çalışıp üretimde trafiğin neredeyse tamamını proxy’siz gönderebilir.

Ortam değişkenleri ikinci tuzaktır. HTTP_PROXY, HTTPS_PROXY ve NO_PROXY değişkenleri sunucu imajında, konteyner tanımında ya da CI ortamında sizin haberiniz olmadan tanımlanmış olabilir. requests bu değişkenleri varsayılan olarak okur ve istek düzeyinde verilmeyen ayarlarda oturum ayarının önüne koyar; NO_PROXY hedefinizi kapsıyorsa proxy’yi ortamdan alan bir kurulumda istek doğrudan çıkar. Davranışı öngörülebilir kılmanın iki yolu vardır: proxy’yi her istekte proxies parametresiyle açıkça vermek ya da oturumun trust_env özelliğini kapatıp ayarı tek bir yerden yönetmek. Hangi yolu seçerseniz seçin, ön kontroldeki çıkış adresi testini üretim konteynerinin içinden de bir kez çalıştırın.

Node tarafında axios varsayılan olarak ortam değişkenlerindeki proxy’yi kullanır. Yaygın ve güvenilir yaklaşım, axios’un proxy ayarını false yapıp bağlantıyı bir ajana bırakmaktır: HTTP proxy satırları için https-proxy-agent, SOCKS satırları için socks-proxy-agent paketi. Aşağıdaki örnek statik bir IPv4 listesini bu şekilde bağlar, satırları sırayla kullanır ve yalnız proxy kaynaklı arızalarda satırı bir süre dinlenmeye alır.

Node.js: statik IPv4 listesini axios’a bağlayan, sağlıksız satırı dinlenmeye alan ve 429’da hedefi yavaşlatan örnek
import fs from 'node:fs'
import axios from 'axios'
import { HttpsProxyAgent } from 'https-proxy-agent'
import { SocksProxyAgent } from 'socks-proxy-agent'

const SCHEME = 'http'            // SOCKS satırları için 'socks5h'
const BENCH_MS = 15 * 60000      // varsayım: arızalı satırın dinlenme süresi

function toUrl(line) {
  const [host, port, user, ...rest] = line.split(':')
  const pass = rest.join(':')    // şifredeki iki noktayı korur
  const auth = user ? encodeURIComponent(user) + ':' + encodeURIComponent(pass) + '@' : ''
  return SCHEME + '://' + auth + host + ':' + port
}

// Liste: her satır IP:PORT:KULLANICI:ŞİFRE
const pool = fs.readFileSync('liste.txt', 'utf8')
  .replace(/^\uFEFF/, '')
  .split(/\r?\n/)
  .map((s) => s.trim())
  .filter((s) => s && !s.startsWith('#'))
  .map((line) => {
    const url = toUrl(line)
    const agent = SCHEME === 'http' ? new HttpsProxyAgent(url) : new SocksProxyAgent(url)
    return { ip: line.split(':')[0], agent, fails: 0, benchUntil: 0 }
  })

let cursor = 0
function nextProxy() {
  for (let i = 0; i < pool.length; i++) {
    const p = pool[(cursor + i) % pool.length]
    if (p.benchUntil <= Date.now()) {
      cursor = (cursor + i + 1) % pool.length
      return p
    }
  }
  return null                    // bütün satırlar dinlenmede
}

function arizali(p, neden) {
  p.fails += 1
  if (p.fails >= 3) p.benchUntil = Date.now() + BENCH_MS
  return { sonuc: neden, ip: p.ip }
}

const hostPause = new Map()      // hedef alan adı -> bekleme bitiş zamanı

export async function getir(target) {
  const host = new URL(target).hostname
  if ((hostPause.get(host) || 0) > Date.now()) return { sonuc: 'hedef-beklemede' }
  const p = nextProxy()
  if (!p) return { sonuc: 'saglikli-satir-yok' }
  try {
    const res = await axios.get(target, {
      proxy: false,              // axios’un kendi proxy ayarı ve ortam değişkenleri devre dışı
      httpAgent: p.agent,        // HTTP hedefler de tünelden geçsin
      httpsAgent: p.agent,
      timeout: 20000,
      validateStatus: () => true,
      headers: { 'User-Agent': 'OrnekToplayici/1.0 (iletisim adresiniz)' },
    })
    if (res.status === 407) return arizali(p, 'kimlik-407')
    p.fails = 0
    if (res.status === 429) {
      const sn = Number(res.headers['retry-after']) || 60
      hostPause.set(host, Date.now() + sn * 1000)   // satır değil, hedefin tamamı bekler
    }
    return { sonuc: res.status, ip: p.ip }
  } catch (err) {
    const kod = err.code || ''
    const proxyKaynakli = ['ECONNREFUSED', 'ECONNRESET', 'ETIMEDOUT', 'ECONNABORTED'].includes(kod) ||
      /socks/i.test(String(err.message))
    if (proxyKaynakli) return arizali(p, 'proxy-' + (kod || 'socks'))
    return { sonuc: 'hata', kod: kod || String(err.message), ip: p.ip }
  }
}

Örnekte iki ayrım önemlidir. Birincisi, HTTP hedeflerin de proxy’den geçmesi için aynı ajan hem httpAgent hem httpsAgent olarak verilir; yalnız httpsAgent verilip proxy ayarı kapatılırsa HTTP adresler proxy’siz çıkar. İkincisi, satırı dinlenmeye almanın ölçütü hedefin yanıtı değil proxy’nin davranışıdır: bağlantının reddedilmesi, zaman aşımı, 407 ya da SOCKS hatası satırın sorunlu olduğuna işaret edebilir. Hedeften gelen 429 ise satırla değil sizin toplam hızınızla ilgilidir; bu yüzden örnek, 429 aldığında başka bir IP’ye geçmek yerine o hedefe giden bütün istekleri Retry-After süresi kadar durdurur. Zaman aşımları hedefin yavaşlığından da kaynaklanabileceği için satır ancak art arda üç arızadan sonra dinlenmeye alınır.

Tarayıcı otomasyonunda durum biraz farklıdır. Chromium tabanlı tarayıcılar proxy adresini başlatma argümanıyla alır ve kimlik bilgisini adresin içinden okumaz; Playwright bunu ayrı kullanıcı adı ve şifre alanlarıyla, Puppeteer ise sayfa düzeyinde kimlik doğrulama çağrısıyla çözer. Listenizde yalnız SOCKS satırları varsa ve tarayıcınız SOCKS kimlik doğrulamasını desteklemiyorsa, aynı hesabın HTTP satırlarını kullanmak en kısa yoldur. Tam tarayıcı her sayfada görsel, yazı tipi ve betik de indirdiği için GB bazlı paketlerde tüketim HTML istemcisine göre belirgin biçimde artar; bunu ölçüm bölümündeki kalibrasyonla ayrıca ölçün.

IP whitelist ve port hataları: kimlik neden sunucuda tutmaz?

Proxy sağlayıcıları bağlantıyı iki yolla yetkilendirir. Kullanıcı adı ve şifre yönteminde kimlik isteğin içinde taşınır: HTTP proxy’de Proxy-Authorization başlığıyla, SOCKS5’te ise RFC 1929’da tanımlanan kullanıcı adı ve şifre alt görüşmesiyle. IP yetkilendirmesinde (whitelist) kimlik taşınmaz; sağlayıcı bağlantının hangi kaynak IP adresinden geldiğine bakar ve listedeki adreslerden gelen bağlantıları kabul eder. Hangi yöntemin kullanılabildiği ürüne göre değişir. IPv4Proxy kataloğunda statik residential IPv4 ve mobil hatlar için yalnız kullanıcı adı ve şifre belirtilir, bu ürünlerde IP whitelist yoktur; statik datacenter IPv4 paketleri de kullanıcı adı ve şifreyle bağlanır. Diğer ürünlerde whitelist seçeneğinin bulunup bulunmadığını ve kaç adres eklenebildiğini panelde kontrol edin.

Whitelist kullanılan kurulumlarda en sık sorun, sağlayıcının gördüğü kaynak adresin sizin sandığınız adres olmamasıdır. Geliştirici makinesinde çalışan kod sunucuda yetki hatası verir, çünkü whitelist’e ofisin adresi eklenmiştir. Bulutta durum daha karmaşıktır: genel IP’si olmayan bir sunucu dışarıya bir NAT ağ geçidi üzerinden çıkar ve sağlayıcı NAT’ın adresini görür; otomatik ölçeklenen gruplarda her yeni sunucu farklı bir geçici adres alır; CI çalıştırıcıları her işte başka bir adresten çıkar. Çift yığınlı, yani hem IPv4 hem IPv6 adresi olan bir sunucuda ise istemci proxy ana bilgisayarına IPv6 üzerinden bağlanabilir; bu durumda sağlayıcı IPv6 kaynak adresi görür ve whitelist’teki IPv4 adresi işe yaramaz. Bu son durum yalnız gateway adının AAAA kaydı varsa ortaya çıkar, ama çıktığında teşhisi zordur; çünkü aynı sunucuda IPv4’e zorlanmış bir curl testi sorunsuz geçer.

Port hataları ayrı bir sınıftır ve iki belirtiyi birbirinden ayırmak teşhisin yarısıdır. Bağlantının hemen reddedilmesi (connection refused), karşı makineye ulaşıldığını ama o portta dinleyen bir servis olmadığını ya da bağlantının aktif olarak geri çevrildiğini gösterir; genellikle yanlış port ya da başka bir protokole ayrılmış port kullanılmıştır. Bağlantının zaman aşımına uğraması ise paketlerin yolda düştüğünü gösterir ve en sık neden sizin tarafınızdaki çıkış kuralıdır. Bulut güvenlik gruplarında giden trafik çoğu zaman serbesttir, ama kurumsal ağlar ve bazı barındırma sağlayıcıları yalnız 80 ve 443 portlarına çıkışa izin verir. Proxy portu bu izin listesinde yoksa her bağlantı denemesi sessizce bekler ve zaman aşımıyla biter.

Statik listelerde her satırın portu farklı olabilir; port numarasını kodda sabitlemek yerine her satırdan okuyun. HTTP ve SOCKS için ayrı portlar tanımlanmışsa protokolle portun eşleştiğinden emin olun: SOCKS istemcisini HTTP portuna yönlendirmek genellikle anlamsız bir yanıt ya da hemen kapanan bir bağlantı üretir. Yüksek eşzamanlılıkta bir de yerel port sorunu vardır. Her TCP bağlantısı kaynak adres, kaynak port, hedef adres ve hedef porttan oluşan dörtlüyle tanımlanır; tek bir gateway adresine ve portuna giden bütün bağlantılar yalnız kaynak portta farklılaşabilir. Linux’ta varsayılan geçici port aralığı 32768–60999, yani 28.232 porttur ve bağlantıyı istemci kapatıyorsa her port yaklaşık 60 saniye TIME_WAIT durumunda bekler. Bu iki değer, tek bir gateway’e saniyede yaklaşık 470 yeni bağlantının üzerinde “Cannot assign requested address” (EADDRNOTAVAIL) hatası görebileceğinizi gösterir. Çözüm bağlantıları yeniden kullanmak, yeni bağlantı hızını sınırlamak ya da yerel port aralığını genişletmektir; dönen gateway’de bağlantı yeniden kullanımının rotasyonu nasıl etkilediğini ürün belgesinden kontrol edin. Statik listede hedef adresler farklı olduğu için bu sınır her satır için ayrı işler.

Aşağıdaki komutlar bu teşhislerin çoğunu birkaç dakikada yapar. Linux veya macOS sunucuda çalışır; Windows’ta Test-NetConnection komutu port testini, Resolve-DnsName komutu DNS sorgusunu karşılar.

Kabuk: whitelist adresi, gateway adres ailesi, port erişimi ve hedefin DNS kayıtları için teşhis komutları
# 1) Sunucunun dışarıya çıktığı IPv4 adresi (whitelist’e eklenecek adres)
#    Bu iki testte HEDEF_URL, çıkış IP’sini döndüren test adresidir
curl -4 -s --max-time 10 HEDEF_URL; echo

# 2) Sunucunun IPv6 çıkışı var mı? Varsa istemci gateway’e IPv6 ile bağlanabilir
curl -6 -s --max-time 10 HEDEF_URL || echo "IPv6 çıkışı yok"

# 3) Gateway adı hangi adres ailelerine çözülüyor?
dig +short A GATEWAY
dig +short AAAA GATEWAY

# 4) Port erişimi: "refused" ile zaman aşımını ayırt edin
nc -vz -w 5 GATEWAY PORT

# 5) Proxy üzerinden ayrıntılı istek: 407, CONNECT yanıtı ve tünel adımı görünür
curl -v -4 --max-time 20 -o /dev/null -x "http://KULLANICI:ŞİFRE@GATEWAY:PORT" HEDEF_URL

# 6) Hedefin adres aileleri (burada HEDEF_URL gerçek hedefinizdir)
#    Yalnız A kaydı dönüyorsa hedef yalnız IPv4 sunar
HOST=$(echo "HEDEF_URL" | awk -F/ '{print $3}')
dig +short A "$HOST"
dig +short AAAA "$HOST"

Hata → neden → çözüm: whitelist, port ve liste kaynaklı arızalar

Aşağıdaki tablo genel bağlantı sorunlarını değil, bir IPv4 listesini scraper’a bağlarken ortaya çıkan arızaları toplar. Her satırda önce belirtiyi eşleştirin, nedeni yukarıdaki komutlardan biriyle doğrulayın, sonra tek bir değişiklik yapıp testi tekrarlayın.

Liste bağlama sırasında görülen arızalar
BelirtiOlası nedenÇözüm
Her satır 407 veriyor, şifre panelde doğru görünüyorŞifrenin sonunda satır başı karakteri kalmış ya da özel karakter kodlanmamışSatırları strip ile temizleyin, kimliği yüzde kodlamasıyla URL’ye yazın
Geliştirici makinesinde çalışıyor, sunucuda yetki hatasıWhitelist’te sunucunun değil ofisin adresi varSunucunun çıkış IPv4 adresini sunucunun içinden ölçüp ekleyin ya da kullanıcı adı ve şifreye geçin
Dün çalışıyordu, bugün yetki hatasıÇıkış adresi değişti: yeni ölçeklenen sunucu, CI çalıştırıcısı, CGNAT ya da dinamik IPSabit adresli bir NAT ağ geçidi kullanın ya da whitelist yerine kimlik bilgisiyle bağlanın
Whitelist’te IPv4 ekli, yine yetki hatasıİstemci gateway’e IPv6 üzerinden bağlanıyorGateway bağlantısını IPv4’e zorlayın (curl için -4, uygulamada A kaydına çözümleme) ve testi tekrarlayın
Connection refusedYanlış port, başka protokole ait port ya da süresi dolmuş paketPortu panelden satır bazında okuyun, protokolle eşleştirin, paket durumunu kontrol edin
Bağlantı kurulurken zaman aşımıSunucunun ya da kurumsal ağın çıkış kuralı proxy portunu engelliyornc veya Test-NetConnection ile portu test edin, çıkış kuralına proxy portunu ekletin
SOCKS5 yanıt kodu 4 ya da 8 (host unreachable, address type not supported)İstemci alan adını yerelde çözüp IPv6 adres gönderdi, çıkış ise IPv4socks5h şemasına geçin ve çözümlemeyi proxy’ye bırakın
HTTPS hedeflerde “tunnel connection failed” ya da CONNECT reddiProxy CONNECT isteğini kimlik ya da politika nedeniyle reddetti; hedef port standart dışı olabilirAyrıntılı curl çıktısında CONNECT yanıt kodunu okuyun; 407 ise kimliği düzeltin, değilse destekle doğrulayın
Yüksek eşzamanlılıkta “Cannot assign requested address”Tek gateway’e açılan yeni bağlantılar yerel geçici portları tükettiBağlantı havuzu kullanın, yeni bağlantı hızını sınırlayın, gerekirse yerel port aralığını genişletin
İstekler başarılı ama çıkış adresi sunucunun kendisiİstemci proxy’yi uygulamıyor: eksik https anahtarı, NO_PROXY, eksik ajanİstemci tablosundaki tuzakları kontrol edin, çıkış testini üretim ortamının içinden çalıştırın

Tablodaki son satır ayrıca vurgulanmayı hak eder, çünkü hiçbir hata sayacında görünmez. Proxy’siz çıkan istekler başarılı sayılır ve veri tabanına normal kayıt gibi yazılır. Bunu yakalamanın tek güvenilir yolu, üretimde de düzenli aralıklarla çıkış adresini kontrol eden küçük bir test isteği göndermek ve sonucu sunucunun kendi adresiyle karşılaştırmaktır.

Yalnız IPv4 çözümleyen hedefler: alan adını kim çözüyor?

Hedef listenizdeki her alan adı IPv6 yayını yapmaz. Pek çok site yalnız A kaydı yayımlar; bir kısmı ana alan adında AAAA kaydı tutarken API, görsel ya da arama alt alan adlarında yalnız IPv4 sunar. Yalnız IPv6 çıkışı olan bir proxy bu hedeflere ulaşamaz; IPv4 çıkış ise A kaydı olan her hedefe ulaşır. Karışık bir hedef listesinde IPv4’ün ortak payda olmasının nedeni budur. Hedeflerinizin kayıtlarını yukarıdaki dig komutlarıyla bir kez çıkarıp hedef tablonuza yazmak, adres ailesi kaynaklı hataları ileride dakikalar içinde ayırmanızı sağlar.

Daha az bilinen soru, alan adının nerede çözüldüğüdür. HTTP proxy kullanıldığında istemci alan adını proxy’ye iletir: düz HTTP isteklerinde tam adres istek satırındadır, HTTPS’te ise CONNECT isteği alan adıyla gönderilir. Çözümlemeyi proxy yapar ve sonuç çıkış noktasının bakış açısını yansıtır. SOCKS’ta durum istemciye bağlıdır. SOCKS4 yalnız IPv4 adresi taşır ve alan adı desteği ancak 4a uzantısıyla gelir; düz SOCKS4’te çözümleme yerelde yapılır. SOCKS5 alan adı taşıyabilir, ama birçok kütüphane socks5 şemasında alan adını yerelde çözüp proxy’ye IP adresi gönderir; socks5h şeması ise alan adının proxy’ye iletilmesini sağlar.

Bağlantı türüne göre alan adı çözümlemesi ve IPv4 açısından risk
Bağlantı türüAlan adını kim çözerRiskÖneri
HTTP proxy, HTTP hedefProxyDüşükEk ayar gerekmez
HTTP proxy, HTTPS hedef (CONNECT)ProxyDüşükİstemcinin CONNECT isteğine IP değil alan adı yazdığından emin olun
SOCKS5, socks5 şemasıÇoğu kütüphanede yerel makineYerel çözümleyici IPv6 döndürürse IPv4 çıkış bağlanamaz; coğrafi DNS sunucunuzun konumuna göre yanıt verirsocks5h şemasına geçin
SOCKS5, socks5h şemasıProxyDüşükSOCKS satırlarında varsayılan tercih
SOCKS4 (4a olmadan)Yerel makine, yalnız IPv4IPv6 adres taşınamaz; coğrafi DNS uyuşmazlığıMümkünse SOCKS5 ve socks5h kullanın

Yerel çözümlemenin iki somut zararı vardır. Birincisi adres ailesidir: sunucunuz çift yığınlıysa yerel çözümleyici hedef için önce IPv6 adres döndürebilir, istemci bu adresi SOCKS5 isteğine koyar ve yalnız IPv4 çıkışı olan proxy bağlantıyı kuramaz. RFC 1928’e göre proxy bu durumda “address type not supported” (kod 8) ya da “host unreachable” (kod 4) gibi bir yanıt döner ve hata hedefle ilgiliymiş gibi görünür. İkincisi coğrafyadır: CDN kullanan hedefler DNS yanıtını sorgunun geldiği konuma göre verir. Alan adını Frankfurt’taki sunucunuzda çözüp ABD çıkışlı bir proxy’ye IP adresi gönderirseniz, istek ABD’den Avrupa’daki bir CDN düğümüne gider; içerik bölgeye göre değişiyorsa yanlış veri, değişmiyorsa gereksiz gecikme alırsınız.

Bir başka yanlış alışkanlık, hedefin IP adresini bir kez çözüp scraper’a doğrudan IP yazmaktır. HTTPS’te sunucu adı bildirimi (SNI) ve Host başlığı alan adını beklediği için bu yaklaşım sertifika hatası üretir ya da CDN’in isteği yanlış siteye yönlendirmesine yol açar; ayrıca hedef adres değiştirdiğinde scraper sessizce eski sunucuya gitmeye devam eder. Alan adını her zaman alan adı olarak gönderin ve çözümlemeyi çıkış noktasına bırakın.

Statik IPv4 listesi mi, dönen gateway mi: scraper mimarisine etkisi

IPv4Proxy kataloğunda scraping için öne çıkan iki bağlantı modeli vardır: statik datacenter IPv4 paketlerinde size atanmış sabit adreslerden oluşan bir liste, rotating datacenter IPv4’te ise arkasında dönen bir havuz bulunan tek bir uç nokta. Hangi modelin seçileceği ürün sayfalarında ele alınır; burada iki modelin scraper kodunu nasıl değiştirdiğine bakıyoruz. Fark faturalamadan çok sorumluluk dağılımındadır: listede rotasyon, sağlık takibi ve arıza yalıtımı sizin kodunuzdadır; gateway’de bunların çoğu sağlayıcıya geçer, buna karşılık tek bir uç noktaya bağımlı olursunuz.

Statik liste ile dönen gateway: scraper açısından farklar (fiyatlar katalogdan, USD)
KonuStatik datacenter IPv4 listesiRotating datacenter IPv4 gateway
Bağlantı bilgisiHer IP için bir satır; liste biçimi panelde kontrol edilirTek uç nokta ve kullanıcı bilgileri
Protokol (teknik özet)HTTP / SOCKS5HTTP / SOCKS5
Rotasyonu kim yaparSiz: sıralı, karma tabanlı ya da ağırlıklı seçimSağlayıcı: ürün sayfasına göre her istekte ya da 1–5 dakikalık sticky oturumla
FaturalamaIP adedine göre, 30 günlük dönem: 100 IP 15, 250 IP 25, 500 IP 45, 1000 IP 80Aktarılan GB’a göre, süre sınırı yok: 10 GB 6, 20 GB 12, 50 GB 30, 100 GB 60, 1000 GB 500
LokasyonABD, Birleşik Krallık, Hollanda, Almanya, Kanada; dağılım sipariş sonrası panelden yapılır ve o pakette sonradan değişmezKartta 15 ana lokasyon listelenir, ürün sayfası 180’den fazla lokasyondan söz eder; seçim panelden yapılır
Arıza birimiTek satır; diğer satırlar çalışmaya devam ederUç nokta; sorun bütün trafiği etkiler
Sağlık kontrolüSatır başına ayrı ayrıUç nokta başına; çıkış adresi her testte değişebilir
Bağlantı yeniden kullanımıSatır başına keep-alive güvenle kullanılırYeniden kullanılan bağlantının rotasyonu nasıl etkilediği belgeden kontrol edilmeli
Yerel port baskısıHedef adresler farklı olduğu için dağılırBütün bağlantılar tek adres ve porta gider
Bant genişliğiTeknik özette sınırsız; SSS’e göre siparişte limitli ya da sınırsız yapılandırma seçilirSatın alınan GB kotası kadar

Tablodaki son satır maliyet karşılaştırmasında belirleyicidir. Statik paketin fiyatı IP adedine bağlıdır, ama aktarabileceğiniz trafik siparişte seçtiğiniz bant genişliği yapılandırmasına bağlıdır. Statik paketi GB bazlı ürünle karşılaştırmadan önce, katalogdaki fiyatın hangi bant genişliği seçeneğine karşılık geldiğini sipariş adımında doğrulayın.

Kendi rotasyonunuzu yazarken: IP başına istek aralığı

Statik listeyle çalışırken sorulacak ilk soru “kaç IP gerekir” değil, “her IP hedefte ne sıklıkla görünecek” sorusudur. Bunu basit bir oranla bulursunuz: tarama süresi çarpı o hedefe ayrılan IP sayısı, bölü o hedefe gönderilecek istek sayısı. Sonuç, aynı IP’nin aynı hedefe gönderdiği iki istek arasındaki ortalama süredir. Örneğin dört saatlik bir taramada 20.000 sayfalık bir hedefe 50 IP ayırırsanız her IP 400 istek gönderir ve aynı hedefte ortalama 36 saniyede bir görünür. IP sayısını artırmak bu aralığı uzatır ama hedefin gördüğü toplam yükü değiştirmez; hedef yine saniyede yaklaşık 1,4 istek alır. Hız sınırı toplam yük üzerinden konuşulur, IP başına değil.

Rotasyon kuralını da işin türüne göre seçin. Birbirinden bağımsız ürün sayfaları için sıralı dağıtım yeterlidir. Birden fazla adımdan oluşan bir akış, örneğin sayfalandırılmış bir kategori, aynı IP’den devam etmelidir; bunun için akışın anahtarını (kategori adresi gibi) bir karma işleviyle listedeki bir satıra eşlemek, ek durum tutmadan tutarlı atama sağlar. Her durumda hangi isteğin hangi IP’den çıktığını kayda geçirin: bir hedef sahibi belirli bir adresle ilgili soru sorduğunda ya da bir satır sorun çıkardığında bu kayıt elinizdeki tek bilgi kaynağıdır.

Türkiye IP’si gereken hedefler

Hedef içerik Türkiye’den bakıldığında farklılaşıyorsa (fiyat, stok, kargo seçenekleri ya da yerel katalog gibi) liste modelini seçmeden önce lokasyonu kontrol edin. Katalogda statik datacenter IPv4’ün beş lokasyonu arasında Türkiye yoktur. Rotating datacenter ve rotating residential IPv4’ün listelenen lokasyonları arasında Türkiye bulunur. Statik residential IPv4’te Türkiye için tek IP aylık 2,25 dolardan, 10 IP 22,50 dolardan listelenir; diğer ülkelerde aynı ürünün beş IP’lik paketi 17,50 dolar olduğundan IP başı aylık maliyet Türkiye’de 2,25, diğer ülkelerde 3,50 dolardır. Statik residential, yüksek hacimli bir scraping yükünden çok Türkiye’den sabit kimlikle yapılan düşük hacimli kontroller için anlamlıdır; yüksek hacimli Türkiye toplaması için GB bazlı bir üründe hedef ülkeyi panelden Türkiye olarak seçmek daha uygun bir başlangıçtır.

GB tüketimini ölçmek: scraper’ın saydığı bayt ile panelin saydığı bayt

GB bazlı paketlerde proxy maliyetini öngörmek için scraper’ın kendi saydığı veri miktarı yeterli değildir. Çoğu istemci kütüphanesi size açılmış, yani sıkıştırması çözülmüş yanıt gövdesini verir; requests’te content özelliğinin uzunluğu bu değeri gösterir. Proxy ise hatta geçen baytı görür: sıkıştırılmış gövdeyi, istek ve yanıt başlıklarını, her yeni HTTPS bağlantısındaki TLS el sıkışmasını, yönlendirmelerin her adımını, yeniden denemeleri ve yarıda kesilen indirmeleri. Bu kalemlerin bir kısmı scraper’ın sayacında hiç görünmez, bir kısmı ise olduğundan büyük görünür.

Scraper sayacı ile hatta geçen trafik arasındaki fark kalemleri
KalemScraper genelde nasıl sayarFark yönüNasıl yakalanır
Yanıt gövdesiAçılmış boyutlaSıkıştırma açıksa sayaç fazla gösterirhttpx’te num_bytes_downloaded, requests’te stream modunda raw.tell()
İstek ve yanıt başlıklarıÇoğu zaman saymazSayaç eksik gösterirBaşlıkların uzunluğunu ayrıca toplayın
TLS el sıkışması ve sertifika zinciriSaymazSayaç eksik gösterir; kısa ömürlü bağlantılarda payı büyürBağlantı yeniden kullanım oranını izleyin
YönlendirmelerYalnız son yanıtı sayarSayaç eksik gösterirYanıt geçmişindeki ara adımları da toplayın
Yeniden denemeler ve hata sayfalarıÇoğu zaman yalnız başarılı yanıtı sayarSayaç eksik gösterirHer denemeyi ayrı kayda geçirin
Yarıda kesilen indirmelerSaymazSayaç eksik gösterirZaman aşımında o ana kadar okunan baytı kaydedin
robots.txt, ön kontrol ve sağlık testleriAyrı süreçte çalıştığı için hiç saymazSayaç eksik gösterirBu süreçleri de aynı sayaca bağlayın

Bu farkları tek tek modellemek yerine bir kalibrasyon katsayısı ölçmek daha pratiktir: panelin gösterdiği tüketimin scraper’ın kendi sayacına oranı. Rotating datacenter IPv4 panelinde kalan kota ve kullanım izlenebilir; kalibrasyon bu ekranla yapılır. Raporlama ve kota uyarısı seçeneklerinin olup olmadığını panelde kontrol edin. Panelin trafiğin hangi yönünü saydığını (yalnız gelen mi, gelen ve giden mi) sağlayıcının belgesinden kontrol edin; ölçtüğünüz katsayı bu ayrıntıyı da kendiliğinden içine alır.

  1. Ölçüm için ayrı bir paket ya da kimlik kullanın; ölçüm sırasında aynı kimlikle başka hiçbir iş çalışmasın.
  2. Paneldeki kullanım değerini ve saatini not edin.
  3. Gerçek hedeflerinizden, gerçek sayfa türlerini temsil eden sabit bir URL örneklemi seçin. Örneklemi, panelin yuvarlama hassasiyeti ölçümü bozmayacak kadar büyük tutun.
  4. Scraper’ı üretimdeki ayarlarla çalıştırın: aynı sıkıştırma, aynı zaman aşımları, aynı yeniden deneme kuralı. Her istek için sıkıştırılmış gövde baytını ve başlık uzunluğunu kaydedin.
  5. Panel güncellendikten sonra yeni değeri okuyun ve iki değer arasındaki farkı hesaplayın.
  6. Katsayıyı hesaplayın: panel farkı bölü scraper toplamı.
  7. Ölçümü her sayfa türü için ayrı tekrarlayın; küçük JSON yanıtlarında başlık ve el sıkışma payı büyük HTML sayfalarına göre çok daha yüksektir.
  8. Katsayıyı aylık tahmininize uygulayın; panel kota uyarısı sunuyorsa tahminin altında bir eşiğe kurun, sunmuyorsa kalan kotayı kendi izleme betiğinizle düzenli kontrol edin.

Örneklem büyüklüğünü panelin hassasiyeti belirler. Panelin kullanımı iki ondalıklı GB olarak gösterdiğini varsayalım: 0,01 GB, yani 10 MB’lık yuvarlama farkı 150 MB’lık bir ölçümde yaklaşık yüzde 7’lik bir hata payı yaratır. Ölçümü 1 GB’ın üzerine taşımak bu payı yaklaşık yüzde 1’e indirir. Sayfa başına 70 KB aktaran bir hedefte bu, yaklaşık 14.300 sayfa demektir. Katalogda 1 dolar olarak listelenen 2 GB’lık giriş paketi böyle bir ölçüm için yeterlidir.

Örnek hesap: iki ülkeden katalog izleme, iki faturalama modeli

İki modeli somut bir örnekle yan yana koyalım. Bir yedek parça dağıtıcısının analiz ekibi, ABD’deki ve Almanya’daki iki tedarikçinin herkese açık ürün kataloglarını haftada iki kez topluyor. Her katalog 20.000 ürün sayfasından oluşuyor, sayfalar HTML olarak indiriliyor ve içerik ülkeye göre değiştiği için her katalog kendi ülkesinden çıkan IP’lerle toplanıyor. İki tedarikçinin de robots.txt dosyası ürün sayfalarına izin veriyor ve kullanım koşulları otomatik erişimi yasaklamıyor. Aşağıdaki girdilerden fiyatlar dışındakilerin hepsi varsayımdır; kendi ölçümlerinizle değiştirin.

Senaryo girdileri ve türetilen değerler (fiyatlar katalogdan, USD)
KalemDeğerHesap ya da kaynak
Tarama başına sayfa40.0002 katalog × 20.000 sayfa (varsayım)
Aylık tarama sayısı9Haftada 2 tarama, yukarı yuvarlanmış (varsayım)
Aylık istek360.00040.000 × 9
Scraper’ın ölçtüğü sayfa başı aktarım70 KBSıkıştırılmış gövde ve başlıklar (varsayım)
Scraper toplamı25,2 GB360.000 × 70 KB; 1 GB = 1.000.000 KB
Kalibrasyon katsayısı1,12Ölçüm bölümündeki yöntemle bulunduğu varsayılan değer
Yeniden deneme payı%5Varsayım
Panelde beklenen aylık tüketimYaklaşık 29,64 GB25,2 × 1,12 × 1,05
Rotating datacenter IPv4 maliyeti18 dolar20 GB (12) + 10 GB (6) = 30 GB; GB başına 0,60
Statik datacenter IPv4 maliyeti15 dolar / 30 gün100 IP paketi; panelde 50 ABD + 50 Almanya olarak dağıtılır
Başabaş trafik25 GB15 / 0,60; bunun üzerinde statik paket ucuzlar
Tarama süresi4 saatVarsayım; 14.400 saniye
Hedef başına toplam hızYaklaşık 1,39 istek/sn20.000 / 14.400
Statik listede IP başına aralık36 saniye14.400 × 50 / 20.000

Hesap, iki modelin bu ölçekte birbirine çok yakın olduğunu gösteriyor. Aylık tüketim 25 GB’lık başabaş noktasının biraz üzerinde olduğu için statik paket ayda yaklaşık 3 dolar daha ucuz görünür; ama bu fark ancak 15 dolarlık fiyatın bu trafiği kapsayan bir bant genişliği yapılandırmasına karşılık gelmesi hâlinde geçerlidir. Statik modelde liste yükleyici, satır sağlık takibi ve rotasyon kodu da sizin sorumluluğunuzdadır. GB bazlı modelde ise kullanılmayan kota, süre sınırı olmadığı için sonraki aya kalır; tedarikçilerden biri bir ay katalog güncellemezse ve tarama yapılmazsa para boşa gitmez. Bin sayfa başına maliyet GB bazlı modelde 18 / 360 = 0,05 dolardır.

Ölçek değiştiğinde tablo farklı okunur. Ekip ABD ve Almanya’da ikişer tedarikçi izlemeye başlarsa GB bazlı tüketim yaklaşık 59,27 GB’a çıkar ve 50 GB + 10 GB paketlerle 36 dolar tutar. Statik tarafta 100 IP’lik paket aynı kalabilir: her IP’nin toplam istek sayısı iki katına çıkar ama aynı hedefte görünme aralığı değişmez, çünkü yeni istekler yeni hedeflere gider. Bu durumda başabaş noktası çok geride kalır ve fark 15 dolara karşı 36 dolar olur; yine bant genişliği yapılandırmasının bu trafiği kapsaması koşuluyla. Bir hedefte IP başına aralığı uzatmak isterseniz 250 IP’lik paketle (25 dolar) ülke başına 125 IP ayırabilirsiniz; aralık 36 saniyeden 90 saniyeye çıkar, IP başı dönemlik maliyet 0,15 dolardan 0,10 dolara iner. Tersi yönde, tedarikçilerden biri Türkiye’de olsaydı statik datacenter seçeneği o hedef için kullanılamazdı, çünkü katalogdaki beş lokasyon arasında Türkiye yok; o hedefin trafiği Türkiye’yi listeleyen GB bazlı bir ürüne giderdi.

Hukuki ve etik çerçeve: kısa ve net

Proxy yalnız ağ yolunu değiştirir; neyi, hangi hızla ve hangi amaçla toplayabileceğinizi değiştirmez. Bu sayfadaki teknikler herkese açık ve toplanmasına izin verilen veriler içindir. Aşağıdaki dört kural, listeniz ne kadar büyük olursa olsun geçerlidir.

  • Kurallar: Her hedefin robots.txt dosyasını ve kullanım koşullarını okuyun. Otomatik erişimi yasaklayan bölümleri listeden çıkarın; resmi bir API ya da veri lisansı varsa onu tercih edin.
  • Hız: Hedef başına toplam hızı IP sayısından bağımsız belirleyin. Listeye IP eklemek hedefin taşıdığı yükü azaltmaz, yalnız dağıtır.
  • Kişisel veri: Türkiye’deki hedeflerde KVKK, Avrupa’daki hedeflerde GDPR geçerlidir. Ad, telefon, e-posta ya da profil bilgisi içeren alanlara ihtiyacınız yoksa toplamayın; ihtiyacınız varsa hukuki dayanağı ve saklama süresini önceden belirleyin.
  • Korumalar: CAPTCHA, giriş duvarı ve tarayıcı parmak izi kontrolleri aşılmaz. Doğrulama sayfası gördüğünüzde toplamayı durdurun ve nedenini inceleyin.

IPv4Proxy’nin kabul edilebilir kullanım politikası da yetkisiz erişimi ve hedef site koşullarını ihlal eden kullanımları yasaklar; ihlaller hizmetin askıya alınmasına yol açabilir. User-Agent başlığında toplayıcınızın adını ve bir iletişim adresini vermek, site sahibinin sizi engellemek yerine size yazabilmesini sağlar.

Canlıya almadan önce liste ve bağlantı kontrol listesi

Aşağıdaki maddeler bu sayfadaki adımları tek yerde toplar. Her yeni liste geldiğinde, scraper başka bir sunucuya taşındığında ve yeni bir hedef eklendiğinde listeyi yeniden gözden geçirin.

  • Liste dosyası UTF-8 olarak okunuyor; BOM, Windows satır sonları, boş ve açıklama satırları temizleniyor.
  • Her satır ayrıştırıcıdan geçti; IPv4 ya da alan adı olmayan, alan sayısı bozuk satırlar ayrı bir raporda.
  • Kullanıcı adı ve şifre URL’ye yüzde kodlamasıyla yazılıyor; günlüklerde yalnız IP ve port görünüyor.
  • İstemcide HTTP ve HTTPS trafiği aynı proxy’ye gidiyor; HTTP_PROXY, HTTPS_PROXY ve NO_PROXY değişkenlerinin etkisi bilinçli olarak açık ya da kapalı.
  • Çıkış adresi testi üretim ortamının içinden çalıştırıldı; çıkış IPv4 ve beklenen ülkede, statik listede satır adresiyle eşleşiyor.
  • Kimlik yöntemi ürünle uyumlu; whitelist kullanılıyorsa sunucunun gerçek çıkış IPv4 adresi eklendi, ölçeklenen sunucuların ve CI işlerinin çıkışı sabitlendi.
  • Çift yığınlı sunucuda gateway’e IPv4 üzerinden bağlanıldığı doğrulandı.
  • Proxy portu sunucunun ve ağın çıkış kurallarında açık; reddedilme ve zaman aşımı ayrı sayılıyor.
  • SOCKS satırlarında socks5h kullanılıyor; tarayıcı otomasyonunda SOCKS kimlik desteği kontrol edildi.
  • Hedeflerin A ve AAAA kayıtları hedef tablosuna yazıldı; içerik ülkeye bağlıysa çıkış ülkesi her kayda ekleniyor.
  • GB kalibrasyon katsayısı her sayfa türü için ölçüldü; kalan kota panelden ya da kendi betiğinizle izleniyor.
  • Hedef başına toplam hız IP sayısından bağımsız olarak sınırlandı; robots.txt ve kullanım koşulları her hedef için okundu.

Bu kontrollerin çoğu bir kez kurulur ve sonra kendiliğinden çalışır: ön kontrol betiği her dağıtımda listeyi doğrular, çıkış testi bypass’ları yakalar, kalibrasyon katsayısı bütçeyi gerçekçi tutar. Böylece scraping için IPv4 proxy kaynaklı sorunlar üretim verisine karışmadan, kaynağına en yakın katmanda yakalanır.

Diğer kullanım alanları

Başka bir iş akışına mı bakıyorsunuz?

Başlayın

Büyük ölçekli web scraping için hazır mısınız?

Hesap oluşturun, 100 MB ücretsiz residential trafiği hemen kullanın ve önerilen havuzla ilk isteğinizi gönderin.