Büyük ölçekli web scraping rehberi
Kısa cevap
Scraping için IPv4 proxy kullanırken işin çoğu, sağlayıcının verdiği listeyi scraper’a doğru bağlamaktır: satır formatını hatasız ayrıştırmak, Python veya Node istemcisinde HTTP ve HTTPS trafiğini birlikte yönlendirmek, whitelist ve port hatalarını birbirinden ayırmak, hedefin yalnız IPv4 sunup sunmadığını kontrol etmek ve GB tüketimini panelle karşılaştırarak ölçmek. Bu sayfa her adımı kod, tablo ve örnek hesapla gösterir.
Scraping için IPv4 proxy bağlantısı hangi katmanlardan geçer?
Scraping için IPv4 proxy satın aldıktan sonra elinizde ya tek bir bağlantı satırı ya da yüzlerce satırlık bir liste olur. Bu satırın scraper’ınızın gönderdiği her isteğe doğru biçimde uygulanması, çoğu ekibin sandığından fazla katmandan geçer: panelde tanımlı kimlik bilgisi, indirilen liste dosyası, o dosyayı okuyan kod, istemci kütüphanesinin proxy ayarı, sağlayıcının kimlik doğrulaması, çıkış IPv4 adresi ve hedefin DNS kayıtları. Bunların herhangi birinde yapılan küçük bir hata ya açık bir bağlantı hatası olarak ya da çok daha sinsi biçimde, isteklerin proxy’yi hiç kullanmadan sunucunuzun kendi adresinden çıkması olarak geri döner.
Bu sayfa hangi proxy türünü seçmeniz gerektiğini yeniden anlatmaz; o karar ürün sayfalarında ve rehberlerde ayrıca ele alınır. Burada odak, seçilmiş bir IPv4 listesini ya da gateway satırını çalışan bir toplayıcıya bağlamaktır. Aşağıdaki tablo zinciri baştan sona gösterir. Bir sorunla karşılaştığınızda tabloyu yukarıdan aşağı izlemek, rastgele ayar değiştirmekten çok daha hızlı sonuç verir; çünkü üst katmandaki bir hata, alttaki katmanlarda bambaşka bir belirti gibi görünebilir.
| Katman | Ne taşır | Tipik bozulma | İlk bakılacak yer |
|---|---|---|---|
| Panel ve sipariş | Kimlik bilgileri, port, lokasyon dağılımı, kota | Süresi dolmuş paket, biten kota, yanlış ülkeye dağıtılmış IP | Paket durumu ve kullanım ekranı |
| Liste dosyası | Satır başına bir uç nokta | Yanlış ayraç, görünmeyen satır sonu karakteri, dosya başındaki BOM | Dosyanın ilk ve son satırları |
| Ayrıştırıcı | Satırı adres, port ve kimliğe böler | Şifredeki iki nokta ya da @ işaretiyle bozulan bölme | Ayrıştırıcının hata raporu |
| İstemci kütüphanesi | Proxy ayarını isteklere uygular | HTTPS isteklerinin proxy’siz çıkması, ortam değişkeninin ayarı ezmesi | İstemcinin proxy anahtarları ve ortam değişkenleri |
| Kimlik doğrulama | Kullanıcı adı ve şifre ya da yetkili kaynak IP | 407 yanıtı, bağlantının hemen kapanması | Sunucunuzun gerçek çıkış IPv4 adresi |
| Çıkış adresi ve hedef | IPv4 çıkış, hedefin A kaydı | Yanlış adres ailesi, yanlış bölgenin içeriği | Hedefin DNS kayıtları ve yanıt içeriği |
| Sayaç | Aktarılan bayt | Panel ile scraper sayısının ayrışması | Kalibrasyon ölçümü |
Tablonun son satırı çoğu zaman unutulur ama faturayı doğrudan belirler. GB bazlı paketlerde panelin saydığı trafik, scraper’ınızın kendi günlüğünde gördüğü bayttan farklıdır ve bu farkı bilmeden yapılan bütçe planı sistematik olarak eksik kalır. Ölçüm yöntemi aşağıda ayrı bir bölümde, örnek hesapla birlikte anlatılıyor.
Liste formatları: ip:port:kullanıcı:şifre satırını hatasız okumak
Sağlayıcılar bağlantı bilgisini birkaç farklı biçimde verir ve aynı panel farklı ürünler için farklı biçim kullanabilir. Statik datacenter IPv4 paketlerinde her IP için ayrı bir satır beklenir; listenin hangi biçimde ve nereden alındığını panelde kontrol edin. Dönen (rotating) ürünlerde ise genellikle tek bir gateway satırı ve kullanıcı bilgileri gelir. Hangi biçimle karşılaştığınızı ilk satıra bakarak anlamak çoğu zaman mümkündür; ama ayrıştırıcınızı tek bir biçime göre yazarsanız bir sonraki siparişte farklı bir dosya geldiğinde kod sessizce bozulur.
| Biçim | Örnek satır | Ne anlama gelir | Ayrıştırma tuzağı |
|---|---|---|---|
| ip:port:kullanıcı:şifre | 203.0.113.24:PORT:KULLANICI:ŞİFRE | Her satır ayrı bir çıkış adresi; en yaygın statik liste biçimi | Şifrede iki nokta varsa satırı soldan en fazla üç kez bölün, kalanı şifre sayın |
| kullanıcı:şifre@ip:port | KULLANICI:Şİ[email protected]:PORT | Kimlik önde, adres arkada; URL biçimine yakın | Şifrede @ varsa satırı son @ işaretinden bölün |
| ip:port | 192.0.2.15:PORT | Kimlik bilgisi yok; kaynak IP yetkilendirmesi (whitelist) beklenir | Ürün whitelist desteklemiyorsa her istek 407 ile döner |
| gateway:port:kullanıcı:şifre | GATEWAY:PORT:KULLANICI:ŞİFRE | Tek uç nokta, arkasında dönen havuz | Satır sayısı IP sayısı değildir; satırı çoğaltmak çeşitlilik getirmez |
| şema://kullanıcı:şifre@adres:port | http, socks5 ya da socks5h şemalı tam adres | Kütüphanelerin doğrudan kabul ettiği biçim | Kullanıcı adı ve şifredeki özel karakterler yüzde kodlamasıyla yazılmalı |
İki nokta üst üste ile ayrılmış biçimin çalışmasının tek nedeni, IPv4 adresinin kendi içinde iki nokta barındırmamasıdır. Aynı dosyaya bir IPv6 adresi karışırsa bölme işlemi adresi parçalara ayırır ve sonuç çoğu zaman hata vermeden yanlış bir ana bilgisayar adı üretir. Bu yüzden ayrıştırıcınız her satırdaki adresin gerçekten bir IPv4 adresi ya da bir alan adı olduğunu doğrulamalı, ikisi de değilse satırı reddetmelidir. IPv6 adresleri URL içinde köşeli parantezle yazılır ve iki nokta ayraçlı liste biçimine güvenle sığmaz; IPv4 listesi için yazılmış bir ayrıştırıcının bu satırları kabul etmemesi doğru davranıştır.
İkinci kalıcı tuzak, şifre içindeki özel karakterlerdir. Liste satırını şema://kullanıcı:şifre@adres:port biçimine çevirdiğinizde kullanıcı adı ve şifre URL’nin kimlik bölümüne girer; bu bölümde @, iki nokta, eğik çizgi, diyez, soru işareti ve yüzde işareti özel anlam taşır. Örneğin şifresi a@b:c olan bir hesabın şifresi URL içinde a%40b%3Ac olarak yazılmalıdır. Kodlanmamış bir @ işareti istemcinin adresi yanlış yerden bölmesine yol açar; sonuç ya bilinmeyen bir ana bilgisayara bağlanma denemesi ya da hatalı kimlikle gelen bir 407 yanıtıdır. Python’da urllib.parse modülündeki quote işlevini safe parametresi boş olarak, Node’da encodeURIComponent işlevini kullanmak yeterlidir.
Üçüncü tuzak dosyanın kendisidir. Windows’ta oluşturulan ya da tablo programından dışa aktarılan listelerde satır sonu iki karakterdir ve görünmeyen satır başı karakteri şifrenin sonuna yapışır; panelde doğru görünen şifre, istemciye bir karakter uzun gider. Bazı düzenleyiciler dosyanın başına bayt sırası işareti (BOM) ekler ve ilk satırdaki IP adresi bozulur. Satır sonlarındaki boşluklar, boş satırlar ve açıklama satırları da aynı sınıftadır. Bu hataların ortak özelliği, listenin yalnız bazı satırlarında görünmeleridir: “ilk satır hiç çalışmıyor” ya da “her satır 407 veriyor ama şifre doğru” şikâyetlerinin önemli bir kısmı buradan çıkar.
Listeyi scraper’a vermeden önce satır satır doğrulamak
Bir listeyi doğrudan üretim scraper’ına vermek, liste hatalarını hedef sitenin yanıtlarıyla karıştırmak demektir. Bir isteğin neden başarısız olduğunu anlamaya çalışırken sorunun satırda mı, kimlikte mi, portta mı yoksa hedefte mi olduğunu ayırmak zorlaşır. Daha temiz yol, listeyi her dağıtımdan önce kısa bir ön kontrolden geçirmektir: her satır ayrıştırılır, URL biçimine çevrilir ve çıkış adresini düz metin olarak döndüren bir test uç noktasına bir kez istek gönderilir. Sonuç, her satır için tek kelimelik bir teşhistir.
Aşağıdaki Python betiği bu işi yapar. Python’un requests kütüphanesini kullanır; SOCKS satırları için requests[socks] eklentisinin kurulu olması gerekir. HEDEF_URL yerine yalnız çıkış IP’sini döndüren bir test adresi yazın; üretim hedeflerinizi ön kontrol için kullanmayın.
import csv
import ipaddress
import sys
from urllib.parse import quote
import requests
ECHO_URL = "HEDEF_URL" # yalnız çıkış IP’sini düz metin döndüren test adresi
SCHEME = "http" # SOCKS satırları için "socks5h" (requests[socks] gerekir)
def host_ok(host):
try:
return ipaddress.ip_address(host).version == 4
except ValueError:
return any(ch.isalpha() for ch in host) # gateway alan adı
def parse_line(raw):
line = raw.strip() # boşlukları ve Windows satır sonunu atar
if not line or line.startswith("#"):
return None
if "@" in line: # KULLANICI:ŞİFRE@IP:PORT
cred, hostport = line.rsplit("@", 1)
user, password = cred.split(":", 1)
host, port = hostport.rsplit(":", 1)
else: # IP:PORT veya IP:PORT:KULLANICI:ŞİFRE
parts = line.split(":", 3)
if len(parts) not in (2, 4):
raise ValueError("beklenmeyen alan sayısı")
host, port = parts[0], parts[1]
user, password = (parts[2], parts[3]) if len(parts) == 4 else (None, None)
if not host_ok(host):
raise ValueError("IPv4 ya da alan adı değil: " + host)
if not port.isdigit() or not 0 < int(port) < 65536:
raise ValueError("geçersiz port")
return host, int(port), user, password
def to_url(host, port, user, password):
auth = ""
if user is not None:
auth = quote(user, safe="") + ":" + quote(password, safe="") + "@"
return SCHEME + "://" + auth + host + ":" + str(port)
def probe(proxy_url):
proxies = {"http": proxy_url, "https": proxy_url} # iki anahtar da gerekli
try:
r = requests.get(ECHO_URL, proxies=proxies, timeout=(5, 15))
except requests.exceptions.RequestException as exc:
text = str(exc)
for key, label in (("407", "kimlik_407"), ("timed out", "zaman_asimi"),
("refused", "reddedildi"), ("SOCKS", "socks_hatasi")):
if key in text:
return label, ""
return "diger_hata", text[:100]
if r.status_code == 407:
return "kimlik_407", ""
exit_ip = r.text.strip()
try:
family = "IPv" + str(ipaddress.ip_address(exit_ip).version)
except ValueError:
family = "bilinmiyor"
return "ok_" + family, exit_ip
def main(path):
with open(path, encoding="utf-8-sig") as src: # utf-8-sig, BOM’u atar
lines = list(src)
with open("liste_kontrol.csv", "w", newline="", encoding="utf-8") as out:
rapor = csv.writer(out)
rapor.writerow(["satir", "uc_nokta", "sonuc", "cikis_ip", "ayni_ip"])
for no, raw in enumerate(lines, 1):
try:
parsed = parse_line(raw)
except ValueError as exc:
rapor.writerow([no, "", "ayristirma: " + str(exc), "", ""])
continue
if parsed is None:
continue
host, port, user, password = parsed
sonuc, cikis = probe(to_url(host, port, user, password))
rapor.writerow([no, host + ":" + str(port), sonuc, cikis, cikis == host])
if __name__ == "__main__":
main(sys.argv[1])Betikteki birkaç seçim bilinçlidir. Dosya utf-8-sig kodlamasıyla açılır; bu kodlama dosyanın başındaki BOM işaretini kendiliğinden atar. Her satıra uygulanan strip çağrısı, Windows satır sonundan kalan görünmez karakteri temizler. Kimliğin önde olduğu biçimde satır son @ işaretinden, IP’nin önde olduğu biçimde ise en fazla üç kez bölünür; böylece şifre içindeki @ ve iki nokta işaretleri korunur. Kimlik bilgileri URL’ye yüzde kodlamasıyla girer ve rapor dosyasına şifre yazılmaz.
Rapordaki ayni_ip sütunu statik listelerde işe yarar. Çoğu statik IPv4 listesinde satırdaki adres aynı zamanda çıkış adresidir ve iki değerin eşleşmesi, isteğin gerçekten o satırdan çıktığını gösterir. Eşleşmiyorsa ya sağlayıcı giriş ve çıkış için farklı adres kullanıyordur ya da istek beklediğiniz yoldan gitmiyordur; hangisinin geçerli olduğunu panelde ve destek ekibiyle netleştirin. Gateway satırlarında bu sütun doğal olarak eşleşmez; orada bakılacak değer çıkış adresinin ailesidir. Sonuç sütununda IPv6 ya da sunucunuzun kendi adresini görüyorsanız istek proxy’den geçmiyor ya da yanlış yere gidiyor demektir.
Bin satırlık bir listeyi sırayla denemek, yanıt vermeyen satırların zaman aşımları yüzünden uzun sürebilir. probe işlevini concurrent.futures modülündeki bir iş parçacığı havuzuyla paralel çalıştırmak kolaydır; yine de aynı test uç noktasına aynı anda yüzlerce istek göndermemek için havuz boyutunu makul tutun. Ön kontrolü her dağıtımda ve her yeni listede tekrarlamak, sorunlu satırı üretim trafiği başlamadan ayıklar.
Python ve Node istemcilerinde proxy ayarı: sessiz bypass’ları önlemek
Proxy entegrasyonunda en pahalı hata, hata vermeyen hatadır. İstek başarıyla döner, veri gelir; ama trafik proxy’den değil sunucunuzun kendi IPv4 adresinden çıkmıştır. Bunun sonucu birkaç gün sonra ortaya çıkar: sunucunuzun adresi hedefin hız sınırına takılır, veri yanlış ülkenin içeriğini taşır ya da barındırma sağlayıcınız giden trafikle ilgili bir uyarı gönderir. Bu tür sessiz bypass’ların neredeyse tamamı, istemci kütüphanesinin proxy’yi hangi koşulda uyguladığını yanlış bilmekten doğar.
| İstemci | Proxy nasıl verilir | Bilinen tuzak |
|---|---|---|
| Python requests | proxies sözlüğünde http ve https anahtarları | Yalnız http anahtarı verilirse HTTPS istekleri doğrudan çıkar. HTTPS_PROXY ortam değişkeni tanımlıysa Session.proxies ile verilen ayarın önüne geçebilir. |
| Python httpx | İstemci oluşturulurken proxy parametresi | Eski sürümlerdeki proxies parametresi yeni sürümlerde kaldırıldı; SOCKS için httpx[socks] eklentisi gerekir. |
| Python aiohttp | Her istekte proxy parametresi | Doğrudan yalnız HTTP proxy destekler, SOCKS için ayrı bir bağlayıcı paketi gerekir. Ortam değişkenleri trust_env açılmadan okunmaz. |
| Scrapy | İsteğin meta sözlüğünde proxy anahtarı | Yerleşik olarak SOCKS desteklemez; listeden HTTP satırlarını kullanın. |
| Node axios | proxy: false ile birlikte httpAgent ve httpsAgent | Yerleşik proxy seçeneğinin bazı sürümlerde HTTPS hedeflerle sorun çıkardığı bilinir; ortam değişkenlerini kendiliğinden okur. |
| Node yerleşik fetch | undici dispatcher’ı | http.Agent ile verilen ayar yok sayılır ve istek doğrudan çıkar. |
| Playwright, Puppeteer | Playwright’ta başlatma seçeneğindeki proxy alanı; Puppeteer’da başlatma argümanı ve sayfa düzeyinde kimlik doğrulama | Chromium, SOCKS5 proxy’de kullanıcı adı ve şifre doğrulamasını tarihsel olarak desteklemez; kullandığınız sürümün belgesini kontrol edin. |
requests ile ilgili ilk tuzak çok yaygındır, çünkü sözlüğün anahtarları proxy’nin değil hedefin şemasını belirtir. http anahtarı “HTTP hedeflere giderken bu proxy’yi kullan”, https anahtarı “HTTPS hedeflere giderken bu proxy’yi kullan” demektir; değer ise her iki anahtar için de aynı proxy adresidir. Bugün hedeflerin büyük çoğunluğu HTTPS olduğu için yalnız http anahtarını veren bir yapılandırma, test sırasında bir HTTP adresiyle doğru çalışıp üretimde trafiğin neredeyse tamamını proxy’siz gönderebilir.
Ortam değişkenleri ikinci tuzaktır. HTTP_PROXY, HTTPS_PROXY ve NO_PROXY değişkenleri sunucu imajında, konteyner tanımında ya da CI ortamında sizin haberiniz olmadan tanımlanmış olabilir. requests bu değişkenleri varsayılan olarak okur ve istek düzeyinde verilmeyen ayarlarda oturum ayarının önüne koyar; NO_PROXY hedefinizi kapsıyorsa proxy’yi ortamdan alan bir kurulumda istek doğrudan çıkar. Davranışı öngörülebilir kılmanın iki yolu vardır: proxy’yi her istekte proxies parametresiyle açıkça vermek ya da oturumun trust_env özelliğini kapatıp ayarı tek bir yerden yönetmek. Hangi yolu seçerseniz seçin, ön kontroldeki çıkış adresi testini üretim konteynerinin içinden de bir kez çalıştırın.
Node tarafında axios varsayılan olarak ortam değişkenlerindeki proxy’yi kullanır. Yaygın ve güvenilir yaklaşım, axios’un proxy ayarını false yapıp bağlantıyı bir ajana bırakmaktır: HTTP proxy satırları için https-proxy-agent, SOCKS satırları için socks-proxy-agent paketi. Aşağıdaki örnek statik bir IPv4 listesini bu şekilde bağlar, satırları sırayla kullanır ve yalnız proxy kaynaklı arızalarda satırı bir süre dinlenmeye alır.
import fs from 'node:fs'
import axios from 'axios'
import { HttpsProxyAgent } from 'https-proxy-agent'
import { SocksProxyAgent } from 'socks-proxy-agent'
const SCHEME = 'http' // SOCKS satırları için 'socks5h'
const BENCH_MS = 15 * 60000 // varsayım: arızalı satırın dinlenme süresi
function toUrl(line) {
const [host, port, user, ...rest] = line.split(':')
const pass = rest.join(':') // şifredeki iki noktayı korur
const auth = user ? encodeURIComponent(user) + ':' + encodeURIComponent(pass) + '@' : ''
return SCHEME + '://' + auth + host + ':' + port
}
// Liste: her satır IP:PORT:KULLANICI:ŞİFRE
const pool = fs.readFileSync('liste.txt', 'utf8')
.replace(/^\uFEFF/, '')
.split(/\r?\n/)
.map((s) => s.trim())
.filter((s) => s && !s.startsWith('#'))
.map((line) => {
const url = toUrl(line)
const agent = SCHEME === 'http' ? new HttpsProxyAgent(url) : new SocksProxyAgent(url)
return { ip: line.split(':')[0], agent, fails: 0, benchUntil: 0 }
})
let cursor = 0
function nextProxy() {
for (let i = 0; i < pool.length; i++) {
const p = pool[(cursor + i) % pool.length]
if (p.benchUntil <= Date.now()) {
cursor = (cursor + i + 1) % pool.length
return p
}
}
return null // bütün satırlar dinlenmede
}
function arizali(p, neden) {
p.fails += 1
if (p.fails >= 3) p.benchUntil = Date.now() + BENCH_MS
return { sonuc: neden, ip: p.ip }
}
const hostPause = new Map() // hedef alan adı -> bekleme bitiş zamanı
export async function getir(target) {
const host = new URL(target).hostname
if ((hostPause.get(host) || 0) > Date.now()) return { sonuc: 'hedef-beklemede' }
const p = nextProxy()
if (!p) return { sonuc: 'saglikli-satir-yok' }
try {
const res = await axios.get(target, {
proxy: false, // axios’un kendi proxy ayarı ve ortam değişkenleri devre dışı
httpAgent: p.agent, // HTTP hedefler de tünelden geçsin
httpsAgent: p.agent,
timeout: 20000,
validateStatus: () => true,
headers: { 'User-Agent': 'OrnekToplayici/1.0 (iletisim adresiniz)' },
})
if (res.status === 407) return arizali(p, 'kimlik-407')
p.fails = 0
if (res.status === 429) {
const sn = Number(res.headers['retry-after']) || 60
hostPause.set(host, Date.now() + sn * 1000) // satır değil, hedefin tamamı bekler
}
return { sonuc: res.status, ip: p.ip }
} catch (err) {
const kod = err.code || ''
const proxyKaynakli = ['ECONNREFUSED', 'ECONNRESET', 'ETIMEDOUT', 'ECONNABORTED'].includes(kod) ||
/socks/i.test(String(err.message))
if (proxyKaynakli) return arizali(p, 'proxy-' + (kod || 'socks'))
return { sonuc: 'hata', kod: kod || String(err.message), ip: p.ip }
}
}Örnekte iki ayrım önemlidir. Birincisi, HTTP hedeflerin de proxy’den geçmesi için aynı ajan hem httpAgent hem httpsAgent olarak verilir; yalnız httpsAgent verilip proxy ayarı kapatılırsa HTTP adresler proxy’siz çıkar. İkincisi, satırı dinlenmeye almanın ölçütü hedefin yanıtı değil proxy’nin davranışıdır: bağlantının reddedilmesi, zaman aşımı, 407 ya da SOCKS hatası satırın sorunlu olduğuna işaret edebilir. Hedeften gelen 429 ise satırla değil sizin toplam hızınızla ilgilidir; bu yüzden örnek, 429 aldığında başka bir IP’ye geçmek yerine o hedefe giden bütün istekleri Retry-After süresi kadar durdurur. Zaman aşımları hedefin yavaşlığından da kaynaklanabileceği için satır ancak art arda üç arızadan sonra dinlenmeye alınır.
Tarayıcı otomasyonunda durum biraz farklıdır. Chromium tabanlı tarayıcılar proxy adresini başlatma argümanıyla alır ve kimlik bilgisini adresin içinden okumaz; Playwright bunu ayrı kullanıcı adı ve şifre alanlarıyla, Puppeteer ise sayfa düzeyinde kimlik doğrulama çağrısıyla çözer. Listenizde yalnız SOCKS satırları varsa ve tarayıcınız SOCKS kimlik doğrulamasını desteklemiyorsa, aynı hesabın HTTP satırlarını kullanmak en kısa yoldur. Tam tarayıcı her sayfada görsel, yazı tipi ve betik de indirdiği için GB bazlı paketlerde tüketim HTML istemcisine göre belirgin biçimde artar; bunu ölçüm bölümündeki kalibrasyonla ayrıca ölçün.
IP whitelist ve port hataları: kimlik neden sunucuda tutmaz?
Proxy sağlayıcıları bağlantıyı iki yolla yetkilendirir. Kullanıcı adı ve şifre yönteminde kimlik isteğin içinde taşınır: HTTP proxy’de Proxy-Authorization başlığıyla, SOCKS5’te ise RFC 1929’da tanımlanan kullanıcı adı ve şifre alt görüşmesiyle. IP yetkilendirmesinde (whitelist) kimlik taşınmaz; sağlayıcı bağlantının hangi kaynak IP adresinden geldiğine bakar ve listedeki adreslerden gelen bağlantıları kabul eder. Hangi yöntemin kullanılabildiği ürüne göre değişir. IPv4Proxy kataloğunda statik residential IPv4 ve mobil hatlar için yalnız kullanıcı adı ve şifre belirtilir, bu ürünlerde IP whitelist yoktur; statik datacenter IPv4 paketleri de kullanıcı adı ve şifreyle bağlanır. Diğer ürünlerde whitelist seçeneğinin bulunup bulunmadığını ve kaç adres eklenebildiğini panelde kontrol edin.
Whitelist kullanılan kurulumlarda en sık sorun, sağlayıcının gördüğü kaynak adresin sizin sandığınız adres olmamasıdır. Geliştirici makinesinde çalışan kod sunucuda yetki hatası verir, çünkü whitelist’e ofisin adresi eklenmiştir. Bulutta durum daha karmaşıktır: genel IP’si olmayan bir sunucu dışarıya bir NAT ağ geçidi üzerinden çıkar ve sağlayıcı NAT’ın adresini görür; otomatik ölçeklenen gruplarda her yeni sunucu farklı bir geçici adres alır; CI çalıştırıcıları her işte başka bir adresten çıkar. Çift yığınlı, yani hem IPv4 hem IPv6 adresi olan bir sunucuda ise istemci proxy ana bilgisayarına IPv6 üzerinden bağlanabilir; bu durumda sağlayıcı IPv6 kaynak adresi görür ve whitelist’teki IPv4 adresi işe yaramaz. Bu son durum yalnız gateway adının AAAA kaydı varsa ortaya çıkar, ama çıktığında teşhisi zordur; çünkü aynı sunucuda IPv4’e zorlanmış bir curl testi sorunsuz geçer.
Port hataları ayrı bir sınıftır ve iki belirtiyi birbirinden ayırmak teşhisin yarısıdır. Bağlantının hemen reddedilmesi (connection refused), karşı makineye ulaşıldığını ama o portta dinleyen bir servis olmadığını ya da bağlantının aktif olarak geri çevrildiğini gösterir; genellikle yanlış port ya da başka bir protokole ayrılmış port kullanılmıştır. Bağlantının zaman aşımına uğraması ise paketlerin yolda düştüğünü gösterir ve en sık neden sizin tarafınızdaki çıkış kuralıdır. Bulut güvenlik gruplarında giden trafik çoğu zaman serbesttir, ama kurumsal ağlar ve bazı barındırma sağlayıcıları yalnız 80 ve 443 portlarına çıkışa izin verir. Proxy portu bu izin listesinde yoksa her bağlantı denemesi sessizce bekler ve zaman aşımıyla biter.
Statik listelerde her satırın portu farklı olabilir; port numarasını kodda sabitlemek yerine her satırdan okuyun. HTTP ve SOCKS için ayrı portlar tanımlanmışsa protokolle portun eşleştiğinden emin olun: SOCKS istemcisini HTTP portuna yönlendirmek genellikle anlamsız bir yanıt ya da hemen kapanan bir bağlantı üretir. Yüksek eşzamanlılıkta bir de yerel port sorunu vardır. Her TCP bağlantısı kaynak adres, kaynak port, hedef adres ve hedef porttan oluşan dörtlüyle tanımlanır; tek bir gateway adresine ve portuna giden bütün bağlantılar yalnız kaynak portta farklılaşabilir. Linux’ta varsayılan geçici port aralığı 32768–60999, yani 28.232 porttur ve bağlantıyı istemci kapatıyorsa her port yaklaşık 60 saniye TIME_WAIT durumunda bekler. Bu iki değer, tek bir gateway’e saniyede yaklaşık 470 yeni bağlantının üzerinde “Cannot assign requested address” (EADDRNOTAVAIL) hatası görebileceğinizi gösterir. Çözüm bağlantıları yeniden kullanmak, yeni bağlantı hızını sınırlamak ya da yerel port aralığını genişletmektir; dönen gateway’de bağlantı yeniden kullanımının rotasyonu nasıl etkilediğini ürün belgesinden kontrol edin. Statik listede hedef adresler farklı olduğu için bu sınır her satır için ayrı işler.
Aşağıdaki komutlar bu teşhislerin çoğunu birkaç dakikada yapar. Linux veya macOS sunucuda çalışır; Windows’ta Test-NetConnection komutu port testini, Resolve-DnsName komutu DNS sorgusunu karşılar.
# 1) Sunucunun dışarıya çıktığı IPv4 adresi (whitelist’e eklenecek adres)
# Bu iki testte HEDEF_URL, çıkış IP’sini döndüren test adresidir
curl -4 -s --max-time 10 HEDEF_URL; echo
# 2) Sunucunun IPv6 çıkışı var mı? Varsa istemci gateway’e IPv6 ile bağlanabilir
curl -6 -s --max-time 10 HEDEF_URL || echo "IPv6 çıkışı yok"
# 3) Gateway adı hangi adres ailelerine çözülüyor?
dig +short A GATEWAY
dig +short AAAA GATEWAY
# 4) Port erişimi: "refused" ile zaman aşımını ayırt edin
nc -vz -w 5 GATEWAY PORT
# 5) Proxy üzerinden ayrıntılı istek: 407, CONNECT yanıtı ve tünel adımı görünür
curl -v -4 --max-time 20 -o /dev/null -x "http://KULLANICI:ŞİFRE@GATEWAY:PORT" HEDEF_URL
# 6) Hedefin adres aileleri (burada HEDEF_URL gerçek hedefinizdir)
# Yalnız A kaydı dönüyorsa hedef yalnız IPv4 sunar
HOST=$(echo "HEDEF_URL" | awk -F/ '{print $3}')
dig +short A "$HOST"
dig +short AAAA "$HOST"Hata → neden → çözüm: whitelist, port ve liste kaynaklı arızalar
Aşağıdaki tablo genel bağlantı sorunlarını değil, bir IPv4 listesini scraper’a bağlarken ortaya çıkan arızaları toplar. Her satırda önce belirtiyi eşleştirin, nedeni yukarıdaki komutlardan biriyle doğrulayın, sonra tek bir değişiklik yapıp testi tekrarlayın.
| Belirti | Olası neden | Çözüm |
|---|---|---|
| Her satır 407 veriyor, şifre panelde doğru görünüyor | Şifrenin sonunda satır başı karakteri kalmış ya da özel karakter kodlanmamış | Satırları strip ile temizleyin, kimliği yüzde kodlamasıyla URL’ye yazın |
| Geliştirici makinesinde çalışıyor, sunucuda yetki hatası | Whitelist’te sunucunun değil ofisin adresi var | Sunucunun çıkış IPv4 adresini sunucunun içinden ölçüp ekleyin ya da kullanıcı adı ve şifreye geçin |
| Dün çalışıyordu, bugün yetki hatası | Çıkış adresi değişti: yeni ölçeklenen sunucu, CI çalıştırıcısı, CGNAT ya da dinamik IP | Sabit adresli bir NAT ağ geçidi kullanın ya da whitelist yerine kimlik bilgisiyle bağlanın |
| Whitelist’te IPv4 ekli, yine yetki hatası | İstemci gateway’e IPv6 üzerinden bağlanıyor | Gateway bağlantısını IPv4’e zorlayın (curl için -4, uygulamada A kaydına çözümleme) ve testi tekrarlayın |
| Connection refused | Yanlış port, başka protokole ait port ya da süresi dolmuş paket | Portu panelden satır bazında okuyun, protokolle eşleştirin, paket durumunu kontrol edin |
| Bağlantı kurulurken zaman aşımı | Sunucunun ya da kurumsal ağın çıkış kuralı proxy portunu engelliyor | nc veya Test-NetConnection ile portu test edin, çıkış kuralına proxy portunu ekletin |
| SOCKS5 yanıt kodu 4 ya da 8 (host unreachable, address type not supported) | İstemci alan adını yerelde çözüp IPv6 adres gönderdi, çıkış ise IPv4 | socks5h şemasına geçin ve çözümlemeyi proxy’ye bırakın |
| HTTPS hedeflerde “tunnel connection failed” ya da CONNECT reddi | Proxy CONNECT isteğini kimlik ya da politika nedeniyle reddetti; hedef port standart dışı olabilir | Ayrıntılı curl çıktısında CONNECT yanıt kodunu okuyun; 407 ise kimliği düzeltin, değilse destekle doğrulayın |
| Yüksek eşzamanlılıkta “Cannot assign requested address” | Tek gateway’e açılan yeni bağlantılar yerel geçici portları tüketti | Bağlantı havuzu kullanın, yeni bağlantı hızını sınırlayın, gerekirse yerel port aralığını genişletin |
| İstekler başarılı ama çıkış adresi sunucunun kendisi | İstemci proxy’yi uygulamıyor: eksik https anahtarı, NO_PROXY, eksik ajan | İstemci tablosundaki tuzakları kontrol edin, çıkış testini üretim ortamının içinden çalıştırın |
Tablodaki son satır ayrıca vurgulanmayı hak eder, çünkü hiçbir hata sayacında görünmez. Proxy’siz çıkan istekler başarılı sayılır ve veri tabanına normal kayıt gibi yazılır. Bunu yakalamanın tek güvenilir yolu, üretimde de düzenli aralıklarla çıkış adresini kontrol eden küçük bir test isteği göndermek ve sonucu sunucunun kendi adresiyle karşılaştırmaktır.
Yalnız IPv4 çözümleyen hedefler: alan adını kim çözüyor?
Hedef listenizdeki her alan adı IPv6 yayını yapmaz. Pek çok site yalnız A kaydı yayımlar; bir kısmı ana alan adında AAAA kaydı tutarken API, görsel ya da arama alt alan adlarında yalnız IPv4 sunar. Yalnız IPv6 çıkışı olan bir proxy bu hedeflere ulaşamaz; IPv4 çıkış ise A kaydı olan her hedefe ulaşır. Karışık bir hedef listesinde IPv4’ün ortak payda olmasının nedeni budur. Hedeflerinizin kayıtlarını yukarıdaki dig komutlarıyla bir kez çıkarıp hedef tablonuza yazmak, adres ailesi kaynaklı hataları ileride dakikalar içinde ayırmanızı sağlar.
Daha az bilinen soru, alan adının nerede çözüldüğüdür. HTTP proxy kullanıldığında istemci alan adını proxy’ye iletir: düz HTTP isteklerinde tam adres istek satırındadır, HTTPS’te ise CONNECT isteği alan adıyla gönderilir. Çözümlemeyi proxy yapar ve sonuç çıkış noktasının bakış açısını yansıtır. SOCKS’ta durum istemciye bağlıdır. SOCKS4 yalnız IPv4 adresi taşır ve alan adı desteği ancak 4a uzantısıyla gelir; düz SOCKS4’te çözümleme yerelde yapılır. SOCKS5 alan adı taşıyabilir, ama birçok kütüphane socks5 şemasında alan adını yerelde çözüp proxy’ye IP adresi gönderir; socks5h şeması ise alan adının proxy’ye iletilmesini sağlar.
| Bağlantı türü | Alan adını kim çözer | Risk | Öneri |
|---|---|---|---|
| HTTP proxy, HTTP hedef | Proxy | Düşük | Ek ayar gerekmez |
| HTTP proxy, HTTPS hedef (CONNECT) | Proxy | Düşük | İstemcinin CONNECT isteğine IP değil alan adı yazdığından emin olun |
| SOCKS5, socks5 şeması | Çoğu kütüphanede yerel makine | Yerel çözümleyici IPv6 döndürürse IPv4 çıkış bağlanamaz; coğrafi DNS sunucunuzun konumuna göre yanıt verir | socks5h şemasına geçin |
| SOCKS5, socks5h şeması | Proxy | Düşük | SOCKS satırlarında varsayılan tercih |
| SOCKS4 (4a olmadan) | Yerel makine, yalnız IPv4 | IPv6 adres taşınamaz; coğrafi DNS uyuşmazlığı | Mümkünse SOCKS5 ve socks5h kullanın |
Yerel çözümlemenin iki somut zararı vardır. Birincisi adres ailesidir: sunucunuz çift yığınlıysa yerel çözümleyici hedef için önce IPv6 adres döndürebilir, istemci bu adresi SOCKS5 isteğine koyar ve yalnız IPv4 çıkışı olan proxy bağlantıyı kuramaz. RFC 1928’e göre proxy bu durumda “address type not supported” (kod 8) ya da “host unreachable” (kod 4) gibi bir yanıt döner ve hata hedefle ilgiliymiş gibi görünür. İkincisi coğrafyadır: CDN kullanan hedefler DNS yanıtını sorgunun geldiği konuma göre verir. Alan adını Frankfurt’taki sunucunuzda çözüp ABD çıkışlı bir proxy’ye IP adresi gönderirseniz, istek ABD’den Avrupa’daki bir CDN düğümüne gider; içerik bölgeye göre değişiyorsa yanlış veri, değişmiyorsa gereksiz gecikme alırsınız.
Bir başka yanlış alışkanlık, hedefin IP adresini bir kez çözüp scraper’a doğrudan IP yazmaktır. HTTPS’te sunucu adı bildirimi (SNI) ve Host başlığı alan adını beklediği için bu yaklaşım sertifika hatası üretir ya da CDN’in isteği yanlış siteye yönlendirmesine yol açar; ayrıca hedef adres değiştirdiğinde scraper sessizce eski sunucuya gitmeye devam eder. Alan adını her zaman alan adı olarak gönderin ve çözümlemeyi çıkış noktasına bırakın.
Statik IPv4 listesi mi, dönen gateway mi: scraper mimarisine etkisi
IPv4Proxy kataloğunda scraping için öne çıkan iki bağlantı modeli vardır: statik datacenter IPv4 paketlerinde size atanmış sabit adreslerden oluşan bir liste, rotating datacenter IPv4’te ise arkasında dönen bir havuz bulunan tek bir uç nokta. Hangi modelin seçileceği ürün sayfalarında ele alınır; burada iki modelin scraper kodunu nasıl değiştirdiğine bakıyoruz. Fark faturalamadan çok sorumluluk dağılımındadır: listede rotasyon, sağlık takibi ve arıza yalıtımı sizin kodunuzdadır; gateway’de bunların çoğu sağlayıcıya geçer, buna karşılık tek bir uç noktaya bağımlı olursunuz.
| Konu | Statik datacenter IPv4 listesi | Rotating datacenter IPv4 gateway |
|---|---|---|
| Bağlantı bilgisi | Her IP için bir satır; liste biçimi panelde kontrol edilir | Tek uç nokta ve kullanıcı bilgileri |
| Protokol (teknik özet) | HTTP / SOCKS5 | HTTP / SOCKS5 |
| Rotasyonu kim yapar | Siz: sıralı, karma tabanlı ya da ağırlıklı seçim | Sağlayıcı: ürün sayfasına göre her istekte ya da 1–5 dakikalık sticky oturumla |
| Faturalama | IP adedine göre, 30 günlük dönem: 100 IP 15, 250 IP 25, 500 IP 45, 1000 IP 80 | Aktarılan GB’a göre, süre sınırı yok: 10 GB 6, 20 GB 12, 50 GB 30, 100 GB 60, 1000 GB 500 |
| Lokasyon | ABD, Birleşik Krallık, Hollanda, Almanya, Kanada; dağılım sipariş sonrası panelden yapılır ve o pakette sonradan değişmez | Kartta 15 ana lokasyon listelenir, ürün sayfası 180’den fazla lokasyondan söz eder; seçim panelden yapılır |
| Arıza birimi | Tek satır; diğer satırlar çalışmaya devam eder | Uç nokta; sorun bütün trafiği etkiler |
| Sağlık kontrolü | Satır başına ayrı ayrı | Uç nokta başına; çıkış adresi her testte değişebilir |
| Bağlantı yeniden kullanımı | Satır başına keep-alive güvenle kullanılır | Yeniden kullanılan bağlantının rotasyonu nasıl etkilediği belgeden kontrol edilmeli |
| Yerel port baskısı | Hedef adresler farklı olduğu için dağılır | Bütün bağlantılar tek adres ve porta gider |
| Bant genişliği | Teknik özette sınırsız; SSS’e göre siparişte limitli ya da sınırsız yapılandırma seçilir | Satın alınan GB kotası kadar |
Tablodaki son satır maliyet karşılaştırmasında belirleyicidir. Statik paketin fiyatı IP adedine bağlıdır, ama aktarabileceğiniz trafik siparişte seçtiğiniz bant genişliği yapılandırmasına bağlıdır. Statik paketi GB bazlı ürünle karşılaştırmadan önce, katalogdaki fiyatın hangi bant genişliği seçeneğine karşılık geldiğini sipariş adımında doğrulayın.
Kendi rotasyonunuzu yazarken: IP başına istek aralığı
Statik listeyle çalışırken sorulacak ilk soru “kaç IP gerekir” değil, “her IP hedefte ne sıklıkla görünecek” sorusudur. Bunu basit bir oranla bulursunuz: tarama süresi çarpı o hedefe ayrılan IP sayısı, bölü o hedefe gönderilecek istek sayısı. Sonuç, aynı IP’nin aynı hedefe gönderdiği iki istek arasındaki ortalama süredir. Örneğin dört saatlik bir taramada 20.000 sayfalık bir hedefe 50 IP ayırırsanız her IP 400 istek gönderir ve aynı hedefte ortalama 36 saniyede bir görünür. IP sayısını artırmak bu aralığı uzatır ama hedefin gördüğü toplam yükü değiştirmez; hedef yine saniyede yaklaşık 1,4 istek alır. Hız sınırı toplam yük üzerinden konuşulur, IP başına değil.
Rotasyon kuralını da işin türüne göre seçin. Birbirinden bağımsız ürün sayfaları için sıralı dağıtım yeterlidir. Birden fazla adımdan oluşan bir akış, örneğin sayfalandırılmış bir kategori, aynı IP’den devam etmelidir; bunun için akışın anahtarını (kategori adresi gibi) bir karma işleviyle listedeki bir satıra eşlemek, ek durum tutmadan tutarlı atama sağlar. Her durumda hangi isteğin hangi IP’den çıktığını kayda geçirin: bir hedef sahibi belirli bir adresle ilgili soru sorduğunda ya da bir satır sorun çıkardığında bu kayıt elinizdeki tek bilgi kaynağıdır.
Türkiye IP’si gereken hedefler
Hedef içerik Türkiye’den bakıldığında farklılaşıyorsa (fiyat, stok, kargo seçenekleri ya da yerel katalog gibi) liste modelini seçmeden önce lokasyonu kontrol edin. Katalogda statik datacenter IPv4’ün beş lokasyonu arasında Türkiye yoktur. Rotating datacenter ve rotating residential IPv4’ün listelenen lokasyonları arasında Türkiye bulunur. Statik residential IPv4’te Türkiye için tek IP aylık 2,25 dolardan, 10 IP 22,50 dolardan listelenir; diğer ülkelerde aynı ürünün beş IP’lik paketi 17,50 dolar olduğundan IP başı aylık maliyet Türkiye’de 2,25, diğer ülkelerde 3,50 dolardır. Statik residential, yüksek hacimli bir scraping yükünden çok Türkiye’den sabit kimlikle yapılan düşük hacimli kontroller için anlamlıdır; yüksek hacimli Türkiye toplaması için GB bazlı bir üründe hedef ülkeyi panelden Türkiye olarak seçmek daha uygun bir başlangıçtır.
GB tüketimini ölçmek: scraper’ın saydığı bayt ile panelin saydığı bayt
GB bazlı paketlerde proxy maliyetini öngörmek için scraper’ın kendi saydığı veri miktarı yeterli değildir. Çoğu istemci kütüphanesi size açılmış, yani sıkıştırması çözülmüş yanıt gövdesini verir; requests’te content özelliğinin uzunluğu bu değeri gösterir. Proxy ise hatta geçen baytı görür: sıkıştırılmış gövdeyi, istek ve yanıt başlıklarını, her yeni HTTPS bağlantısındaki TLS el sıkışmasını, yönlendirmelerin her adımını, yeniden denemeleri ve yarıda kesilen indirmeleri. Bu kalemlerin bir kısmı scraper’ın sayacında hiç görünmez, bir kısmı ise olduğundan büyük görünür.
| Kalem | Scraper genelde nasıl sayar | Fark yönü | Nasıl yakalanır |
|---|---|---|---|
| Yanıt gövdesi | Açılmış boyutla | Sıkıştırma açıksa sayaç fazla gösterir | httpx’te num_bytes_downloaded, requests’te stream modunda raw.tell() |
| İstek ve yanıt başlıkları | Çoğu zaman saymaz | Sayaç eksik gösterir | Başlıkların uzunluğunu ayrıca toplayın |
| TLS el sıkışması ve sertifika zinciri | Saymaz | Sayaç eksik gösterir; kısa ömürlü bağlantılarda payı büyür | Bağlantı yeniden kullanım oranını izleyin |
| Yönlendirmeler | Yalnız son yanıtı sayar | Sayaç eksik gösterir | Yanıt geçmişindeki ara adımları da toplayın |
| Yeniden denemeler ve hata sayfaları | Çoğu zaman yalnız başarılı yanıtı sayar | Sayaç eksik gösterir | Her denemeyi ayrı kayda geçirin |
| Yarıda kesilen indirmeler | Saymaz | Sayaç eksik gösterir | Zaman aşımında o ana kadar okunan baytı kaydedin |
| robots.txt, ön kontrol ve sağlık testleri | Ayrı süreçte çalıştığı için hiç saymaz | Sayaç eksik gösterir | Bu süreçleri de aynı sayaca bağlayın |
Bu farkları tek tek modellemek yerine bir kalibrasyon katsayısı ölçmek daha pratiktir: panelin gösterdiği tüketimin scraper’ın kendi sayacına oranı. Rotating datacenter IPv4 panelinde kalan kota ve kullanım izlenebilir; kalibrasyon bu ekranla yapılır. Raporlama ve kota uyarısı seçeneklerinin olup olmadığını panelde kontrol edin. Panelin trafiğin hangi yönünü saydığını (yalnız gelen mi, gelen ve giden mi) sağlayıcının belgesinden kontrol edin; ölçtüğünüz katsayı bu ayrıntıyı da kendiliğinden içine alır.
- Ölçüm için ayrı bir paket ya da kimlik kullanın; ölçüm sırasında aynı kimlikle başka hiçbir iş çalışmasın.
- Paneldeki kullanım değerini ve saatini not edin.
- Gerçek hedeflerinizden, gerçek sayfa türlerini temsil eden sabit bir URL örneklemi seçin. Örneklemi, panelin yuvarlama hassasiyeti ölçümü bozmayacak kadar büyük tutun.
- Scraper’ı üretimdeki ayarlarla çalıştırın: aynı sıkıştırma, aynı zaman aşımları, aynı yeniden deneme kuralı. Her istek için sıkıştırılmış gövde baytını ve başlık uzunluğunu kaydedin.
- Panel güncellendikten sonra yeni değeri okuyun ve iki değer arasındaki farkı hesaplayın.
- Katsayıyı hesaplayın: panel farkı bölü scraper toplamı.
- Ölçümü her sayfa türü için ayrı tekrarlayın; küçük JSON yanıtlarında başlık ve el sıkışma payı büyük HTML sayfalarına göre çok daha yüksektir.
- Katsayıyı aylık tahmininize uygulayın; panel kota uyarısı sunuyorsa tahminin altında bir eşiğe kurun, sunmuyorsa kalan kotayı kendi izleme betiğinizle düzenli kontrol edin.
Örneklem büyüklüğünü panelin hassasiyeti belirler. Panelin kullanımı iki ondalıklı GB olarak gösterdiğini varsayalım: 0,01 GB, yani 10 MB’lık yuvarlama farkı 150 MB’lık bir ölçümde yaklaşık yüzde 7’lik bir hata payı yaratır. Ölçümü 1 GB’ın üzerine taşımak bu payı yaklaşık yüzde 1’e indirir. Sayfa başına 70 KB aktaran bir hedefte bu, yaklaşık 14.300 sayfa demektir. Katalogda 1 dolar olarak listelenen 2 GB’lık giriş paketi böyle bir ölçüm için yeterlidir.
Örnek hesap: iki ülkeden katalog izleme, iki faturalama modeli
İki modeli somut bir örnekle yan yana koyalım. Bir yedek parça dağıtıcısının analiz ekibi, ABD’deki ve Almanya’daki iki tedarikçinin herkese açık ürün kataloglarını haftada iki kez topluyor. Her katalog 20.000 ürün sayfasından oluşuyor, sayfalar HTML olarak indiriliyor ve içerik ülkeye göre değiştiği için her katalog kendi ülkesinden çıkan IP’lerle toplanıyor. İki tedarikçinin de robots.txt dosyası ürün sayfalarına izin veriyor ve kullanım koşulları otomatik erişimi yasaklamıyor. Aşağıdaki girdilerden fiyatlar dışındakilerin hepsi varsayımdır; kendi ölçümlerinizle değiştirin.
| Kalem | Değer | Hesap ya da kaynak |
|---|---|---|
| Tarama başına sayfa | 40.000 | 2 katalog × 20.000 sayfa (varsayım) |
| Aylık tarama sayısı | 9 | Haftada 2 tarama, yukarı yuvarlanmış (varsayım) |
| Aylık istek | 360.000 | 40.000 × 9 |
| Scraper’ın ölçtüğü sayfa başı aktarım | 70 KB | Sıkıştırılmış gövde ve başlıklar (varsayım) |
| Scraper toplamı | 25,2 GB | 360.000 × 70 KB; 1 GB = 1.000.000 KB |
| Kalibrasyon katsayısı | 1,12 | Ölçüm bölümündeki yöntemle bulunduğu varsayılan değer |
| Yeniden deneme payı | %5 | Varsayım |
| Panelde beklenen aylık tüketim | Yaklaşık 29,64 GB | 25,2 × 1,12 × 1,05 |
| Rotating datacenter IPv4 maliyeti | 18 dolar | 20 GB (12) + 10 GB (6) = 30 GB; GB başına 0,60 |
| Statik datacenter IPv4 maliyeti | 15 dolar / 30 gün | 100 IP paketi; panelde 50 ABD + 50 Almanya olarak dağıtılır |
| Başabaş trafik | 25 GB | 15 / 0,60; bunun üzerinde statik paket ucuzlar |
| Tarama süresi | 4 saat | Varsayım; 14.400 saniye |
| Hedef başına toplam hız | Yaklaşık 1,39 istek/sn | 20.000 / 14.400 |
| Statik listede IP başına aralık | 36 saniye | 14.400 × 50 / 20.000 |
Hesap, iki modelin bu ölçekte birbirine çok yakın olduğunu gösteriyor. Aylık tüketim 25 GB’lık başabaş noktasının biraz üzerinde olduğu için statik paket ayda yaklaşık 3 dolar daha ucuz görünür; ama bu fark ancak 15 dolarlık fiyatın bu trafiği kapsayan bir bant genişliği yapılandırmasına karşılık gelmesi hâlinde geçerlidir. Statik modelde liste yükleyici, satır sağlık takibi ve rotasyon kodu da sizin sorumluluğunuzdadır. GB bazlı modelde ise kullanılmayan kota, süre sınırı olmadığı için sonraki aya kalır; tedarikçilerden biri bir ay katalog güncellemezse ve tarama yapılmazsa para boşa gitmez. Bin sayfa başına maliyet GB bazlı modelde 18 / 360 = 0,05 dolardır.
Ölçek değiştiğinde tablo farklı okunur. Ekip ABD ve Almanya’da ikişer tedarikçi izlemeye başlarsa GB bazlı tüketim yaklaşık 59,27 GB’a çıkar ve 50 GB + 10 GB paketlerle 36 dolar tutar. Statik tarafta 100 IP’lik paket aynı kalabilir: her IP’nin toplam istek sayısı iki katına çıkar ama aynı hedefte görünme aralığı değişmez, çünkü yeni istekler yeni hedeflere gider. Bu durumda başabaş noktası çok geride kalır ve fark 15 dolara karşı 36 dolar olur; yine bant genişliği yapılandırmasının bu trafiği kapsaması koşuluyla. Bir hedefte IP başına aralığı uzatmak isterseniz 250 IP’lik paketle (25 dolar) ülke başına 125 IP ayırabilirsiniz; aralık 36 saniyeden 90 saniyeye çıkar, IP başı dönemlik maliyet 0,15 dolardan 0,10 dolara iner. Tersi yönde, tedarikçilerden biri Türkiye’de olsaydı statik datacenter seçeneği o hedef için kullanılamazdı, çünkü katalogdaki beş lokasyon arasında Türkiye yok; o hedefin trafiği Türkiye’yi listeleyen GB bazlı bir ürüne giderdi.
Hukuki ve etik çerçeve: kısa ve net
Proxy yalnız ağ yolunu değiştirir; neyi, hangi hızla ve hangi amaçla toplayabileceğinizi değiştirmez. Bu sayfadaki teknikler herkese açık ve toplanmasına izin verilen veriler içindir. Aşağıdaki dört kural, listeniz ne kadar büyük olursa olsun geçerlidir.
- Kurallar: Her hedefin robots.txt dosyasını ve kullanım koşullarını okuyun. Otomatik erişimi yasaklayan bölümleri listeden çıkarın; resmi bir API ya da veri lisansı varsa onu tercih edin.
- Hız: Hedef başına toplam hızı IP sayısından bağımsız belirleyin. Listeye IP eklemek hedefin taşıdığı yükü azaltmaz, yalnız dağıtır.
- Kişisel veri: Türkiye’deki hedeflerde KVKK, Avrupa’daki hedeflerde GDPR geçerlidir. Ad, telefon, e-posta ya da profil bilgisi içeren alanlara ihtiyacınız yoksa toplamayın; ihtiyacınız varsa hukuki dayanağı ve saklama süresini önceden belirleyin.
- Korumalar: CAPTCHA, giriş duvarı ve tarayıcı parmak izi kontrolleri aşılmaz. Doğrulama sayfası gördüğünüzde toplamayı durdurun ve nedenini inceleyin.
IPv4Proxy’nin kabul edilebilir kullanım politikası da yetkisiz erişimi ve hedef site koşullarını ihlal eden kullanımları yasaklar; ihlaller hizmetin askıya alınmasına yol açabilir. User-Agent başlığında toplayıcınızın adını ve bir iletişim adresini vermek, site sahibinin sizi engellemek yerine size yazabilmesini sağlar.
Canlıya almadan önce liste ve bağlantı kontrol listesi
Aşağıdaki maddeler bu sayfadaki adımları tek yerde toplar. Her yeni liste geldiğinde, scraper başka bir sunucuya taşındığında ve yeni bir hedef eklendiğinde listeyi yeniden gözden geçirin.
- Liste dosyası UTF-8 olarak okunuyor; BOM, Windows satır sonları, boş ve açıklama satırları temizleniyor.
- Her satır ayrıştırıcıdan geçti; IPv4 ya da alan adı olmayan, alan sayısı bozuk satırlar ayrı bir raporda.
- Kullanıcı adı ve şifre URL’ye yüzde kodlamasıyla yazılıyor; günlüklerde yalnız IP ve port görünüyor.
- İstemcide HTTP ve HTTPS trafiği aynı proxy’ye gidiyor; HTTP_PROXY, HTTPS_PROXY ve NO_PROXY değişkenlerinin etkisi bilinçli olarak açık ya da kapalı.
- Çıkış adresi testi üretim ortamının içinden çalıştırıldı; çıkış IPv4 ve beklenen ülkede, statik listede satır adresiyle eşleşiyor.
- Kimlik yöntemi ürünle uyumlu; whitelist kullanılıyorsa sunucunun gerçek çıkış IPv4 adresi eklendi, ölçeklenen sunucuların ve CI işlerinin çıkışı sabitlendi.
- Çift yığınlı sunucuda gateway’e IPv4 üzerinden bağlanıldığı doğrulandı.
- Proxy portu sunucunun ve ağın çıkış kurallarında açık; reddedilme ve zaman aşımı ayrı sayılıyor.
- SOCKS satırlarında socks5h kullanılıyor; tarayıcı otomasyonunda SOCKS kimlik desteği kontrol edildi.
- Hedeflerin A ve AAAA kayıtları hedef tablosuna yazıldı; içerik ülkeye bağlıysa çıkış ülkesi her kayda ekleniyor.
- GB kalibrasyon katsayısı her sayfa türü için ölçüldü; kalan kota panelden ya da kendi betiğinizle izleniyor.
- Hedef başına toplam hız IP sayısından bağımsız olarak sınırlandı; robots.txt ve kullanım koşulları her hedef için okundu.
Bu kontrollerin çoğu bir kez kurulur ve sonra kendiliğinden çalışır: ön kontrol betiği her dağıtımda listeyi doğrular, çıkış testi bypass’ları yakalar, kalibrasyon katsayısı bütçeyi gerçekçi tutar. Böylece scraping için IPv4 proxy kaynaklı sorunlar üretim verisine karışmadan, kaynağına en yakın katmanda yakalanır.
