proxytoo

Paano Mag-set Up ng Proxy: Mula Username Hanggang Scraper

Kapag alam mo na ang gamit ng bawat bahagi ng username, ilang minuto lang ang pag-set up ng proxy sa anumang tool. Saklaw ng page na ito ang setup kada tool, pag-aayos ng error at kung paano panatilihing ligtas ang token mo.

Kumuha ng token at magsimula

1. Gumawa ng account at i-save ang access token

Makakatanggap ka ng access token sa sign up page. Ito ang password mo sa pag-log in at sa pagkonekta sa proxy. Hindi ito iniimbak ng server, kaya i-save ito bilang .txt file.

Magsimula

2. Mag-top up ng balanse

Pumili ng halaga sa top up box ng dashboard at ipadala ang request. Puwedeng mag-top up mula $30, at papasok ito sa balanse kapag nakumpirma ang bayad.

Tingnan ang presyo

3. Gumawa ng username

Ilagay ang bansa, lungsod at session sa username para itakda ang lokasyon at kung gaano katagal ang IP. Piliin ito sa gumawa ng connection details sa dashboard at awtomatiko itong mabubuo.

Halimbawa ng username

Bagong IP kada request
user-country-us
Pagpili ng lungsod
user-country-us-city-new_york
Panatilihin ang iisang IP
user-country-us-session-shop1
Mobile IP
user-type-mobile-country-us

4. Subukan ang koneksyon

Magpadala ng request gamit ang curl at tingnan ang IP at bansa sa sagot.

Format ng koneksyon

HTTP

http://user-country-us:YOUR_TOKEN@gate.proxytoo.com:7000

SOCKS5

socks5://user-country-us:YOUR_TOKEN@gate.proxytoo.com:7000

curl

curl -x http://gate.proxytoo.com:7000 -U "user-country-us:YOUR_TOKEN" https://ipinfo.io/json

5. Ilagay sa tools mo

Ilagay ang host, username at token sa Python, Node.js o sa browser automation tool mo.

Halimbawang code

Python (requests)

import requests

proxy = "http://user-country-us:YOUR_TOKEN@gate.proxytoo.com:7000"
res = requests.get("https://ipinfo.io/json",
                   proxies={"http": proxy, "https": proxy})
print(res.json())

Node.js (undici)

import { ProxyAgent, fetch } from "undici";

const agent = new ProxyAgent("http://user-country-us:YOUR_TOKEN@gate.proxytoo.com:7000");
const res = await fetch("https://ipinfo.io/json", { dispatcher: agent });
console.log(await res.json());

Puppeteer

const browser = await puppeteer.launch({
  args: ["--proxy-server=http://gate.proxytoo.com:7000"],
});
const page = await browser.newPage();
await page.authenticate({ username: "user-country-us", password: "YOUR_TOKEN" });
await page.goto("https://ipinfo.io/json");

Kapag pumalya ang koneksyon

  • 407 Proxy Authentication Required

    Hindi tugma ang username o token. Tiyaking eksakto mong na-paste ang mga ito, nang walang sobrang space.

  • Nag-time out ang koneksyon

    Kung pumili ka ng lungsod, subukan ulit gamit lang ang bansa. Tingnan din kung bina-block ng firewall ng opisina ang port 7000.

  • Paulit-ulit na bina-block ng site

    Lakihan ang pagitan ng mga request at magpalit ng IP kada request. Sa mga site na malakas ang block, residential proxy ang tamang piliin.

Paano basahin ang proxy username?

Ang proxy username ay maikling string ng settings na binubuo ng mga bahaging pinagdugtong ng gitling. Nagsisimula ito sa user, saka nagdaragdag ng mga pares ng pangalan at value na nagtatakda ng exit location at kung gaano katagal hahawakan ang IP. Kapag alam mo na ang mga bahagi, kaya mong isulat nang mano-mano ang anumang connection string nang hindi binubuksan ang dashboard.

Pagkatapos ng country ay ang dalawang-letrang country code sa maliliit na titik. Ang user-country-us ay IP sa US at ang user-country-jp ay IP sa Japan. Pagkatapos ng city ay ang pangalan ng lungsod sa maliliit na titik na ginawang underscore ang mga espasyo, gaya ng user-country-us-city-new_york.

Pagkatapos ng session ay ang session name na pinili mo. Sa user-country-jp-session-shop1, bawat request na gumagamit ng pangalang iyon ay humahawak ng parehong IP nang hanggang 120 minuto. Idagdag ang type-mobile, gaya ng user-type-mobile-country-gb, para lumabas sa mobile IP.

Laging access token mo ang inilalagay sa password field, na nagsisimula sa pt_. Para palitan ang lokasyon o session, username lang ang baguhin at hayaan ang token.

  • Ang user ang simula ng settings.
  • Ang country at dalawang-letrang code ang pumipili ng bansa.
  • Ang city at pangalang may underscore ang pumipili ng lungsod.
  • Ang session at isang pangalan ang humahawak ng parehong IP.
  • Ang type-mobile ang pumipili ng mobile IP.

HTTP vs SOCKS5 proxy: alin ang dapat kong gamitin?

Ang HTTP proxy ang madaling default para sa web scraping at trabaho sa browser, samantalang bagay ang SOCKS5 proxy sa traffic na hindi web o sa setup na gusto mong sa panig ng proxy ma-resolve ang DNS. Tinatanggap ng ProxyToo ang dalawa sa iisang gateway, gate.proxytoo.com:7000. Panatilihin ang parehong username at token at ang scheme lang sa unahan ng address ang palitan.

Ginawa ang HTTP proxy para sa web request, kaya halos lahat ng library at browser ay nakakaintindi nito agad. Gumagana rin ang mga HTTPS site, dahil nagbubukas ang proxy ng naka-encrypt na tunnel para sa koneksyon. Para sa mga web tool gaya ng requests, Scrapy, Puppeteer at Playwright, magsimula sa HTTP format.

Ipinapasa ng SOCKS5 ang koneksyon mismo, kaya kaya nitong magdala ng maraming uri ng traffic bukod sa web. Sa Python, kapag sinimulan ang address sa socks5h, nire-resolve ng proxy ang hostname sa exit country, kaya nananatiling pare-pareho ang lokasyon mo. Limitado ang suporta ng mga Chromium based browser sa SOCKS5 na may username, kaya mas maayos ang HTTP para sa browser automation.

  • HTTP para sa web scraping at browser automation
  • SOCKS5 para sa mga programang nagpapadala ng traffic na hindi web
  • Address na socks5h para ma-resolve ang DNS sa bansa ng proxy
  • Parehong username at token para sa dalawa

Paano magdagdag ng proxy sa browser o antidetect browser?

Sa karaniwang browser, buksan ang isang proxy extension at ilagay ang apat na value sa magkakahiwalay na field: host, port, username at token. Piliin ang host:port:user:pass format sa Gumawa ng connection details sa dashboard at lalabas ang apat na value sa iisang linya, handang kopyahin kada field. Kung may lumabas na auth prompt sa unang pag-load ng page, ilagay doon ang username at token.

Binibigyan ng antidetect browser ang bawat profile ng sariling browser environment, kaya ang pangunahing patakaran ay isang username kada profile. Sa proxy field ng profile, piliin ang HTTP o SOCKS5, saka magdagdag ng bahaging session sa username na may ibang session name sa bawat profile. Sa ganoon, may sariling IP ang bawat profile, at nananatili ang IP sa loob ng profile na iyon.

Itugma ang wika, time zone at lokasyon ng profile sa piniling bansa para lumabas ang mga page gaya ng nakikita ng lokal na bisita. Para sa profile na nagpapatakbo ng iisang account nang matagal, hinahawakan ng ISP proxy o dedicated datacenter proxy ang parehong IP sa buong termino. Mag-order ng alinman sa Bumili ng produkto sa dashboard sa pagpili ng dami at termino.

  • Isang session name kada profile
  • Wika at time zone na tugma sa bansa ng IP
  • ISP proxy para sa pangmatagalang profile
  • Username at token sa auth prompt

Paano gumamit ng proxy sa Python requests at Scrapy?

Sa Python, buuin ang proxy bilang iisang linya na ganito ang hugis, http://username:token@gate.proxytoo.com:7000, at ipasa ito sa proxy setting ng library. Sa requests, ang mahalagang hakbang ay ilagay ang parehong address sa http at https. Kapag pinunan ang dalawa, dadaan din sa proxy ang mga HTTPS request.

Itakda nang isang beses ang proxy sa requests Session object at gagamitin ito ng bawat request sa session na iyon. Gumamit ng username na bansa lang kapag gusto mo ng bagong IP kada request, at username na may bahaging session para sa mga daloy na tuloy-tuloy, gaya ng login. Para sa SOCKS5, i-install ang SOCKS extra para sa requests at palitan ng socks5h ang unahan ng address.

Sa Scrapy, ilagay ang parehong istilo ng address sa meta proxy value ng bawat request, at gagawing auth header ng built in na proxy middleware ang username at token. Para mailapat ang iisang setting sa bawat request, sumulat ng maliit na downloader middleware na pumupuno sa proxy value. Para hatiin ang traffic sa mga session, ipabigay sa middleware na iyon ang ibang session name sa bawat batch ng request.

Ayusin ang concurrency at bilis gamit ang mga setting gaya ng CONCURRENT_REQUESTS at DOWNLOAD_DELAY. Magsimula nang mababa, bantayan kung matatag ang mga sagot, saka itaas nang paunti-unti para balansehin ang bilis at tagumpay. Sinisingil ang residential proxy ayon sa nagamit na traffic, kaya mas tatagal ang balanse mo kapag sinala ang mga larawan at font.

Paano mag-set up ng proxy sa Node.js, Puppeteer at Playwright?

Sa Node.js, karaniwang paraan ang gumawa ng proxy agent at ibigay ito sa request library mo. Para sa HTTP, gumamit ng package gaya ng https-proxy-agent o ang ProxyAgent mula sa undici, at para sa SOCKS5, gumamit ng socks-proxy-agent, at ipasa ang address na may username at token. Gawin ang agent nang isang beses at gamitin ulit sa mga request para magamit ulit ang koneksyon at manatiling mabilis.

Sa Puppeteer, ang gateway address lang ang ipasa sa --proxy-server launch argument, saka hiwalay na ipadala ang username at token gamit ang page.authenticate pagkabukas ng page. Ang paghihiwalay na ito ang pinaka-maaasahang setup sa Chrome. Para palitan ang bansa o session, pinakasimple ang maglunsad ng ibang browser na may bagong username.

Sa Playwright, itakda ang server, username at password sa proxy launch option at isang hakbang lang ang authentication. Ang access token mo ang ilalagay sa password field. Puwede ka ring maglunsad ng isang browser at bigyan ng sariling proxy ang bawat context, kaya kapag ipinares ang isang session name sa bawat context, kayang magpatakbo ng iisang script ng ilang IP nang magkasabay.

Nagda-download ang browser automation ng larawan, video at font sa bawat page, kaya lumalaki nang husto ang traffic. Kapag hinarang ang mga hindi kailangang resource gamit ang request interception, bumababa ang gastos sa residential at mobile proxy na sinisingil kada GB. Kapag nagdagdag ng session name, nananatili ang IP habang naglo-load ang page, kaya malinis ang pag-render ng mga page.

Rotating proxy o sticky session: alin ang mas mainam sa scraping?

Sa scraping na binabasa nang hiwalay ang bawat page, gumamit ng bagong IP kada request, at sa mga daloy na tuloy-tuloy, gaya ng login o cart, gumamit ng session. Kapag walang bahaging session, nagbabago ang IP sa bawat request, at kapag mayroon, nananatili ang IP sa ilalim ng pangalang iyon. Iisang token ang humahawak ng dalawa, kaya makakapili ka kada hakbang ng trabaho.

Bagay ang rotating mode sa mga trabahong walang kaugnayan ang mga page sa isa't isa, gaya ng resulta ng search, listahan ng produkto at talaan ng presyo. Pantay na kumakalat ang mga request sa maraming IP, kaya sa site, mukha itong karaniwang traffic mula sa maraming bisita. Kahit sa malalaking crawl sa iisang site, nananatiling matatag kapag may pagitan ang mga request.

Sa session, ang sikreto ay hiwalay na session name sa bawat yunit ng trabaho. Kung sinusuri mo ang limang store account, pangalanan ang mga ito na shop1 hanggang shop5 para may sariling IP ang bawat account. Kapag hinati ang trabaho sa maiikling daloy na natatapos sa loob ng session window, iisang IP ang gamit sa buong daloy.

Kung kailangan mo ng parehong IP sa buong buwan, pinakaakma ang ISP proxy o dedicated datacenter proxy, at para sa malaking volume sa mababang presyo kada isa, magandang opsyon ang shared datacenter proxy o IPv6 proxy. Para sa mga trabahong mabigat ang traffic na ayos lang ang halo-halong bansa, madaling planuhin ang gastos sa unlimited residential proxy na $37.58 kada araw.

  • Bagong IP kada request para sa magkakahiwalay na page
  • Nakahawak na session name para sa login at checkout
  • Ibang session name kada yunit ng trabaho
  • ISP o dedicated datacenter para sa iisang IP buong buwan

Paano suriin ang proxy IP ko at ayusin ang mga connection error?

Pinakamabilis na pagsuri ang magpadala ng request sa proxy papunta sa page na nagpapakita ng IP mo, saka kumpirmahing tugma ang IP at bansa sa bansa sa username mo. Piliin ang curl format sa Gumawa ng connection details sa dashboard at makakakuha ka ng handang check command na ipe-paste sa terminal. Kung nagtakda ka ng session, ipadala ang parehong command nang dalawa o tatlong beses para kumpirmahing nananatili ang IP.

Ang 407 na sagot ay nangangahulugang hindi tinanggap ng proxy ang credentials mo, at kadalasan ay dahil sa isang character sa username o token. Tiyaking nagsisimula sa pt_ ang token, na walang espasyo o line break na nasama sa pagkopya, at na nagsisimula sa user ang username. Kung may special character na napunta sa loob ng address na iisang linya, maaayos ito ng URL encoding.

Ang mga sagot na gaya ng 403 o 429 ay galing sa site, ibig sabihin, gumana ang proxy connection at binabantayan ng site ang bilis o pattern ng request. Lagyan ng pagitan ang mga request, magpadala ng header na parang browser, at lumipat mula session patungo sa bagong IP kada request.

Madalas na dahilan ng timeout ang network ng opisina o paaralan na humaharang sa gateway port, masyadong makitid na city target, o maikling timeout sa code mo. Subukan ang parehong command mula sa ibang network, alisin ang bahaging city at bansa lang ang i-target, at bigyan ng mas mahabang timeout ang request. Tiyakin ding may natitira kang balanse at, para sa IP product, na Ginagamit ang status ng order sa Mga order ko.

  • 407, suriin ang username at token
  • 403 o 429, bagalan at i-rotate ang IP
  • Timeout, suriin ang network, lungsod at timeout
  • Ulitin ang parehong command para i-test ang session

Paano panatilihing ligtas ang proxy access token ko?

Ang access token mo ay parehong account ID at proxy password, kaya magagamit ng sinumang may hawak nito ang mga proxy gamit ang balanse mo. Hash lang ng token ang itinatago ng server, kaya ang token file na na-save mo sa pag-sign up ang nag-iisang orihinal. Mag-imbak ng kopya sa dalawang lugar at idagdag ito sa password manager para ligtas at madaling hanapin.

Huwag ilagay ang token sa code mo at i-load ito mula sa environment variable o hiwalay na config file. Idagdag ang config file na iyon sa .gitignore para hindi mapasama sa repository, at sa shared server, higpitan ang file permission para ikaw lang ang makabasa. Sa ganoon, maibabahagi mo ang code habang nananatili sa sarili mong makina ang token.

Bantayan din ang mga log at screenshot. Kapag na-print ang buong proxy address sa isang error, direktang naisusulat ang token sa log, kaya takpan ang bahaging token tuwing nagla-log ng address. Kapag nagpo-post ng tanong o screenshot, username lang ang ipakita at alisin muna ang token.

  • Token file na nakatago sa dalawang lugar
  • Token na nilo-load mula sa environment variable
  • Config file na wala sa repository
  • Token na natatakpan sa log at screenshot

Responsableng paggamit

  • Mangolekta ng public na impormasyon, at huwag pumasok sa account ng iba nang walang pahintulot.
  • Lagyan ng pagitan ang mga request para hindi mabigatan ang mga site.
  • Hindi ito puwedeng gamitin sa spam, hindi awtorisadong access o panloloko.

Mga kaugnay na page

Kumuha ng token at kumonekta agad gamit ang IP ng bansang kailangan mo

Isang token lang ang kailangan para mag-sign up. Mag-top up mula $30 at gamitin ang lahat ng uri ng proxy mula sa iisang balanse.

Kumuha ng token at magsimula