proxytoo

Cara Menyediakan Proksi: Dari Nama Pengguna ke Scraper

Sebaik anda tahu fungsi setiap bahagian nama pengguna, persediaan proksi dalam mana-mana alat hanya mengambil beberapa minit. Halaman ini merangkumi persediaan mengikut alat, pembaikan ralat dan cara menjaga keselamatan token anda.

Dapatkan token dan mula

1. Cipta akaun dan simpan token akses

Dapatkan token akses di halaman pendaftaran. Token ini menjadi kata laluan semasa log masuk dan semasa bersambung ke proksi. Pelayan tidak menyimpan token, jadi simpan sebagai fail .txt.

Mula

2. Tambah nilai baki

Pilih jumlah di ruangan tambah nilai pada papan pemuka dan mohon. Tambah nilai bermula $30, dan baki bertambah selepas bayaran disahkan.

Lihat harga

3. Bina nama pengguna

Tulis negara, bandar dan sesi dalam nama pengguna untuk menetapkan lokasi dan cara IP dikekalkan. Pilih di bahagian jana maklumat sambungan pada papan pemuka, dan ia dibina secara automatik.

Contoh nama pengguna

IP baharu setiap permintaan
user-country-us
Pilih bandar
user-country-us-city-new_york
Kekalkan IP yang sama
user-country-us-session-shop1
IP mudah alih
user-type-mobile-country-us

4. Uji sambungan

Hantar permintaan dengan curl dan lihat IP serta negara dalam respons.

Format sambungan

HTTP

http://user-country-us:YOUR_TOKEN@gate.proxytoo.com:7000

SOCKS5

socks5://user-country-us:YOUR_TOKEN@gate.proxytoo.com:7000

curl

curl -x http://gate.proxytoo.com:7000 -U "user-country-us:YOUR_TOKEN" https://ipinfo.io/json

5. Masukkan ke alat yang anda guna

Masukkan hos, nama pengguna dan token dalam Python, Node.js atau alat automasi pelayar.

Contoh kod

Python (requests)

import requests

proxy = "http://user-country-us:YOUR_TOKEN@gate.proxytoo.com:7000"
res = requests.get("https://ipinfo.io/json",
                   proxies={"http": proxy, "https": proxy})
print(res.json())

Node.js (undici)

import { ProxyAgent, fetch } from "undici";

const agent = new ProxyAgent("http://user-country-us:YOUR_TOKEN@gate.proxytoo.com:7000");
const res = await fetch("https://ipinfo.io/json", { dispatcher: agent });
console.log(await res.json());

Puppeteer

const browser = await puppeteer.launch({
  args: ["--proxy-server=http://gate.proxytoo.com:7000"],
});
const page = await browser.newPage();
await page.authenticate({ username: "user-country-us", password: "YOUR_TOKEN" });
await page.goto("https://ipinfo.io/json");

Apabila sambungan gagal

  • 407 Proxy Authentication Required

    Nama pengguna atau token tidak sepadan. Semak sama ada anda menampalnya dengan tepat, tanpa ruang lebih.

  • Tamat masa sambungan

    Jika memilih hingga bandar, cuba lagi dengan negara sahaja. Semak juga sama ada tembok api pejabat menyekat port 7000.

  • Laman web terus menyekat

    Besarkan jarak antara permintaan dan tukar IP setiap permintaan. Untuk laman dengan sekatan ketat, proksi kediaman lebih sesuai.

Bagaimana membaca nama pengguna proksi?

Nama pengguna proksi ialah rentetan tetapan pendek yang terdiri daripada bahagian yang disambung dengan tanda sempang. Ia bermula dengan user, kemudian menambah pasangan nama dan nilai yang menetapkan lokasi keluar dan berapa lama IP dikekalkan. Sebaik anda tahu bahagiannya, anda boleh menulis apa sahaja rentetan sambungan secara manual tanpa membuka papan pemuka.

Selepas country ialah kod negara dua huruf dalam huruf kecil. user-country-us bermaksud IP Amerika Syarikat dan user-country-jp bermaksud IP Jepun. Selepas city ialah nama bandar dalam huruf kecil dengan ruang ditukar kepada garis bawah, seperti user-country-us-city-new_york.

Selepas session ialah nama sesi yang anda pilih. Dengan user-country-jp-session-shop1, setiap permintaan yang menggunakan nama itu mengekalkan IP yang sama sehingga 120 minit. Tambah type-mobile, seperti user-type-mobile-country-gb, untuk keluar melalui IP mudah alih.

Medan kata laluan sentiasa menggunakan token akses anda, yang bermula dengan pt_. Untuk menukar lokasi atau sesi, ubah nama pengguna sahaja dan biarkan token seperti asal.

  • user menandakan permulaan tetapan.
  • country bersama kod dua huruf memilih negara.
  • city bersama nama bergaris bawah memilih bandar.
  • session bersama nama mengekalkan IP yang sama.
  • type-mobile memilih IP mudah alih.

Proksi HTTP vs SOCKS5: yang mana patut saya guna?

Proksi HTTP ialah pilihan lalai yang mudah untuk web scraping dan kerja pelayar, manakala proksi SOCKS5 sesuai untuk trafik bukan web atau persediaan yang mahu DNS diselesaikan di pihak proksi. ProxyToo menerima kedua-duanya pada satu gerbang, gate.proxytoo.com:7000. Kekalkan nama pengguna dan token yang sama dan tukar skema di hadapan alamat sahaja.

Proksi HTTP dibina untuk permintaan web, jadi hampir semua pustaka dan pelayar memahaminya terus. Laman HTTPS juga berfungsi, kerana proksi membuka terowong tersulit untuk sambungan. Untuk alat web seperti requests, Scrapy, Puppeteer dan Playwright, mulakan dengan format HTTP.

SOCKS5 menyalurkan sambungan itu sendiri, jadi ia boleh membawa pelbagai jenis trafik selain web. Dalam Python, memulakan alamat dengan socks5h menjadikan proksi menyelesaikan nama hos di negara keluar, yang memastikan lokasi anda konsisten. Pelayar berasaskan Chromium mempunyai sokongan terhad untuk SOCKS5 dengan nama pengguna, jadi HTTP pilihan yang lebih lancar untuk automasi pelayar.

  • HTTP untuk web scraping dan automasi pelayar
  • SOCKS5 untuk program yang menghantar trafik bukan web
  • Alamat socks5h untuk menyelesaikan DNS di negara proksi
  • Nama pengguna dan token yang sama untuk kedua-duanya

Bagaimana menambah proksi pada pelayar atau pelayar antidetect?

Dalam pelayar biasa, buka sambungan proksi dan masukkan empat nilai dalam medan berasingan: hos, port, nama pengguna dan token. Pilih format host:port:user:pass di bawah Jana maklumat sambungan di papan pemuka dan keempat-empat nilai muncul dalam satu baris, sedia untuk disalin medan demi medan. Jika gesaan pengesahan muncul semasa halaman pertama dimuatkan, masukkan nama pengguna dan token di situ.

Pelayar antidetect memberi setiap profil persekitaran pelayarnya sendiri, jadi peraturan asasnya ialah satu nama pengguna bagi setiap profil. Dalam medan proksi profil, pilih HTTP atau SOCKS5, kemudian tambah bahagian session pada nama pengguna dengan nama sesi berbeza bagi setiap profil. Setiap profil kemudian mendapat IP sendiri, dan IP itu kekal sama dalam profil tersebut.

Padankan bahasa, zon waktu dan lokasi profil dengan negara yang dipilih supaya halaman kelihatan seperti yang dilihat pelawat tempatan. Untuk profil yang mengendalikan satu akaun dalam tempoh lama, proksi ISP atau proksi pusat data khusus mengekalkan IP yang sama sepanjang tempoh. Pesan salah satunya di bawah Beli produk di papan pemuka dengan memilih kuantiti dan tempoh.

  • Satu nama sesi bagi setiap profil
  • Bahasa dan zon waktu sepadan dengan negara IP
  • Proksi ISP untuk profil jangka panjang
  • Nama pengguna dan token dalam gesaan pengesahan

Bagaimana menggunakan proksi dengan Python requests dan Scrapy?

Dalam Python, bina proksi sebagai satu baris berbentuk http://username:token@gate.proxytoo.com:7000 dan hantarkannya ke tetapan proksi pustaka. Dengan requests, langkah pentingnya ialah meletakkan alamat yang sama dalam kedua-dua entri http dan https. Mengisi kedua-dua entri memastikan permintaan HTTPS juga melalui proksi.

Tetapkan proksi sekali pada objek Session requests dan setiap permintaan dalam sesi itu akan menggunakannya. Gunakan nama pengguna peringkat negara sahaja apabila anda mahukan IP baharu setiap permintaan, dan nama pengguna dengan bahagian session untuk aliran yang bersambung, seperti log masuk. Untuk SOCKS5, pasang tambahan SOCKS untuk requests dan tukar bahagian hadapan alamat kepada socks5h.

Dalam Scrapy, letakkan alamat dengan gaya yang sama dalam nilai meta proxy setiap permintaan, dan middleware proksi terbina dalam akan menukar nama pengguna dan token kepada pengepala pengesahan untuk anda. Untuk menggunakan satu tetapan bagi setiap permintaan, tulis downloader middleware kecil yang mengisi nilai proksi. Untuk membahagikan trafik kepada sesi, biarkan middleware itu memberi nama sesi berbeza kepada setiap kelompok permintaan.

Laraskan keserentakan dan kadar dengan tetapan seperti CONCURRENT_REQUESTS dan DOWNLOAD_DELAY. Mulakan dengan nilai rendah, perhatikan sama ada respons stabil, kemudian naikkan sedikit demi sedikit untuk mengimbangi kelajuan dan kejayaan. Proksi kediaman dicaj mengikut trafik yang digunakan, jadi menapis gambar dan fon menjadikan baki anda bertahan lebih lama.

Bagaimana menyediakan proksi dalam Node.js, Puppeteer dan Playwright?

Dalam Node.js, cara biasa ialah mencipta ejen proksi dan menyerahkannya kepada pustaka permintaan anda. Untuk HTTP gunakan pakej seperti https-proxy-agent atau ProxyAgent dari undici, dan untuk SOCKS5 gunakan socks-proxy-agent, dengan alamat yang mengandungi nama pengguna dan token. Cipta ejen sekali dan gunakan semula untuk semua permintaan supaya sambungan digunakan semula dan kekal pantas.

Dengan Puppeteer, hantar alamat gerbang sahaja dalam argumen pelancaran --proxy-server, kemudian hantar nama pengguna dan token secara berasingan dengan page.authenticate selepas membuka halaman. Pemisahan ini ialah persediaan paling boleh dipercayai dalam Chrome. Untuk menukar negara atau sesi, cara paling mudah ialah melancarkan pelayar lain dengan nama pengguna baharu.

Dengan Playwright, tetapkan server, username dan password dalam pilihan pelancaran proxy dan pengesahan dikendalikan dalam satu langkah. Medan kata laluan menggunakan token akses anda. Anda juga boleh melancarkan satu pelayar dan memberi setiap konteks proksinya sendiri, jadi memasangkan satu nama sesi dengan setiap konteks membolehkan satu skrip menjalankan beberapa IP serentak.

Automasi pelayar memuat turun gambar, video dan fon pada setiap halaman, yang menambah banyak trafik. Menyekat sumber yang tidak diperlukan dengan pemintasan permintaan mengurangkan kos proksi kediaman dan mudah alih, yang dicaj setiap GB. Menambah nama sesi mengekalkan IP semasa halaman dimuatkan, jadi halaman dipaparkan dengan kemas.

Proksi berputar atau sesi melekit: mana lebih baik untuk scraping?

Untuk scraping yang setiap halamannya dibaca secara berasingan, gunakan IP baharu setiap permintaan, dan untuk aliran yang bersambung, seperti log masuk atau troli, gunakan sesi. Tanpa bahagian session, IP bertukar pada setiap permintaan, dan dengannya IP kekal sama di bawah nama tersebut. Satu token mengendalikan kedua-duanya, jadi anda boleh memilih bagi setiap langkah kerja.

Mod berputar sesuai untuk kerja yang halamannya tiada kaitan antara satu sama lain, seperti hasil carian, senarai produk dan jadual harga. Permintaan tersebar sekata merentasi banyak IP, jadi bagi laman ia kelihatan seperti trafik biasa daripada ramai pelawat. Walaupun dalam crawl besar satu laman, menjarakkan permintaan memastikan keadaan stabil.

Dengan sesi, kuncinya ialah nama sesi berasingan bagi setiap unit kerja. Jika anda menyemak lima akaun kedai, namakan shop1 hingga shop5 supaya setiap akaun mengekalkan IP sendiri. Membahagikan kerja kepada aliran pendek yang selesai dalam tempoh sesi mengekalkan satu IP untuk keseluruhan aliran.

Jika anda memerlukan IP yang sama selama sebulan penuh, proksi ISP atau proksi pusat data khusus paling sesuai, dan untuk jumlah besar pada harga seunit rendah, proksi pusat data kongsi atau proksi IPv6 ialah pilihan yang baik. Untuk kerja berat trafik yang tidak kisah negara bercampur, proksi kediaman tanpa had pada $37.58 sehari memudahkan perancangan kos.

  • IP baharu setiap permintaan untuk halaman berasingan
  • Nama sesi yang dikekalkan untuk aliran log masuk dan pembayaran
  • Nama sesi berbeza bagi setiap unit kerja
  • ISP atau pusat data khusus untuk satu IP sepanjang bulan

Bagaimana menyemak IP proksi saya dan membaiki ralat sambungan?

Semakan paling pantas ialah menghantar permintaan melalui proksi ke halaman yang memaparkan IP anda, kemudian mengesahkan IP dan negara sepadan dengan negara dalam nama pengguna. Pilih format curl di bawah Jana maklumat sambungan di papan pemuka dan anda mendapat arahan semakan yang sedia untuk ditampal di terminal. Jika anda menetapkan sesi, hantar arahan yang sama dua atau tiga kali untuk mengesahkan IP kekal.

Respons 407 bermaksud proksi tidak menerima bukti kelayakan anda, dan biasanya puncanya satu aksara dalam nama pengguna atau token. Pastikan token bermula dengan pt_, tiada ruang atau baris baharu terbawa semasa menyalin, dan nama pengguna bermula dengan user. Jika aksara khas berada di dalam alamat satu baris, pengekodan URL dapat menyelesaikannya.

Respons seperti 403 atau 429 datang dari laman, bermakna sambungan proksi berjaya dan laman sedang memerhati kelajuan atau corak permintaan. Jarakkan permintaan, hantar pengepala seperti pelayar, dan tukar daripada sesi kepada IP baharu setiap permintaan.

Tamat masa sering berpunca daripada rangkaian pejabat atau sekolah yang menyekat port gerbang, sasaran bandar yang terlalu sempit, atau had masa yang pendek dalam kod anda. Cuba arahan yang sama dari rangkaian lain, buang bahagian city dan sasarkan negara sahaja, dan beri permintaan had masa yang lebih panjang. Semak juga sama ada baki anda masih ada dan, untuk produk IP, sama ada pesanan menunjukkan Sedang digunakan di Pesanan saya.

  • 407: semak nama pengguna dan token
  • 403 atau 429: perlahankan dan putar IP
  • Tamat masa: semak rangkaian, bandar dan had masa
  • Jalankan arahan yang sama beberapa kali untuk menguji sesi

Bagaimana menjaga keselamatan token akses proksi saya?

Token akses anda ialah ID akaun dan juga kata laluan proksi, jadi sesiapa yang memilikinya boleh menggunakan proksi dengan baki anda. Pelayan hanya menyimpan hash token, jadi fail token yang anda simpan semasa mendaftar ialah satu-satunya salinan asal. Simpan salinan di dua tempat dan tambahkannya ke pengurus kata laluan supaya ia selamat dan mudah dicari.

Jauhkan token daripada kod anda dan muatkannya dari pemboleh ubah persekitaran atau fail konfigurasi berasingan. Tambah fail konfigurasi itu ke .gitignore supaya ia tidak masuk ke repositori, dan pada pelayan yang dikongsi, ketatkan kebenaran fail supaya hanya anda boleh membacanya. Dengan cara itu anda boleh berkongsi kod sementara token kekal di mesin anda sendiri.

Berhati-hati juga dengan log dan tangkapan skrin. Mencetak alamat proksi penuh semasa ralat menulis token terus ke dalam log, jadi sembunyikan bahagian token setiap kali anda merekod alamat. Apabila menyiarkan soalan atau tangkapan skrin, tunjukkan nama pengguna sahaja dan buang token terlebih dahulu.

  • Fail token disimpan di dua tempat
  • Token dimuatkan dari pemboleh ubah persekitaran
  • Fail konfigurasi dijauhkan dari repositori
  • Token disembunyikan dalam log dan tangkapan skrin

Menggunakan proksi dengan bertanggungjawab

  • Kumpul maklumat awam sahaja, dan jangan masuk ke akaun orang lain tanpa izin.
  • Beri jarak antara permintaan supaya tidak membebankan laman web.
  • Tidak boleh digunakan untuk spam, akses tanpa kebenaran atau penipuan.

Halaman berkaitan

Dapatkan token dan terus bersambung dengan IP negara yang anda perlukan

Pendaftaran hanya memerlukan satu token. Tambah nilai dari $30 dan gunakan semua jenis proksi dari satu baki.

Dapatkan token dan mula