01Jak czytać nazwę użytkownika proxy?
Nazwa użytkownika proxy to krótki ciąg ustawień złożony z części połączonych łącznikami. Zaczyna się od user, a potem dodaje pary nazwa i wartość, które określają lokalizację wyjścia i czas utrzymania IP. Gdy znasz te części, możesz ręcznie zapisać dowolny ciąg połączenia bez otwierania panelu.
Po country następuje dwuliterowy kod kraju zapisany małymi literami. user-country-us oznacza IP z USA, a user-country-jp IP z Japonii. Po city następuje nazwa miasta małymi literami ze spacjami zamienionymi na podkreślniki, na przykład user-country-us-city-new_york.
Po session następuje wybrana przez Ciebie nazwa sesji. Przy user-country-jp-session-shop1 każde żądanie z tą nazwą utrzymuje to samo IP do 120 minut. Dodaj type-mobile, na przykład user-type-mobile-country-gb, aby wychodzić przez mobilne IP.
W polu hasła zawsze wpisujesz token dostępu, który zaczyna się od pt_. Aby zmienić lokalizację lub sesję, edytuj tylko nazwę użytkownika, a token zostaw bez zmian.
- user oznacza początek ustawień.
- country z dwuliterowym kodem wybiera kraj.
- city z nazwą zapisaną z podkreślnikami wybiera miasto.
- session z nazwą utrzymuje to samo IP.
- type-mobile wybiera mobilne IP.
02Proxy HTTP czy SOCKS5: które wybrać?
Proxy HTTP to prosty wybór domyślny do web scrapingu i pracy w przeglądarce, a proxy SOCKS5 pasują do ruchu innego niż webowy lub konfiguracji, w których DNS ma być rozwiązywany po stronie proxy. ProxyToo obsługuje oba w jednej bramce, gate.proxytoo.com:7000. Zachowaj tę samą nazwę użytkownika i token, a zmień tylko schemat na początku adresu.
Proxy HTTP powstały z myślą o żądaniach webowych, więc niemal każda biblioteka i przeglądarka obsługuje je od razu. Strony HTTPS też działają, bo proxy otwiera zaszyfrowany tunel dla połączenia. W narzędziach webowych takich jak requests, Scrapy, Puppeteer i Playwright zacznij od formatu HTTP.
SOCKS5 przekazuje samo połączenie, więc może przenosić wiele rodzajów ruchu poza webem. W Pythonie adres zaczynający się od socks5h sprawia, że proxy rozwiązuje nazwy hostów w kraju wyjścia, co utrzymuje spójną lokalizację. Przeglądarki oparte na Chromium mają ograniczoną obsługę SOCKS5 z nazwą użytkownika, więc w automatyzacji przeglądarki HTTP działa płynniej.
- HTTP do web scrapingu i automatyzacji przeglądarki
- SOCKS5 do programów wysyłających ruch inny niż webowy
- Adres socks5h, aby rozwiązywać DNS w kraju proxy
- Ta sama nazwa użytkownika i token dla obu
03Jak dodać proxy do przeglądarki lub przeglądarki antydetect?
W zwykłej przeglądarce otwórz rozszerzenie proxy i wpisz cztery wartości w osobnych polach: host, port, nazwę użytkownika i token. Wybierz format host:port:user:pass w sekcji Dane połączenia w panelu, a wszystkie cztery wartości pojawią się w jednej linii, gotowe do skopiowania pole po polu. Jeśli przy pierwszym ładowaniu strony pojawi się okno uwierzytelniania, wpisz tam nazwę użytkownika i token.
Przeglądarka antydetect daje każdemu profilowi własne środowisko przeglądarki, więc podstawowa zasada to jedna nazwa użytkownika na profil. W polu proxy profilu wybierz HTTP lub SOCKS5, a potem dodaj do nazwy użytkownika część session z inną nazwą sesji dla każdego profilu. Każdy profil dostaje wtedy własne IP, które pozostaje stałe w obrębie tego profilu.
Dopasuj język, strefę czasową i lokalizację profilu do wybranego kraju, aby strony wyglądały tak, jak widzi je lokalny odwiedzający. Dla profilu, który długo prowadzi jedno konto, proxy ISP lub dedykowane proxy datacenter zachowują to samo IP przez cały okres. Zamów jedno z nich w sekcji Kup produkty w panelu, wybierając ilość i okres.
- Jedna nazwa sesji na profil
- Język i strefa czasowa zgodne z krajem IP
- Proxy ISP dla długo działających profili
- Nazwa użytkownika i token w oknie uwierzytelniania
04Jak używać proxy w Python requests i Scrapy?
W Pythonie zbuduj proxy jako jedną linię w postaci http://username:token@gate.proxytoo.com:7000 i przekaż ją do ustawienia proxy w bibliotece. W requests kluczowe jest wpisanie tego samego adresu w polach http i https. Wypełnienie obu pól sprawia, że przez proxy idą też żądania HTTPS.
Ustaw proxy raz w obiekcie Session biblioteki requests, a każde żądanie w tej sesji będzie z niego korzystać. Użyj nazwy użytkownika z samym krajem, gdy chcesz nowego IP przy każdym żądaniu, a nazwy z częścią session dla ciągłych przepływów, takich jak logowanie. Dla SOCKS5 zainstaluj dodatek SOCKS do requests i zmień początek adresu na socks5h.
W Scrapy wpisz adres w tym samym stylu w wartości meta proxy każdego żądania, a wbudowany middleware proxy sam zamieni nazwę użytkownika i token na nagłówek uwierzytelniania. Aby zastosować jedno ustawienie do wszystkich żądań, napisz mały downloader middleware, który uzupełnia wartość proxy. Aby podzielić ruch na sesje, niech ten middleware przypisuje inną nazwę sesji każdej partii żądań.
Dostosuj współbieżność i tempo za pomocą ustawień takich jak CONCURRENT_REQUESTS i DOWNLOAD_DELAY. Zacznij od niskich wartości, obserwuj, czy odpowiedzi są stabilne, a potem stopniowo je zwiększaj, aby zrównoważyć szybkość i skuteczność. Proxy rezydencjalne są rozliczane za zużyty transfer, więc filtrowanie obrazów i czcionek wydłuża działanie salda.
05Jak skonfigurować proxy w Node.js, Puppeteer i Playwright?
W Node.js zwykle tworzy się agenta proxy i przekazuje go do biblioteki żądań. Dla HTTP użyj pakietu takiego jak https-proxy-agent lub ProxyAgent z undici, a dla SOCKS5 socks-proxy-agent, podając adres z nazwą użytkownika i tokenem. Utwórz agenta raz i używaj go ponownie dla wielu żądań, aby połączenia były ponownie wykorzystywane i pozostawały szybkie.
W Puppeteer przekaż w argumencie uruchomienia --proxy-server tylko adres bramki, a nazwę użytkownika i token wyślij osobno przez page.authenticate po otwarciu strony. Takie rozdzielenie to najbardziej niezawodna konfiguracja w Chrome. Aby zmienić kraj lub sesję, najprościej uruchomić kolejną przeglądarkę z nową nazwą użytkownika.
W Playwright ustaw server, username i password w opcji uruchomienia proxy, a uwierzytelnianie odbędzie się w jednym kroku. W polu hasła wpisz token dostępu. Możesz też uruchomić jedną przeglądarkę i dać każdemu kontekstowi własne proxy, więc przypisanie jednej nazwy sesji do każdego kontekstu pozwala jednemu skryptowi korzystać z kilku IP równolegle.
Automatyzacja przeglądarki pobiera obrazy, wideo i czcionki na każdej stronie, co daje dużo ruchu. Blokowanie zbędnych zasobów przez przechwytywanie żądań obniża koszt proxy rezydencjalnych i mobilnych rozliczanych za GB. Dodanie nazwy sesji utrzymuje stałe IP podczas ładowania strony, dzięki czemu strony renderują się poprawnie.
06Proxy rotacyjne czy stałe sesje: co lepsze do scrapingu?
Przy scrapingu, w którym każda strona jest czytana osobno, używaj nowego IP przy każdym żądaniu, a w ciągłych przepływach, takich jak logowanie czy koszyk, używaj sesji. Bez części session IP zmienia się przy każdym żądaniu, a z nią pozostaje takie samo pod daną nazwą. Jeden token obsługuje oba tryby, więc możesz wybierać na każdym etapie zadania.
Tryb rotacyjny pasuje do zadań, w których strony nie są ze sobą powiązane, takich jak wyniki wyszukiwania, listy produktów i tabele cen. Żądania rozkładają się równomiernie na wiele IP, więc dla strony wyglądają jak zwykły ruch wielu odwiedzających. Nawet przy dużym crawlu jednej strony odstępy między żądaniami zapewniają stabilność.
W sesjach kluczem jest osobna nazwa sesji dla każdej jednostki pracy. Jeśli sprawdzasz pięć kont sklepu, nazwij je od shop1 do shop5, aby każde konto miało własne IP. Podział pracy na krótkie przepływy kończące się w oknie sesji zapewnia jedno IP na cały przepływ.
Jeśli potrzebujesz tego samego IP przez pełny miesiąc, najlepiej sprawdzą się proxy ISP lub dedykowane proxy datacenter, a przy dużej skali i niskiej cenie jednostkowej dobrym wyborem są współdzielone proxy datacenter lub proxy IPv6. Przy zadaniach z dużym ruchem, w których różne kraje nie przeszkadzają, proxy rezydencjalne bez limitu za $37.58 dziennie ułatwiają planowanie kosztów.
- Nowe IP przy każdym żądaniu dla niezależnych stron
- Stała nazwa sesji dla logowania i finalizacji zakupu
- Inna nazwa sesji dla każdej jednostki pracy
- ISP lub dedykowane datacenter dla jednego IP przez cały miesiąc
07Jak sprawdzić IP proxy i naprawić błędy połączenia?
Najszybciej sprawdzisz to, wysyłając przez proxy żądanie do strony pokazującej Twoje IP i potwierdzając, że IP i kraj zgadzają się z krajem w nazwie użytkownika. Wybierz format curl w sekcji Dane połączenia w panelu, a otrzymasz gotowe polecenie do wklejenia w terminalu. Jeśli ustawiłeś sesję, wyślij to samo polecenie dwa lub trzy razy, aby potwierdzić, że IP się utrzymuje.
Odpowiedź 407 oznacza, że proxy nie przyjęło Twoich danych uwierzytelniających, a zwykle chodzi o jeden znak w nazwie użytkownika lub tokenie. Sprawdź, czy token zaczyna się od pt_, czy podczas kopiowania nie dołączyły się spacje lub znaki nowej linii i czy nazwa użytkownika zaczyna się od user. Jeśli w jednoliniowym adresie znalazły się znaki specjalne, rozwiąże to kodowanie URL.
Odpowiedzi takie jak 403 lub 429 pochodzą od strony, co oznacza, że połączenie z proxy działa, a strona obserwuje tempo lub wzorce żądań. Zwiększ odstępy między żądaniami, wysyłaj nagłówki podobne do przeglądarki i przejdź z sesji na nowe IP przy każdym żądaniu.
Przekroczenia czasu często wynikają z sieci biurowej lub szkolnej blokującej port bramki, zbyt wąskiego wyboru miasta albo krótkiego limitu czasu w kodzie. Spróbuj tego samego polecenia z innej sieci, usuń część z miastem i wybierz tylko kraj, a żądaniu daj dłuższy limit czasu. Sprawdź też, czy masz środki na saldzie, a w przypadku produktów IP, czy zamówienie ma stan W użyciu w sekcji Moje zamówienia.
- 407: sprawdź nazwę użytkownika i token
- 403 lub 429: zwolnij i zmieniaj IP
- Przekroczenie czasu: sprawdź sieć, miasto i limit czasu
- Kilka razy to samo polecenie, aby przetestować sesję
08Jak chronić token dostępu do proxy?
Token dostępu jest jednocześnie identyfikatorem konta i hasłem do proxy, więc każdy, kto go ma, może korzystać z proxy na Twoim saldzie. Serwer przechowuje tylko hash tokenu, dlatego plik z tokenem zapisany przy rejestracji jest jedynym oryginałem. Trzymaj kopie w dwóch miejscach i dodaj token do menedżera haseł, aby był bezpieczny i łatwy do znalezienia.
Nie umieszczaj tokenu w kodzie, tylko wczytuj go ze zmiennej środowiskowej lub osobnego pliku konfiguracyjnego. Dodaj ten plik do .gitignore, aby nie trafił do repozytorium, a na współdzielonym serwerze zaostrz uprawnienia pliku tak, aby tylko Ty mogłeś go czytać. Dzięki temu możesz udostępniać kod, a token zostaje na Twoim komputerze.
Uważaj też na logi i zrzuty ekranu. Wypisanie pełnego adresu proxy przy błędzie zapisuje token prosto do logu, więc maskuj część z tokenem zawsze, gdy logujesz adres. Publikując pytanie lub zrzut ekranu, pokazuj tylko nazwę użytkownika, a token najpierw usuń.
- Plik z tokenem zapisany w dwóch miejscach
- Token wczytywany ze zmiennej środowiskowej
- Plik konfiguracyjny poza repozytorium
- Token zamaskowany w logach i na zrzutach ekranu