01Como entender o nome de usuário do proxy?
O nome de usuário do proxy é uma pequena string de configuração formada por partes unidas por hífens. Ela começa com user e depois recebe pares de nome e valor que definem o local de saída e por quanto tempo o IP é mantido. Conhecendo as partes, você escreve qualquer string de conexão à mão, sem abrir o painel.
Depois de country vem o código do país com duas letras minúsculas. user-country-us significa um IP dos Estados Unidos e user-country-jp significa um IP do Japão. Depois de city vem o nome da cidade em minúsculas, com os espaços trocados por sublinhados, como em user-country-us-city-new_york.
Depois de session vem um nome de sessão escolhido por você. Com user-country-jp-session-shop1, todas as requisições com esse nome mantêm o mesmo IP por até 120 minutos. Acrescente type-mobile, como em user-type-mobile-country-gb, para sair por um IP móvel.
O campo de senha sempre recebe o seu token de acesso, que começa com pt_. Para mudar o local ou a sessão, edite só o nome de usuário e deixe o token como está.
- user marca o início da configuração.
- country com um código de duas letras escolhe o país.
- city com um nome usando sublinhados escolhe a cidade.
- session com um nome mantém o mesmo IP.
- type-mobile escolhe um IP móvel.
02Proxy HTTP ou SOCKS5: qual usar?
Proxies HTTP são a opção padrão mais simples para web scraping e trabalho no navegador, enquanto proxies SOCKS5 servem para tráfego que não é web ou para configurações em que você quer o DNS resolvido no lado do proxy. A ProxyToo aceita os dois no mesmo gateway, gate.proxytoo.com:7000. Mantenha o mesmo usuário e token e mude só o esquema no início do endereço.
Proxies HTTP foram feitos para requisições web, então quase toda biblioteca e todo navegador os entendem sem configuração extra. Sites HTTPS também funcionam, porque o proxy abre um túnel criptografado para a conexão. Para ferramentas web como requests, Scrapy, Puppeteer e Playwright, comece pelo formato HTTP.
O SOCKS5 repassa a própria conexão, então leva muitos tipos de tráfego além da web. No Python, começar o endereço com socks5h faz o proxy resolver os nomes de host no país de saída, o que mantém a sua localização coerente. Navegadores baseados em Chromium têm suporte limitado a SOCKS5 com usuário, então o HTTP é a escolha mais tranquila para automação de navegador.
- HTTP para web scraping e automação de navegador
- SOCKS5 para programas que enviam tráfego que não é web
- Um endereço socks5h para resolver o DNS no país do proxy
- O mesmo usuário e token para os dois
03Como adicionar um proxy ao navegador ou a um navegador antidetect?
Em um navegador comum, abra uma extensão de proxy e preencha quatro dados em campos separados: host, porta, usuário e token. Escolha o formato host:port:user:pass em Gerar dados de conexão no painel e os quatro dados vêm em uma linha, prontos para copiar campo por campo. Se aparecer um pedido de autenticação ao carregar a primeira página, informe ali o usuário e o token.
Um navegador antidetect dá a cada perfil o seu próprio ambiente de navegador, então a regra básica é um nome de usuário por perfil. No campo de proxy do perfil, escolha HTTP ou SOCKS5 e acrescente uma parte de sessão ao nome de usuário, com um nome de sessão diferente para cada perfil. Assim cada perfil recebe o seu próprio IP, e o IP continua o mesmo dentro daquele perfil.
Ajuste o idioma, o fuso horário e a localização do perfil ao país escolhido para que as páginas apareçam como um visitante local as vê. Para um perfil que cuida de uma conta por muito tempo, proxies ISP ou proxies de datacenter dedicados mantêm o mesmo IP durante todo o período. Peça qualquer um dos dois em Comprar produtos no painel, escolhendo quantidade e período.
- Um nome de sessão por perfil
- Idioma e fuso horário iguais ao país do IP
- Proxies ISP para perfis de longa duração
- Usuário e token no pedido de autenticação
04Como usar proxy com Python requests e Scrapy?
No Python, monte o proxy em uma linha no formato http://usuario:token@gate.proxytoo.com:7000 e passe para a configuração de proxy da biblioteca. Com requests, o passo principal é colocar o mesmo endereço nas entradas http e https. Preenchendo as duas, as requisições HTTPS também passam pelo proxy.
Configure o proxy uma vez em um objeto Session do requests e todas as requisições dessa sessão passam a usá-lo. Use um nome de usuário só com o país quando quiser um IP novo por requisição e um nome de usuário com parte de sessão para fluxos contínuos, como um login. Para SOCKS5, instale o extra SOCKS do requests e troque o início do endereço por socks5h.
No Scrapy, coloque o mesmo tipo de endereço no valor proxy do meta de cada requisição, e o middleware de proxy nativo transforma usuário e token no cabeçalho de autenticação para você. Para aplicar uma configuração a todas as requisições, escreva um pequeno downloader middleware que preencha o valor proxy. Para dividir o tráfego em sessões, faça esse middleware atribuir um nome de sessão diferente a cada lote de requisições.
Ajuste a concorrência e o ritmo com configurações como CONCURRENT_REQUESTS e DOWNLOAD_DELAY. Comece com valores baixos, observe se as respostas estão estáveis e aumente aos poucos para equilibrar velocidade e taxa de sucesso. Proxies residenciais são cobrados pelo tráfego usado, então filtrar imagens e fontes faz o saldo render mais.
05Como configurar proxy no Node.js, Puppeteer e Playwright?
No Node.js, o caminho comum é criar um agente de proxy e entregá-lo à sua biblioteca de requisições. Para HTTP, use um pacote como https-proxy-agent ou o ProxyAgent do undici, e para SOCKS5 use socks-proxy-agent, passando um endereço com o usuário e o token. Crie o agente uma vez e reutilize em todas as requisições para que as conexões sejam aproveitadas e continuem rápidas.
Com Puppeteer, passe só o endereço do gateway no argumento de inicialização --proxy-server e depois envie usuário e token separadamente com page.authenticate ao abrir uma página. Separar assim é a configuração mais confiável no Chrome. Para trocar de país ou de sessão, o caminho mais simples é abrir outro navegador com o novo nome de usuário.
Com Playwright, defina server, username e password na opção proxy de inicialização e a autenticação é resolvida em um passo só. O campo password recebe o seu token de acesso. Você também pode abrir um navegador e dar a cada contexto o seu próprio proxy, então combinar um nome de sessão com cada contexto permite que um único script rode vários IPs lado a lado.
A automação de navegador baixa imagens, vídeos e fontes em cada página, o que soma muito tráfego. Bloquear recursos desnecessários com interceptação de requisições reduz o custo dos proxies residenciais e móveis, que são cobrados por GB. Acrescentar um nome de sessão mantém o IP estável enquanto a página carrega, e as páginas são exibidas sem falhas.
06Proxies rotativos ou sessões fixas: o que é melhor para scraping?
Para scraping em que cada página é lida de forma independente, use um IP novo por requisição, e para fluxos contínuos, como um login ou um carrinho, use uma sessão. Sem a parte de sessão, o IP muda a cada requisição, e com ela o IP continua o mesmo sob aquele nome. Um único token atende os dois casos, então você escolhe a cada etapa do trabalho.
O modo rotativo serve para trabalhos em que as páginas não têm ligação entre si, como resultados de busca, listas de produtos e tabelas de preços. As requisições se espalham de forma equilibrada por muitos IPs, então para o site elas parecem tráfego comum de muitos visitantes. Mesmo em grandes rastreamentos de um único site, espaçar as requisições mantém tudo estável.
Com sessões, o segredo é ter um nome de sessão separado para cada unidade de trabalho. Se você confere cinco contas de loja, chame de shop1 a shop5 para que cada conta mantenha o seu IP. Dividir o trabalho em fluxos curtos que terminam dentro do tempo da sessão mantém um único IP no fluxo inteiro.
Se você precisa do mesmo IP por um mês inteiro, proxies ISP ou proxies de datacenter dedicados são os mais indicados, e para grande volume com preço unitário baixo, proxies de datacenter compartilhados ou proxies IPv6 são boas opções. Para trabalhos com muito tráfego em que países misturados não são problema, proxies residenciais ilimitados a $37.58 por dia deixam os custos fáceis de planejar.
- IP novo por requisição para páginas independentes
- Um nome de sessão mantido para fluxos de login e checkout
- Um nome de sessão diferente por unidade de trabalho
- ISP ou datacenter dedicado para um IP o mês todo
07Como conferir o IP do proxy e resolver erros de conexão?
A verificação mais rápida é enviar uma requisição pelo proxy a uma página que mostra o seu IP e confirmar se o IP e o país batem com o país do nome de usuário. Escolha o formato curl em Gerar dados de conexão no painel e você recebe um comando de teste pronto para colar no terminal. Se você definiu uma sessão, envie o mesmo comando duas ou três vezes para confirmar que o IP se mantém.
Uma resposta 407 significa que o proxy não aceitou as suas credenciais, e quase sempre o motivo é um caractere no usuário ou no token. Confira se o token começa com pt_, se nenhum espaço ou quebra de linha veio junto na cópia e se o nome de usuário começa com user. Se houver caracteres especiais dentro do endereço em uma linha, codificá-los em formato de URL resolve.
Respostas como 403 ou 429 vêm do site, o que significa que a conexão com o proxy funcionou e o site está de olho na velocidade ou no padrão das requisições. Espace as requisições, envie cabeçalhos parecidos com os de um navegador e troque a sessão por um IP novo a cada requisição.
Tempos esgotados costumam vir de uma rede de escritório ou faculdade que bloqueia a porta do gateway, de um alvo de cidade muito restrito ou de um tempo limite curto no seu código. Teste o mesmo comando em outra rede, tire a parte da cidade e mire só no país, e dê à requisição um tempo limite maior. Confira também se ainda há saldo e, nos produtos por IP, se o pedido aparece como Em uso em Meus pedidos.
- 407: confira o usuário e o token
- 403 ou 429: diminua o ritmo e troque de IP
- Tempo esgotado: confira a rede, a cidade e o tempo limite
- Rode o mesmo comando algumas vezes para testar uma sessão
08Como manter seguro o token de acesso do proxy?
O seu token de acesso é ao mesmo tempo o ID da conta e a senha do proxy, então quem tiver o token pode usar proxies com o seu saldo. O servidor guarda apenas um hash do token, o que faz do arquivo salvo no cadastro o único original. Guarde cópias em dois lugares e adicione o token a um gerenciador de senhas para que ele fique seguro e fácil de encontrar.
Não coloque o token no código: carregue de uma variável de ambiente ou de um arquivo de configuração separado. Adicione esse arquivo ao .gitignore para que ele fique fora do repositório e, em um servidor compartilhado, restrinja as permissões para que só você possa ler. Assim você compartilha o código enquanto o token fica só na sua máquina.
Cuide também dos logs e das capturas de tela. Imprimir o endereço completo do proxy em um erro grava o token direto no log, então oculte a parte do token sempre que registrar um endereço. Ao publicar uma dúvida ou uma captura de tela, mostre só o nome de usuário e remova o token antes.
- Arquivo do token guardado em dois lugares
- Token carregado de uma variável de ambiente
- Arquivo de configuração fora do repositório
- Token oculto em logs e capturas de tela