본문으로 바로 가기

세션

연결마다 출구 IP를 새로 받거나, 직접 정한 세션 ID로 IP 하나를 최대 30분까지 유지할 수 있습니다.

로테이션

사용자명에 세션 파라미터가 없으면, 게이트웨이는 연결마다 타게팅에 맞는 업스트림 중에서 출구 IP를 새로 고릅니다. 주거용에서는 대개 새 IP가 되고, ISP와 데이터센터에서는 계정에 할당된 IP 중 하나가 됩니다. 이것이 기본 동작이고, 대부분의 크롤링에는 이 방식이 맞습니다. IP 하나가 차단돼도 다음 연결은 대개 영향을 받지 않습니다.

# 연결 세 번, 매번 새로 선택
for i in 1 2 3; do
  curl -s -x icn-01.gw.scalardata.ai:7777 -U "k7f3q2-acme-country-kr:PASSWORD" https://ipinfo.io/ip
done

한 가지 유의할 점이 있습니다. 로테이션은 HTTP 요청 단위가 아니라 연결 단위입니다. HTTPS에서는 클라이언트가 CONNECT 터널을 열고 keep-alive로 여러 요청을 한 터널에 실어 보낼 수 있는데, 이 요청들은 모두 같은 IP를 씁니다. 출구 IP를 새로 고르게 하려면 연결을 닫거나 keep-alive를 끄세요. 평문 http:// 요청은 연결 하나에 요청 하나만 처리하며, 게이트웨이가 응답 뒤 연결을 닫으므로 요청마다 출구 IP를 새로 고릅니다.

스티키 세션

사용자명에 session-ID를 붙이면 게이트웨이가 그 ID를 출구 IP 하나에 고정합니다. 같은 ID를 쓰는 연결은 세션이 끝날 때까지 모두 같은 IP로 나갑니다. 한국 플랫폼 로그인, 마켓플레이스 장바구니 담기, 검색 결과를 방문자 IP 기준으로 유지하는 사이트에서 여러 페이지를 넘기는 작업처럼 상태가 이어져야 하는 경우에 쓰세요.

# 요청 세 번, IP 하나, 최대 15분 유지
for i in 1 2 3; do
  curl -s -x icn-01.gw.scalardata.ai:7777 \
    -U "k7f3q2-acme-country-kr-session-order77-sessduration-15:PASSWORD" \
    https://ipinfo.io/ip
done

세션은 최대 30분까지 이어집니다. 길이는 sessduration-MIN으로 1~30 사이에서 정하고, 생략하면 프록시 유저의 기본값이, 기본값도 없으면 10분이 적용됩니다. 시간은 요청마다 새로 세지 않고, 그 ID를 처음 쓴 연결부터 셉니다. 세션이 끝난 뒤 같은 ID로 다시 연결하면 출구 IP를 새로 고르고 타이머도 새로 시작하므로, ID는 계속 재사용해도 됩니다.

IP 하나를 몇 시간, 며칠 단위로 유지해야 한다면 스티키 세션은 맞지 않습니다. ISP 주소는 구독이 유효한 동안 계정에 할당된 상태로 유지됩니다. 다만 연결은 할당된 IP 사이에서 로테이션되고, 세션으로는 그중 하나를 최대 30분까지 유지할 수 있습니다. 특정 IP 하나를 지정하는 기능은 아직 제공하지 않습니다.

세션 ID 동작 방식

ID는 직접 정합니다. 게이트웨이가 발급하지 않습니다. 영문자와 숫자로 된 문자열이면 무엇이든 쓸 수 있습니다. ID는 처음 쓰인 프록시 유저, 네트워크, 타게팅 파라미터 조합 안에서만 유효합니다. 그래서 다음과 같이 동작합니다.

  • 프록시 유저가 다르면 같은 ID라도 별개의 세션입니다.
  • 같은 ID라도 타게팅 파라미터가 하나라도 바뀌면 새 세션이 시작됩니다. 고정해 둔 IP가 새 조건에 맞지 않을 수 있기 때문입니다.
  • ID가 다르면 출구 IP를 각각 따로 고르지만, 같은 출구 IP가 배정될 수도 있습니다. 할당된 IP 안에서만 고르는 ISP·데이터센터에서는 특히 그렇습니다. 병렬 워커를 분산하려면 워커마다 고유한 ID를 주세요.
# 독립적으로 동작하는 세션 두 개
k7f3q2-acme-country-kr-session-worker1
k7f3q2-acme-country-kr-session-worker2

세션 수 자체에는 제한이 없지만, 세션으로 여는 연결은 연결 수 제한에 포함됩니다(오류의 429 참고). 세션에 따로 요금이 붙지는 않습니다.

IP가 끊어졌을 때

세션에 묶인 업스트림이 운영에서 빠지거나 새 연결에 실패하면, 게이트웨이는 같은 타게팅에 맞는 다른 업스트림에 세션을 다시 고정하고(만료 시각은 그대로), 실패한 연결은 그곳에서 한 번 재시도합니다. 그 뒤로 세션은 직전과 다른 주소에서 나갑니다. 데이터를 주고받던 중에 끊긴 연결은 재시도하지 않습니다.

대부분의 작업에서는 문제가 되지 않습니다. 다만 로그인 상태로 진행하는 작업이라면, 사이트가 바뀐 주소를 새 방문자로 판단해 다시 로그인을 요구할 수 있습니다. 이 점이 중요하다면 다음을 권합니다.

  • 세션 중간에 로그인 창이 뜨거나 쿠키가 초기화되면, 새 세션 ID로 바꿔서 다시 로그인하세요. 집 인터넷이 잠깐 끊겼을 때 다시 로그인하는 것과 같습니다.
  • 세션은 짧게 유지하세요. IP를 오래 잡고 있을수록 그 IP가 끊어질 가능성도 커집니다.
  • 상태가 이어져야 하는 부분은 계정에 계속 할당되는 ISP·데이터센터 IP로 옮기고, 세션 ID로 그중 하나를 유지하세요.

쓰지 않는 세션은 일찍 해제될 수도 있습니다. 5분 동안 연결이 없던 ID는 IP를 계속 잡아 두지 않으며, 그 뒤에 같은 ID를 다시 쓰면 새 세션처럼 동작합니다.