2016년 12월 12일 월요일

socketcluster tutorial - 10. 복수 호스트 확장 (Scaling across multiple hosts)

복수 호스트 확장


SocketCluster를 사용하면 수직적(시스템/호스트의 여러 CPU 코어에 걸쳐)으로 수평적으로(여러 호스트에 걸쳐) 확장할 수 있습니다. 수평으로 확장하려면 SCC(권장)를 사용하거나 처음부터 직접 솔루션을 구현할 수 있습니다. SCC를 사용하는 경우 SC가 시스템에서 채널 데이터를 동기화하는 방법에 대한 구현 세부 정보를 배울 필요가 없습니다.

SCC

SCC는 2016 년 9 월에 도입되었습니다. SC는 여러 호스트에서 SC를 확장하기 위한 컴포넌트 모음입니다.

SCC는 설치가 쉬우며 뒤에서 일어나는 일에 대해 많이 알 필요 없이 수평적 확장성을 제공합니다. Kubernetes위에 SCC를 실행하면 위아래로 스케일 업이 자동으로 처리됩니다. SCC 사용에 대한 전체 안내서는 여기에 있습니다. SCC를 사용하는 경우 '수동으로 크기 조정'에 대한 아래 섹션을 읽을 필요가 없습니다.

수동으로 크기 조정

수평적 확장의 목표는 최적의 방법으로 트래픽을 모든 사용 가능한 시스템에 분산하는 것입니다. SocketCluster의 컨텍스트에서 수평 확장은 두 가지 특정 문제로 귀결됩니다.

  1. 들어오는 클라이언트 연결을 보낼 호스트를 어떻게 선택합니까?
  2. 한 클라이언트가 채널에 데이터를 게시할 때 다른 호스트의 해당 채널에 가입 한 다른 클라이언트가 채널 데이터를 실시간으로 수신하는지 어떻게 확인할 수 있습니까?
첫 번째 과제에 접근하는 데는 여러 가지 방법이 있습니다. 예를 들면 다음과 같습니다.

무작위로 호스트 URL을 선택하고 클라이언트 소켓의 connect() 메서드에 옵션으로 전달하여 각 클라이언트를 호스트 중 하나에 직접 보낼 수 있습니다.
로드 밸런서를 사용하여 들어오는 연결을 대상 호스트에 고르게 분산할 수 있습니다. 타사 서비스를 사용할 수도 있고 직접 설정할 수도 있습니다. SocketCuster v1.xx를 사용하는 경우 sticky로드 밸런서(예 : IP 주소 기반의 Sticky)를 사용해야 합니다. - 버전 v2.0.0 이상에서는 사용하지 않아도 됩니다. (이는 우리가 stateful HTTP 폴링 지원하지 않는 이유입니다). 사용하는 로드 밸런서는 WebSocket을 지원해야 합니다. HAProxy와 NGINX의 새로운 버전을 사용하세요. SC와 함께 작동하도록 설정하고 최적화하기 쉬운 것으로 LoadBalancer.js도 있습니다.

서로 다른 컴퓨터에 연결된 클라이언트가 동일한 pub/sub 채널을 공유할 수 있게 하려면 실시간으로 별도의 SocketCluster 인스턴스 (호스트) 간에 채널을 동기화하는 효율적인 방법이 필요합니다. 이를 위해 SocketCluster는 brokerController 파일 (broker.js)에 Broker 객체를 제공하여 이를 정확히 수행 할 수 있습니다. SocketCluster는 인스턴스 채널을 동기화할 수 있는 인터페이스만 제공합니다. 이 기술을 구현하기 위해 어떤 기술/구현을 사용하든 상관하지 않습니다. pub/sub를 지원하고 분산 클러스터로 실행할 수 있는 한 MQTT(예 : Mosquitto), AMQP (예 : RabbitMQ), ZeroMQ 및 Redis가 모두 가능한 옵션입니다. 이러한 서비스를 설정하는 방법에 대한 자세한 내용은 이 가이드의 범위를 벗어납니다. 이러한 기술/프로토콜 중 일부를 읽거나 서드파티 서비스를 사용해야 합니다.

여러 대의 머신으로 확장할 수 있는 작업/서브 클러스터가 있다고 가정하면 SC 인스턴스/머신 간의 실제 동기화는 매우 간단합니다 - SocketCluster의 브로커 프로세스를 통해 수행할 수 있습니다 - 자세한 정보는 Broker API의 이벤트 섹션을 읽으십시오. 결과적으로 MQ 서비스는 SocketCluster 인스턴스 간의 연결 고리처럼 작동합니다. 또한 외부 서비스가 SocketCluser 채널과 동일한 시스템의 일부인 것처럼 상호 작용할 수 있습니다.

분산 MQ 서비스를 실행한 후에는 원하는 클라이언트를 사용하여 브로커 프로세스와 메시지 대기열 서비스 간의 이벤트를 릴레이 하면 됩니다. 설정은 간단합니다.

  1. 브로커 인스턴스에서 'subscribe'이벤트가 발생하면 MQ 클라이언트에서 MQ 서비스의 해당 채널을 구독해야 합니다.
  2. 브로커가 '구독 취소'이벤트를 발생하면 MQ 서비스에서 해당 채널의 구독을 취소해야 합니다.
  3. MQ 클라이언트에서 일부 채널 데이터를 수신할 때마다 broker.publish(channelName, data)를 호출합니다.

'subscribe'및 'unsubscribe'이벤트는 개별 클라이언트 소켓에 대해 트리거 되지 않습니다. 이는 워커 프로세스에 의해 시작됩니다. 작업자는 언제 브로커에 구독/탈퇴해야 하는지 선택합니다. '구독'이벤트가 발생하면 현재 브로커가 해당 채널에 대한 책임이 있습니다. '탈퇴'이벤트는 이 브로커가 더 이상이 채널에 책임이 없음을 나타냅니다.

SC 인스턴스에는 각각 여러 브로커 프로세스가 있을 수 있습니다. 이 경우 각 브로커는 최종 클라이언트에서 사용하는 모든 채널의 하위 집합을 담당합니다. 어댑터를 작성할 때 모든 채널이 동일한 브로커를 통과한다고 절대 가정해서는 안됩니다.

마지막 고려 사항으로 대기 시간을 최소화하기 위해 SC 인스턴스 (또는 가능하면 동일한 데이터 센터 내부)와 가까운 곳에 MQ 서비스를 배포하는 것이 가장 좋습니다.

Videos by Nick Kotenberg

017 NodeJS Socketcluster Horizontal Scaling
018 NodeJS Socketcluster Horizontal Scaling with Loadbalancer