기본 콘텐츠로 건너뛰기

socketcluster tutorial - 10. 복수 호스트 확장 (Scaling across multiple hosts)

복수 호스트 확장


SocketCluster를 사용하면 수직적(시스템/호스트의 여러 CPU 코어에 걸쳐)으로 수평적으로(여러 호스트에 걸쳐) 확장할 수 있습니다. 수평으로 확장하려면 SCC(권장)를 사용하거나 처음부터 직접 솔루션을 구현할 수 있습니다. SCC를 사용하는 경우 SC가 시스템에서 채널 데이터를 동기화하는 방법에 대한 구현 세부 정보를 배울 필요가 없습니다.

SCC

SCC는 2016 년 9 월에 도입되었습니다. SC는 여러 호스트에서 SC를 확장하기 위한 컴포넌트 모음입니다.

SCC는 설치가 쉬우며 뒤에서 일어나는 일에 대해 많이 알 필요 없이 수평적 확장성을 제공합니다. Kubernetes위에 SCC를 실행하면 위아래로 스케일 업이 자동으로 처리됩니다. SCC 사용에 대한 전체 안내서는 여기에 있습니다. SCC를 사용하는 경우 '수동으로 크기 조정'에 대한 아래 섹션을 읽을 필요가 없습니다.

수동으로 크기 조정

수평적 확장의 목표는 최적의 방법으로 트래픽을 모든 사용 가능한 시스템에 분산하는 것입니다. SocketCluster의 컨텍스트에서 수평 확장은 두 가지 특정 문제로 귀결됩니다.

  1. 들어오는 클라이언트 연결을 보낼 호스트를 어떻게 선택합니까?
  2. 한 클라이언트가 채널에 데이터를 게시할 때 다른 호스트의 해당 채널에 가입 한 다른 클라이언트가 채널 데이터를 실시간으로 수신하는지 어떻게 확인할 수 있습니까?
첫 번째 과제에 접근하는 데는 여러 가지 방법이 있습니다. 예를 들면 다음과 같습니다.

무작위로 호스트 URL을 선택하고 클라이언트 소켓의 connect() 메서드에 옵션으로 전달하여 각 클라이언트를 호스트 중 하나에 직접 보낼 수 있습니다.
로드 밸런서를 사용하여 들어오는 연결을 대상 호스트에 고르게 분산할 수 있습니다. 타사 서비스를 사용할 수도 있고 직접 설정할 수도 있습니다. SocketCuster v1.xx를 사용하는 경우 sticky로드 밸런서(예 : IP 주소 기반의 Sticky)를 사용해야 합니다. - 버전 v2.0.0 이상에서는 사용하지 않아도 됩니다. (이는 우리가 stateful HTTP 폴링 지원하지 않는 이유입니다). 사용하는 로드 밸런서는 WebSocket을 지원해야 합니다. HAProxy와 NGINX의 새로운 버전을 사용하세요. SC와 함께 작동하도록 설정하고 최적화하기 쉬운 것으로 LoadBalancer.js도 있습니다.

서로 다른 컴퓨터에 연결된 클라이언트가 동일한 pub/sub 채널을 공유할 수 있게 하려면 실시간으로 별도의 SocketCluster 인스턴스 (호스트) 간에 채널을 동기화하는 효율적인 방법이 필요합니다. 이를 위해 SocketCluster는 brokerController 파일 (broker.js)에 Broker 객체를 제공하여 이를 정확히 수행 할 수 있습니다. SocketCluster는 인스턴스 채널을 동기화할 수 있는 인터페이스만 제공합니다. 이 기술을 구현하기 위해 어떤 기술/구현을 사용하든 상관하지 않습니다. pub/sub를 지원하고 분산 클러스터로 실행할 수 있는 한 MQTT(예 : Mosquitto), AMQP (예 : RabbitMQ), ZeroMQ 및 Redis가 모두 가능한 옵션입니다. 이러한 서비스를 설정하는 방법에 대한 자세한 내용은 이 가이드의 범위를 벗어납니다. 이러한 기술/프로토콜 중 일부를 읽거나 서드파티 서비스를 사용해야 합니다.

여러 대의 머신으로 확장할 수 있는 작업/서브 클러스터가 있다고 가정하면 SC 인스턴스/머신 간의 실제 동기화는 매우 간단합니다 - SocketCluster의 브로커 프로세스를 통해 수행할 수 있습니다 - 자세한 정보는 Broker API의 이벤트 섹션을 읽으십시오. 결과적으로 MQ 서비스는 SocketCluster 인스턴스 간의 연결 고리처럼 작동합니다. 또한 외부 서비스가 SocketCluser 채널과 동일한 시스템의 일부인 것처럼 상호 작용할 수 있습니다.

분산 MQ 서비스를 실행한 후에는 원하는 클라이언트를 사용하여 브로커 프로세스와 메시지 대기열 서비스 간의 이벤트를 릴레이 하면 됩니다. 설정은 간단합니다.

  1. 브로커 인스턴스에서 'subscribe'이벤트가 발생하면 MQ 클라이언트에서 MQ 서비스의 해당 채널을 구독해야 합니다.
  2. 브로커가 '구독 취소'이벤트를 발생하면 MQ 서비스에서 해당 채널의 구독을 취소해야 합니다.
  3. MQ 클라이언트에서 일부 채널 데이터를 수신할 때마다 broker.publish(channelName, data)를 호출합니다.

'subscribe'및 'unsubscribe'이벤트는 개별 클라이언트 소켓에 대해 트리거 되지 않습니다. 이는 워커 프로세스에 의해 시작됩니다. 작업자는 언제 브로커에 구독/탈퇴해야 하는지 선택합니다. '구독'이벤트가 발생하면 현재 브로커가 해당 채널에 대한 책임이 있습니다. '탈퇴'이벤트는 이 브로커가 더 이상이 채널에 책임이 없음을 나타냅니다.

SC 인스턴스에는 각각 여러 브로커 프로세스가 있을 수 있습니다. 이 경우 각 브로커는 최종 클라이언트에서 사용하는 모든 채널의 하위 집합을 담당합니다. 어댑터를 작성할 때 모든 채널이 동일한 브로커를 통과한다고 절대 가정해서는 안됩니다.

마지막 고려 사항으로 대기 시간을 최소화하기 위해 SC 인스턴스 (또는 가능하면 동일한 데이터 센터 내부)와 가까운 곳에 MQ 서비스를 배포하는 것이 가장 좋습니다.

Videos by Nick Kotenberg

017 NodeJS Socketcluster Horizontal Scaling
018 NodeJS Socketcluster Horizontal Scaling with Loadbalancer

이 블로그의 인기 게시물

ESP32 DevBoard 개봉기

오늘 드디어 손에 넣었다. ESP32 DevBoard!
Adafruit 에서 15개 한정 재입고 트윗을 보고 광속 결제.
그리고 1주일의 기다림. 사랑해요 USPS <3
알리를 이용하다보니 1주일 정도는 광속 배송임.
물론 배송비도 무자비함 -_ㅜ
15개 한정판 adafruit 발 dev board
그놈이 틀림없으렸다.
오오 강려크한 포스
ESP32_Core_board_V2라고 적혀있군요.
ESP32 맞구요. 네네. ESP32-D0WDQ6 라고 써있는데 D → Dual-core 0 → No internal flash W → Wi-Fi D → Dual-mode Bluetooth Q → Quad Flat No-leads (QFN) package 6 → 6 mm × 6 mm package body size 라고 함.
길이는 이정도
모듈크기는 이정도
코어는 6mm밖에 안해! 여기에 전기만 넣으면 BLE+WIFI!
밑에 크고 발 8개 달린 놈은 FM25Q32라고 32Mbit 플래시메모리
ESP8266 DevBoard 동생이랑 비교 크고 아름다운 레귤레이터랑 CP2102 USB Driver가 붙어있음.
ESP8266 DevBoard엔 CH340G 인데 확 작아졌네.
머리를 맞대어 보았음.
모듈크기는 아주 약간 ESP32가 더 큰데 워낙에 핀이 많고 촘촘함. ESP8266인 ESP12는 핀 간격이 2.00mm인데 비해
ESP32는 1.27mm 밖에 안함.
딱봐도 비교가 될 정도.
https://www.sparkfun.com/news/2017 크고 아름다운 Pinouts

ESP8266 보드랑 별로 안달라보인다.
http://www.silabs.com/products/mcu/pages/usbtouartbridgevcpdrivers.aspx#mac
에서 CP2102 드라이버를 설치하고
screen 으로 연결해보자.
내 경우엔 tty.SLAB_USBtoUART 로 잡혔다.
어디서 기본 속도가 115200bps 라고 들은 적이 있어서
screen /dev/tty.SLAB_USBtoUART …

즐거운 Online Prototyping Tool 들

jsbin, codepen, jsfiddle 이런 것들은 일단 생략. 너무 유명한 것들이라.

https://launchpad.graphql.com - node.js 기반 graphQL 연습장. 이것만으로도 충분히 훌륭한 백엔드
https://codesandbox.io/ npm 사용이 가능한 클라이언트 사이드 연습장. webpackbin이 너무 문제가 많아서 찾아본 것.

https://scrimba.com 이건 codesandbox+ asciinema(https://asciinema.org/) 같은 느낌인데 키 녹화와 음성 녹화 기능이 추가되었다. 다 좋은데 화살표 키로 빨리감기 뒤로감기 기능이 안되고 익스포트(youtube등)으로 지원이 없는게 아쉽다.

이 둘이 만나면? https://codesandbox.io/s/jvlrl98xw3?from-embed
뭐야 이거 무서워 하지마 ㄷㄷ;  graphql+react-native-web(부왘ㅋㅋ)

https://repl.it/languages 전통을 자랑하는 REPL 도구. 지원 언어 종류가 -_-;;;;;

https://tio.run/# repl.it? 장난함? 얘는 지원 언어가 무려 386종류. J랑 아희도 있다.

https://play.golang.org/ 즐거운 go playground. 소스 포멧팅 넘 좋아.

http://decaffeinate-project.org/repl/ 최고의 coffeescript REPL. 원래 용도는 coffee를 ecma6코드로 바꾸는 것이지만...

https://scaphold.io
https://www.graph.cool/ graphql backend service. scaphold.io는 설치도 필요없는 클라우드. graphcool은 호스팅+클라우드 다있음. 둘 다 막상막하. 푸쉬서버도 되고 뭐 미친득.

https://glitch.com/ gomix에서 결국 glitch로 안착.  node.js

https://www.shadertoy.com 잘하고 싶다! 쉐이다! 오디오도 된다!

http:/…

graphql 연습 /w launchpad

https://launchpad.graphql.com/mw9wkzv99
단순 전체쿼리+조건쿼리+추가

http://graphql.org/graphql-js/passing-arguments/
참고. random ID는 crypto 1.0.1 사용
  type Query {
    Members: [member]
    getMember(id: ID!): member
  }
  type member {
    id: ID!
    text: String
  }
  input memberInput {
    text: String
  }
  type Mutation {
    addMember(member: memberInput): member
  } SQL 정의. facebook 쪽은 스트링에 지지는 거 진짜 좋아하네. *.gql 파일이 있다고 하니 이해해주자.
resolver는 var buffer = [];
const resolvers = {
  Query: {
    Members: (root, args, context) => {
      return buffer;
    },
    getMember: (id)=> {
      return buffer.find(o=>o.id)
    }
  },
  Mutation: {
    addMember(_, {member}) {
      const mm = { ...member, id:randomBytes(10).toString('hex') };
      buffer.push(mm);
      return mm;
    }
  }
}; 평범 평범.
https://dev-blog.apollodata.com/tutorial-graphql-subscriptions-server-side-e51c32dc2951 다음으로 pub/sub 연습.
https://launchpad.graphql.com/xvn94n3ql   type Subscription {
    memberAdded: member
  } member가 added되는 순간을 감시. imp…