기본 콘텐츠로 건너뛰기

socketcluster tutorial - 10. 복수 호스트 확장 (Scaling across multiple hosts)

복수 호스트 확장


SocketCluster를 사용하면 수직적(시스템/호스트의 여러 CPU 코어에 걸쳐)으로 수평적으로(여러 호스트에 걸쳐) 확장할 수 있습니다. 수평으로 확장하려면 SCC(권장)를 사용하거나 처음부터 직접 솔루션을 구현할 수 있습니다. SCC를 사용하는 경우 SC가 시스템에서 채널 데이터를 동기화하는 방법에 대한 구현 세부 정보를 배울 필요가 없습니다.

SCC

SCC는 2016 년 9 월에 도입되었습니다. SC는 여러 호스트에서 SC를 확장하기 위한 컴포넌트 모음입니다.

SCC는 설치가 쉬우며 뒤에서 일어나는 일에 대해 많이 알 필요 없이 수평적 확장성을 제공합니다. Kubernetes위에 SCC를 실행하면 위아래로 스케일 업이 자동으로 처리됩니다. SCC 사용에 대한 전체 안내서는 여기에 있습니다. SCC를 사용하는 경우 '수동으로 크기 조정'에 대한 아래 섹션을 읽을 필요가 없습니다.

수동으로 크기 조정

수평적 확장의 목표는 최적의 방법으로 트래픽을 모든 사용 가능한 시스템에 분산하는 것입니다. SocketCluster의 컨텍스트에서 수평 확장은 두 가지 특정 문제로 귀결됩니다.

  1. 들어오는 클라이언트 연결을 보낼 호스트를 어떻게 선택합니까?
  2. 한 클라이언트가 채널에 데이터를 게시할 때 다른 호스트의 해당 채널에 가입 한 다른 클라이언트가 채널 데이터를 실시간으로 수신하는지 어떻게 확인할 수 있습니까?
첫 번째 과제에 접근하는 데는 여러 가지 방법이 있습니다. 예를 들면 다음과 같습니다.

무작위로 호스트 URL을 선택하고 클라이언트 소켓의 connect() 메서드에 옵션으로 전달하여 각 클라이언트를 호스트 중 하나에 직접 보낼 수 있습니다.
로드 밸런서를 사용하여 들어오는 연결을 대상 호스트에 고르게 분산할 수 있습니다. 타사 서비스를 사용할 수도 있고 직접 설정할 수도 있습니다. SocketCuster v1.xx를 사용하는 경우 sticky로드 밸런서(예 : IP 주소 기반의 Sticky)를 사용해야 합니다. - 버전 v2.0.0 이상에서는 사용하지 않아도 됩니다. (이는 우리가 stateful HTTP 폴링 지원하지 않는 이유입니다). 사용하는 로드 밸런서는 WebSocket을 지원해야 합니다. HAProxy와 NGINX의 새로운 버전을 사용하세요. SC와 함께 작동하도록 설정하고 최적화하기 쉬운 것으로 LoadBalancer.js도 있습니다.

서로 다른 컴퓨터에 연결된 클라이언트가 동일한 pub/sub 채널을 공유할 수 있게 하려면 실시간으로 별도의 SocketCluster 인스턴스 (호스트) 간에 채널을 동기화하는 효율적인 방법이 필요합니다. 이를 위해 SocketCluster는 brokerController 파일 (broker.js)에 Broker 객체를 제공하여 이를 정확히 수행 할 수 있습니다. SocketCluster는 인스턴스 채널을 동기화할 수 있는 인터페이스만 제공합니다. 이 기술을 구현하기 위해 어떤 기술/구현을 사용하든 상관하지 않습니다. pub/sub를 지원하고 분산 클러스터로 실행할 수 있는 한 MQTT(예 : Mosquitto), AMQP (예 : RabbitMQ), ZeroMQ 및 Redis가 모두 가능한 옵션입니다. 이러한 서비스를 설정하는 방법에 대한 자세한 내용은 이 가이드의 범위를 벗어납니다. 이러한 기술/프로토콜 중 일부를 읽거나 서드파티 서비스를 사용해야 합니다.

여러 대의 머신으로 확장할 수 있는 작업/서브 클러스터가 있다고 가정하면 SC 인스턴스/머신 간의 실제 동기화는 매우 간단합니다 - SocketCluster의 브로커 프로세스를 통해 수행할 수 있습니다 - 자세한 정보는 Broker API의 이벤트 섹션을 읽으십시오. 결과적으로 MQ 서비스는 SocketCluster 인스턴스 간의 연결 고리처럼 작동합니다. 또한 외부 서비스가 SocketCluser 채널과 동일한 시스템의 일부인 것처럼 상호 작용할 수 있습니다.

분산 MQ 서비스를 실행한 후에는 원하는 클라이언트를 사용하여 브로커 프로세스와 메시지 대기열 서비스 간의 이벤트를 릴레이 하면 됩니다. 설정은 간단합니다.

  1. 브로커 인스턴스에서 'subscribe'이벤트가 발생하면 MQ 클라이언트에서 MQ 서비스의 해당 채널을 구독해야 합니다.
  2. 브로커가 '구독 취소'이벤트를 발생하면 MQ 서비스에서 해당 채널의 구독을 취소해야 합니다.
  3. MQ 클라이언트에서 일부 채널 데이터를 수신할 때마다 broker.publish(channelName, data)를 호출합니다.

'subscribe'및 'unsubscribe'이벤트는 개별 클라이언트 소켓에 대해 트리거 되지 않습니다. 이는 워커 프로세스에 의해 시작됩니다. 작업자는 언제 브로커에 구독/탈퇴해야 하는지 선택합니다. '구독'이벤트가 발생하면 현재 브로커가 해당 채널에 대한 책임이 있습니다. '탈퇴'이벤트는 이 브로커가 더 이상이 채널에 책임이 없음을 나타냅니다.

SC 인스턴스에는 각각 여러 브로커 프로세스가 있을 수 있습니다. 이 경우 각 브로커는 최종 클라이언트에서 사용하는 모든 채널의 하위 집합을 담당합니다. 어댑터를 작성할 때 모든 채널이 동일한 브로커를 통과한다고 절대 가정해서는 안됩니다.

마지막 고려 사항으로 대기 시간을 최소화하기 위해 SC 인스턴스 (또는 가능하면 동일한 데이터 센터 내부)와 가까운 곳에 MQ 서비스를 배포하는 것이 가장 좋습니다.

Videos by Nick Kotenberg

017 NodeJS Socketcluster Horizontal Scaling
018 NodeJS Socketcluster Horizontal Scaling with Loadbalancer

이 블로그의 인기 게시물

vulcanJS - 10. Posts Update/Delete

마지막으로 수정과 삭제를 구현해보면 목록 조회(List), 상세 조회, 쓰기, 수정, 삭제까지 모든 필요한 요소를 아우를 수 있을 것이다.
감이 좋은 분들은 눈치 챘을지도 모르겠지만 사실 수정이란 건 UI면에서 볼때 이미 양식이 채워져있는 신규 쓰기와 별반 다르지 않다.

먼저 해야할 것은 역시나 Component를 만드는 일이다.
$ vulcan g component
? Package name spectrum-simplebb
? Component name PostsEditComponent
? Component type Class Component
? Register component Yes
   create packages/spectrum-simplebb/lib/components/PostsEditComponent.jsx
 conflict packages/spectrum-simplebb/lib/components/index.js
? Overwrite packages/spectrum-simplebb/lib/components/index.js? overwrite
    force packages/spectrum-simplebb/lib/components/index.js PostsEditComponent를 만들었다.
route도 만들자. /posts/edit/:id 이렇게 경로를 만들면 좋겠다. 그러고보니 이전 글에서 만든 상세보기도 /posts/view/:id 형식으로 만들껄 그랬다.
$ vulcan g route
? Package name spectrum-simplebb
? Route name postsEdit
? Route path /posts/edit/:_id
? Component name PostsEditComponent
? Layout name
 conflict packages/spectrum-simplebb/lib/modules/routes.js
? Overwrite packages/spectrum-simplebb/lib/modules/routes.js? overwrite
   …

VulcanJS 특징 번역

VulcanJS 특징http://docs.vulcanjs.org/features.html 의 내용입니다. GraphQL 스키마 생성 Vulcan은 SimpleSchema JSON 스키마를 기반으로 컬렉션의 GraphQL 스키마를 자동으로 생성합니다.
이렇게하면 두 가지 형식으로 스키마를 두 번 지정할 필요가 없습니다. 이 기능은 완전히 선택적이며 필요에 따라 수동으로 스키마를 지정할 수도 있습니다.

자동 생성 폼 Vulcan은 스키마를 사용하여 클라이언트 측 폼을 생성하고 적절한 Apollo Mutation을 통해 제출을 처리합니다.
예를 들어 하나의 동영상을 편집하기위한 양식을 표시하는 방법은 다음과 같습니다.
<VulcanForm
  collection={Movies}
  documentId={props.documentId}
  queryName="moviesListQuery"
  showRemove={true}
/> queryName 옵션은 작업이 완료되면 자동으로 업데이트되는 쿼리를 VulcanForm에 통지하는 한편, showRemove 옵션은 "Delete Movie' 버튼을 폼에 추가합니다.
VulcanForm 클라이언트 저장소에 아직 로드되지 않은 경우 수정할 문서를 읽어오기도 합니다.

쉬운 데이터 적재 Vulcan에는 Apollo 데이터를 쉽게 로드할 수 있도록 데이터 로딩 헬퍼 세트로 withList (복수 문서용)와 withDocument (단일 문서용)를 제공합니다.
예를 들어, withList를 사용하여 MoviesList 구성 요소에 모든 동영상을 포함하는 결과를 prop에 전달하는 방법은 다음과 같습니다.
const listOptions = {
  collection: Movies,
  queryName: 'moviesListQuery',
  fragment: fragment,
};
export default withList(listOptions)(MoviesList); …

vulcanJS - 1. vulcan-cli 설치하고 프로젝트 만들기

vulcanJS를 학습하면서 알아낸 점을 기록하는 의미의 튜토리얼을 써본다.

Telescope도 그랬지만 forum 형태의 예제에서 embedly를 사용하는 URL 요소가 글에 들어가는 점이나 일반인들에게는 익숙하지 않은 Markdown 문법 등을 걷어내고 최소형태에서부터 접근해야할 필요성을 느껴서 단순 post만 목록 열람하고 읽고 쓰는 구현을 해보기로 했다.

먼저, vulcanJS를 github를 통해 clone 하고 meteor create --package를 통해 만들수도 있지만 Vulcan-Cli(https://github.com/VulcanJS/vulcanjs-cli)가 있어서 이걸 일단 사용해보기로 한다.

대충 내용을 읽어보니 Rails 생각이 나기도 하고 재밌어 보인다.
npm install -g vulcanjs-cli 혹은 meteor 에서만 한다면
meteor npm install -g vulcanjs-cli 이런 식으로 설치하고 쓰면 된다.
npm 에 global로 설치한 첫번째 경우 기준으로 진행해보겠다.
설치하고 난 뒤 vulcan 을 실행해보면
$ vulcan
vulcan usage:
Synopsis
  vulcan <action> <object> <...>
    <action>   Operation to perform
    <object>   Asset type (contextual to action)
    <...>      Parameters. If not provided, interactively entered
Project initialisation
  vulcan create <appName>
  vulcan init <appName>
Assets creation
  vulcan (generate|g) package <packageName>
  vulcan (generate|g) model <packageName>…