기본 콘텐츠로 건너뛰기

facebook, Google+, Diaspora* 3종 SNS AJAX 메시지 비교

일 관계로 SNS 비슷한 걸 만들고 있는데
데이터 모델을 하기 귀찮은 관계로 남이 한걸 베낄려고 facebook, google+, diaspora 의 XHR을 분석해보고 있다.

1. facebook

역시 예상했던 대로 지저분. entries 라는 객체 밑에 app, group, page, friendlist 등이 마구 혼재
본문 내용은 초기로드시에 
<code class="hidden_elem" id="u33ari_19"><!-- <li>.... --> 이런 형태로 뿌리고 MoreStoriesPagelet 을 통해 Document 요청.
app, group, page, friendlist 같은 건 본문과는 다르게 처리했는데 뭐 닭짓 아닌가? 하긴 원래 글 한번 쓰면 못바꾸는 구조로 처음에 만들어서 별도로 처리한득.

주기적으로 pull 이라는 heartbeat(클라이언트에서 서버찌르기)을 통해 json을 받아옴.

for (;;); {"t":"heartbeat"}
{"t":"heartbeat"}
{"t":"continue","seq":2}

결과값은 이런 형태. 전세계 클라이언트로부터 DDOS 공격을 잘도 버티고 있네 ㅎㅎ

2. Google+

얘들은 성능을 위해 json 데이터 구조를 사용하지 않는다.
그럼 어떻게 하냐고?
)]}'
[[["f.ri","12015082395849449"]
,["ghr",[]
]
,["di",136,,,,,[]
,[]
,,,[]
,[]
,[]
]
,["e",4,,,125]
]]
이런식의 중첩 배열을 사용한다.
마치 C Struct로 만든 전문통신을 보는 느낌인데 데이터를 본다고 알수 있는 구조가 아니다.
물론 주고 받는 쪽에서야 몇번째는 무엇이라고 약속을 해놓아서 알고 있겠지만서도.
오버헤드가 작으니 빠르겠지.
가끔 bind 라는 요청을 보내긴 하는데 talkgadget 즉 Google talk 용이라서 실제 갱신은 facebook 처럼 heartbeat을 쏘는 구조는 아닌 듯. 아니면 일타쌍피로 같이 해결하는 건가?

3. Diaspora*

가장 알기 쉬운 구조. 실은 다 이걸 쓰기 위해 던진 떡밥임.
간단하다. stream이란 이름의 request에 인자를 사용자 id를 줘서 요청했고
https://joindiaspora.com/stream?_=<숫자형태사용자ID>

response 를 보면 정직하게 Array + JSON 형태의 게시글을 다루고 있다.
그냥 데이터만 보면 딱 답이 나옴. 아예 복붙해본다.

[{
    "id": 1850060,
    "guid": "1660cffb68109543",
    "text": "#Sculpture #Scary #Skeleton #Spider <br><br> <br> [ ![Image](http://25.media.tumblr.com/tumblr_m82nycuJDe1qehyxro1_500.jpg) ](http://ur1.ca/9wq7m) <br>Shen Shaomin - Unknown Creature No.12 <br>",
    "public": true,
    "created_at": "2012-08-07T14:00:43Z",
    "interacted_at": "2012-08-07T14:21:57Z",
    "provider_display_name": null,
    "post_type": "Reshare",
    "image_url": null,
    "object_url": null,
    "favorite": false,
    "nsfw": false,
    "author": {
        "id": 25477,
        "guid": "4d1168bc2c1743390f000930",
        "name": "\u4e97 Dr. Emporio Efikz \u4e97",
        "diaspora_id": "emporioefikz@joindiaspora.com",
        "avatar": {
            "small": "https://joindiaspora.s3.amazonaws.com/uploads/images/thumb_small_20a5e6ffea75e8195608.gif",
            "medium": "https://joindiaspora.s3.amazonaws.com/uploads/images/thumb_medium_20a5e6ffea75e8195608.gif",
            "large": "https://joindiaspora.s3.amazonaws.com/uploads/images/thumb_large_20a5e6ffea75e8195608.gif"
        }
    },
    "o_embed_cache": null,
    "mentioned_people": [],
    "photos": [],
    "frame_name": "status",
    "root": {
        "id": 1850022,
        "guid": "724c602e8ca31f97",
        "text": "#Sculpture #Scary #Skeleton #Spider <br><br> <br> [ ![Image](http://25.media.tumblr.com/tumblr_m82nycuJDe1qehyxro1_500.jpg) ](http://ur1.ca/9wq7m) <br>Shen Shaomin - Unknown Creature No.12 <br>",
        "public": true,
        "created_at": "2012-08-07T13:37:31Z",
        "interacted_at": "2012-08-07T14:18:11Z",
        "provider_display_name": null,
        "post_type": "StatusMessage",
        "image_url": null,
        "object_url": null,
        "favorite": false,
        "nsfw": false,
        "author": {
            "id": 25741,
            "guid": "4d11bd252c174338f2002a4c",
            "name": "\u24b6\u24c5\u24c4\u24c1\u24c4\u24c3\u24be\u24c8 \u2301 \u24b6\u24c5\u24bd\u24c7\u24c4\u24b9\u24be\u24c8\u24be\u24b6",
            "diaspora_id": "apolonisaphrodisia@joindiaspora.com",
            "avatar": {
                "small": "https://joindiaspora.s3.amazonaws.com/uploads/images/thumb_small_8105711c49253702d494.jpg",
                "medium": "https://joindiaspora.s3.amazonaws.com/uploads/images/thumb_medium_8105711c49253702d494.jpg",
                "large": "https://joindiaspora.s3.amazonaws.com/uploads/images/thumb_large_8105711c49253702d494.jpg"
            }
        },
        "o_embed_cache": null,
        "mentioned_people": [],
        "photos": [],
        "frame_name": "status",
        "root": null,
        "title": "#Sculpture #Scary #Skeleton #Spider <br><br> <br> [ ![Image](http://25.media.tumblr.com/tumblr_m82nycuJDe1qehyxro1_500.jpg) ](http://ur1.ca/9wq7m) <br>Shen Shaomin - Unknown Creature No.12 <br>",
        "next_post": "/posts/1850022/next",
        "previous_post": "/posts/1850022/previous",
        "interactions": {
            "likes": [],
            "reshares": [],
            "comments_count": 1,
            "likes_count": 4,
            "reshares_count": 2
        }
    },
    "title": "\u4e97 Dr. Emporio Efikz \u4e97\ub2d8\uc758 \uac8c\uc2dc\ubb3c",
    "next_post": "/posts/1850060/next",
    "previous_post": "/posts/1850060/previous",
    "interactions": {
        "likes": [],
        "reshares": [],
        "comments_count": 0,
        "likes_count": 3,
        "reshares_count": 1,
        "comments": []
    }
},
....

길지만 알기쉬운 구조. 공부가 되네.
좀 독특한 건 ping 이라는 request 를 보내는데 response 가 없다.
facebook 처럼 document도 google+처럼 다중배열도 아니다.
게다가 심지어 같은 도메인도 아니다;;
내용을 보니 https://ping.chartbeat.net 쪽으로 찌르는데 http://chartbeat.com/ 이라는 서비스가 있나보다.
실시간 트래픽 분석/통계 관리를 해주는 곳인데 상당히 깔끔. 오호 google analytics 의 실시간 버전 느낌.

자 3줄 요약
1. facebook 은 게시글을 document 로 요청. 나머지는 죄다 JSON 형태의 ajax 요청
2. Google+ 는 게시글을 ajax로 요청. 단 다중배열 [[,,],,,] 형태로 보내줌
3. Diaspora* 는 ajax 에 JSON 형태로 요청. 셋중 가장 읽을 수 있는 형태의 자료 구조를 가지고 있음.

댓글

댓글 쓰기

이 블로그의 인기 게시물

cURL로 cookie를 다루는 법

http://stackoverflow.com/questions/22252226/passport-local-strategy-and-curl 레거시 소스를 보다보면 인증 관련해서 cookie를 사용하는 경우가 있는데 가령 REST 서버인 경우 curl -H "Content-Type: application/json" -X POST -d '{"email": "aaa@bbb.com", "pw": "cccc"}' "http://localhost/login" 이렇게 로그인이 성공이 했더라도 curl -H "Content-Type: application/json" -X GET -d '' "http://localhost/accounts/" 이런 식으로 했을 때 쿠키를 사용한다면 당연히 인증 오류가 날 것이다. curl의 --cookie-jar 와 --cookie 옵션을 사용해서 cookie를 저장하고 꺼내쓰자. 각각 옵션 뒤엔 저장하고 꺼내쓸 파일이름을 임의로 지정하면 된다. 위의 과정을 다시 수정해서 적용하면 curl -H --cookie-jar jarfile "Content-Type: application/json" -X POST -d '{"email": "aaa@bbb.com", "pw": "cccc"}' "http://localhost/login" curl -H --cookie jarfile "Content-Type: application/json" -X GET -d '' "http://localhost/accounts/" 이렇게 사용하면
댓글 쓰기
자세한 내용 보기

MQTT 접속해제 - LWT(Last will and testament)

통신에서 중요하지만 구현이 까다로운 문제로 "상대방이 예상치 못한 상황으로 인하여 접속이 끊어졌을때"의 처리가 있다. 이것이 까다로운 이유는 상대방이 의도적으로 접속을 종료한 경우는 접속 종료 직전에 자신의 종료 여부를 알리고 나갈 수 있지만 프로그램 오류/네트웍 연결 강제 종료와 같은 의도치 않은 상황에선 자신의 종료를 알릴 수 있는 방법 자체가 없기 때문이다. 그래서 전통적 방식으로는 자신의 생존 여부를 계속 ping을 통해 서버가 물어보고 timeout 시간안에 pong이 안올 경우 서버에서 접속 종료를 인식하는 번거로운 방식을 취하는데 MQTT의 경우 subscribe 시점에서 자신이 접속 종료가 되었을 때 특정 topic으로 지정한 메시지를 보내도록 미리 설정할 수 있다. 이를 LWT(Last will and testament) 라고 한다. 선언을 먼저하고 브로커가 처리하게 하는 방식인 것이다. Last Will And Testament 라는 말 자체도 흥미롭다. 법률용어인데  http://www.investopedia.com/terms/l/last-will-and-testament.asp 대략 내가 죽으면 뒷산 xx평은 작은 아들에게 물려주고 어쩌고 하는 상속 문서 같은 내용이다. 즉, 내가 죽었을(연결이 끊어졌을) 때에 변호사(MQTT Broker - ex. mosquitto/mosca/rabbitMQ등)로 하여금 나의 유언(메시지)를 상속자(해당 토픽에 가입한 subscriber)에게 전달한다라는 의미가 된다. MQTT Client 가 있다면 한번 실습해보자. 여러가지가 있겠지만 다른 글에서처럼  https://www.npmjs.com/package/mqtt  을 사용하도록 한다. npm install mqtt --save 로 설치해도 되고 내 경우는 자주 사용하는 편이어서 npm install -g mqtt 로 전역설치를 했다. 호스트는 무료 제공하고 있는 test.mosquitto.org 를
댓글 쓰기
자세한 내용 보기

MQTT Broker Mosquitto 설치 후 설정

우분투 기준 $ sudo apt-add-repository ppa:mosquitto-dev/mosquitto-ppa $ sudo apt-get update 하고 $ sudo apt-get install mosquitto 으로 설치하면 서비스까지 착실하게 올라간다. 설치는 간단한데 사용자를 만들어야한다. /etc/mosquitto/mosquitto.conf 파일에서 권한 설정을 변경하자. allow_anonymous false 를 추가해서 아무나 못들어오게 하자. $ service mosquitto restart 서비스를 재시작. 이제 사용자를 추가하자. mosquitto_passwd <암호파일 경로명> <사용자명> 하면 쉽게 만들 수 있다. # mosquitto_passwd /etc/mosquitto/passwd admin Password:  Reenter password:  암호 넣어준다. 두번 넣어준다. 이제 MQTT 약을 열심히 팔아서 Broker 사글세방 임대업을 하자.
댓글 쓰기
자세한 내용 보기