기본 콘텐츠로 건너뛰기

facebook, Google+, Diaspora* 3종 SNS AJAX 메시지 비교

일 관계로 SNS 비슷한 걸 만들고 있는데
데이터 모델을 하기 귀찮은 관계로 남이 한걸 베낄려고 facebook, google+, diaspora 의 XHR을 분석해보고 있다.

1. facebook

역시 예상했던 대로 지저분. entries 라는 객체 밑에 app, group, page, friendlist 등이 마구 혼재
본문 내용은 초기로드시에 
<code class="hidden_elem" id="u33ari_19"><!-- <li>.... --> 이런 형태로 뿌리고 MoreStoriesPagelet 을 통해 Document 요청.
app, group, page, friendlist 같은 건 본문과는 다르게 처리했는데 뭐 닭짓 아닌가? 하긴 원래 글 한번 쓰면 못바꾸는 구조로 처음에 만들어서 별도로 처리한득.

주기적으로 pull 이라는 heartbeat(클라이언트에서 서버찌르기)을 통해 json을 받아옴.

for (;;); {"t":"heartbeat"}
{"t":"heartbeat"}
{"t":"continue","seq":2}

결과값은 이런 형태. 전세계 클라이언트로부터 DDOS 공격을 잘도 버티고 있네 ㅎㅎ

2. Google+

얘들은 성능을 위해 json 데이터 구조를 사용하지 않는다.
그럼 어떻게 하냐고?
)]}'
[[["f.ri","12015082395849449"]
,["ghr",[]
]
,["di",136,,,,,[]
,[]
,,,[]
,[]
,[]
]
,["e",4,,,125]
]]
이런식의 중첩 배열을 사용한다.
마치 C Struct로 만든 전문통신을 보는 느낌인데 데이터를 본다고 알수 있는 구조가 아니다.
물론 주고 받는 쪽에서야 몇번째는 무엇이라고 약속을 해놓아서 알고 있겠지만서도.
오버헤드가 작으니 빠르겠지.
가끔 bind 라는 요청을 보내긴 하는데 talkgadget 즉 Google talk 용이라서 실제 갱신은 facebook 처럼 heartbeat을 쏘는 구조는 아닌 듯. 아니면 일타쌍피로 같이 해결하는 건가?

3. Diaspora*

가장 알기 쉬운 구조. 실은 다 이걸 쓰기 위해 던진 떡밥임.
간단하다. stream이란 이름의 request에 인자를 사용자 id를 줘서 요청했고
https://joindiaspora.com/stream?_=<숫자형태사용자ID>

response 를 보면 정직하게 Array + JSON 형태의 게시글을 다루고 있다.
그냥 데이터만 보면 딱 답이 나옴. 아예 복붙해본다.

[{
    "id": 1850060,
    "guid": "1660cffb68109543",
    "text": "#Sculpture #Scary #Skeleton #Spider <br><br> <br> [ ![Image](http://25.media.tumblr.com/tumblr_m82nycuJDe1qehyxro1_500.jpg) ](http://ur1.ca/9wq7m) <br>Shen Shaomin - Unknown Creature No.12 <br>",
    "public": true,
    "created_at": "2012-08-07T14:00:43Z",
    "interacted_at": "2012-08-07T14:21:57Z",
    "provider_display_name": null,
    "post_type": "Reshare",
    "image_url": null,
    "object_url": null,
    "favorite": false,
    "nsfw": false,
    "author": {
        "id": 25477,
        "guid": "4d1168bc2c1743390f000930",
        "name": "\u4e97 Dr. Emporio Efikz \u4e97",
        "diaspora_id": "emporioefikz@joindiaspora.com",
        "avatar": {
            "small": "https://joindiaspora.s3.amazonaws.com/uploads/images/thumb_small_20a5e6ffea75e8195608.gif",
            "medium": "https://joindiaspora.s3.amazonaws.com/uploads/images/thumb_medium_20a5e6ffea75e8195608.gif",
            "large": "https://joindiaspora.s3.amazonaws.com/uploads/images/thumb_large_20a5e6ffea75e8195608.gif"
        }
    },
    "o_embed_cache": null,
    "mentioned_people": [],
    "photos": [],
    "frame_name": "status",
    "root": {
        "id": 1850022,
        "guid": "724c602e8ca31f97",
        "text": "#Sculpture #Scary #Skeleton #Spider <br><br> <br> [ ![Image](http://25.media.tumblr.com/tumblr_m82nycuJDe1qehyxro1_500.jpg) ](http://ur1.ca/9wq7m) <br>Shen Shaomin - Unknown Creature No.12 <br>",
        "public": true,
        "created_at": "2012-08-07T13:37:31Z",
        "interacted_at": "2012-08-07T14:18:11Z",
        "provider_display_name": null,
        "post_type": "StatusMessage",
        "image_url": null,
        "object_url": null,
        "favorite": false,
        "nsfw": false,
        "author": {
            "id": 25741,
            "guid": "4d11bd252c174338f2002a4c",
            "name": "\u24b6\u24c5\u24c4\u24c1\u24c4\u24c3\u24be\u24c8 \u2301 \u24b6\u24c5\u24bd\u24c7\u24c4\u24b9\u24be\u24c8\u24be\u24b6",
            "diaspora_id": "apolonisaphrodisia@joindiaspora.com",
            "avatar": {
                "small": "https://joindiaspora.s3.amazonaws.com/uploads/images/thumb_small_8105711c49253702d494.jpg",
                "medium": "https://joindiaspora.s3.amazonaws.com/uploads/images/thumb_medium_8105711c49253702d494.jpg",
                "large": "https://joindiaspora.s3.amazonaws.com/uploads/images/thumb_large_8105711c49253702d494.jpg"
            }
        },
        "o_embed_cache": null,
        "mentioned_people": [],
        "photos": [],
        "frame_name": "status",
        "root": null,
        "title": "#Sculpture #Scary #Skeleton #Spider <br><br> <br> [ ![Image](http://25.media.tumblr.com/tumblr_m82nycuJDe1qehyxro1_500.jpg) ](http://ur1.ca/9wq7m) <br>Shen Shaomin - Unknown Creature No.12 <br>",
        "next_post": "/posts/1850022/next",
        "previous_post": "/posts/1850022/previous",
        "interactions": {
            "likes": [],
            "reshares": [],
            "comments_count": 1,
            "likes_count": 4,
            "reshares_count": 2
        }
    },
    "title": "\u4e97 Dr. Emporio Efikz \u4e97\ub2d8\uc758 \uac8c\uc2dc\ubb3c",
    "next_post": "/posts/1850060/next",
    "previous_post": "/posts/1850060/previous",
    "interactions": {
        "likes": [],
        "reshares": [],
        "comments_count": 0,
        "likes_count": 3,
        "reshares_count": 1,
        "comments": []
    }
},
....

길지만 알기쉬운 구조. 공부가 되네.
좀 독특한 건 ping 이라는 request 를 보내는데 response 가 없다.
facebook 처럼 document도 google+처럼 다중배열도 아니다.
게다가 심지어 같은 도메인도 아니다;;
내용을 보니 https://ping.chartbeat.net 쪽으로 찌르는데 http://chartbeat.com/ 이라는 서비스가 있나보다.
실시간 트래픽 분석/통계 관리를 해주는 곳인데 상당히 깔끔. 오호 google analytics 의 실시간 버전 느낌.

자 3줄 요약
1. facebook 은 게시글을 document 로 요청. 나머지는 죄다 JSON 형태의 ajax 요청
2. Google+ 는 게시글을 ajax로 요청. 단 다중배열 [[,,],,,] 형태로 보내줌
3. Diaspora* 는 ajax 에 JSON 형태로 요청. 셋중 가장 읽을 수 있는 형태의 자료 구조를 가지고 있음.

댓글

이 블로그의 인기 게시물

Unicode 2.0 에서 한글의 이해

요즘 SNS이나 SNG등등 기계적으로 문장을 생성하는 프로그램들이 넘쳐나는 시대에 의외로 한글처리를 제대로는 프로그램들이 드물구나 하는 생각에 간단한 한글 자소 분석기를 만들어보았다. 링크는 이쪽( http://jsbin.com/ofoqal/10/edit ) 애초에 만든 목적은 다음과 같다. 조사처리(은/는, 이/가, 을/를 등등)를 위해 단어의 마지막 글자의 종성을 조사하기 위함인데 예문을 들어보자면 "준기 는 강남에서 사진 을 찍었다." "예슬 은 홍대에서 식사 를 했다." "슬기 가 대화방에서 나갔습니다." "준기님은 강남에서 사진님을 찍으셨습니다 고갱님" 이라고 말하면 할말 없다. 한국식 소프트웨어(꼭 소프트웨어가 아니더라도)의 특징이자 장점이 무엇이냐라고 물으면 귀찮을 정도로 깨알같은 디테일이라고 대답할텐데 한글 기계화 작업에 대한 중요성은 프로그램을 만드는 사람들에게도 별로 중요하게 다가오지 않나보다. 에또 사설이 길었다. 한때 우리는 한글코드체계의 비표준 숲속에서 너무도 괴로운 나날들을 보낸 역사가 있다. KSC5601부터 시작해서 Microsoft통합형한글을 지나 Unicode 2.0의 시대가 왔다. 개인적으로 UTF-8을 사용하지 않고 EUC-KR이나 CP949를 쓰는 제품이나 서비스의 업체의 대표/관계자에게 1억 미만의 벌금 혹은 3년 이하의 금고형의 실형을 내려줬으면 할 정도로 너무나 많은 사람들을 불행하게 하고 막대한 비용을 지출한 악의 근원이라고 생각한다. 하지만 광명이 왔다. 기계적으로 납득이 가능한 검색 및 정렬이 용이한 Unicode 의 시대가 열렸단 말이다. 지금 당신이 복사해서 붙이고 있는 팁들 보다 훨씬 쉽고 명쾌하니 다음 그림을 한번 보자. (출처: http://www.w3c.or.kr/i18n/hangul-i18n/ko-code.html ) 어떤가? 무쟈게 쉽지 않은가? 현대 한글은 초성 ...

MQTT 접속해제 - LWT(Last will and testament)

통신에서 중요하지만 구현이 까다로운 문제로 "상대방이 예상치 못한 상황으로 인하여 접속이 끊어졌을때"의 처리가 있다. 이것이 까다로운 이유는 상대방이 의도적으로 접속을 종료한 경우는 접속 종료 직전에 자신의 종료 여부를 알리고 나갈 수 있지만 프로그램 오류/네트웍 연결 강제 종료와 같은 의도치 않은 상황에선 자신의 종료를 알릴 수 있는 방법 자체가 없기 때문이다. 그래서 전통적 방식으로는 자신의 생존 여부를 계속 ping을 통해 서버가 물어보고 timeout 시간안에 pong이 안올 경우 서버에서 접속 종료를 인식하는 번거로운 방식을 취하는데 MQTT의 경우 subscribe 시점에서 자신이 접속 종료가 되었을 때 특정 topic으로 지정한 메시지를 보내도록 미리 설정할 수 있다. 이를 LWT(Last will and testament) 라고 한다. 선언을 먼저하고 브로커가 처리하게 하는 방식인 것이다. Last Will And Testament 라는 말 자체도 흥미롭다. 법률용어인데  http://www.investopedia.com/terms/l/last-will-and-testament.asp 대략 내가 죽으면 뒷산 xx평은 작은 아들에게 물려주고 어쩌고 하는 상속 문서 같은 내용이다. 즉, 내가 죽었을(연결이 끊어졌을) 때에 변호사(MQTT Broker - ex. mosquitto/mosca/rabbitMQ등)로 하여금 나의 유언(메시지)를 상속자(해당 토픽에 가입한 subscriber)에게 전달한다라는 의미가 된다. MQTT Client 가 있다면 한번 실습해보자. 여러가지가 있겠지만 다른 글에서처럼  https://www.npmjs.com/package/mqtt  을 사용하도록 한다. npm install mqtt --save 로 설치해도 되고 내 경우는 자주 사용하는 편이어서 npm install -g mqtt 로 전역설치를 했다. 호스트는 무료 제공하고 있는 test.mosquitto.o...

OS X 터미널에서 tmux 사용시 pane 크기 조절

http://superuser.com/a/660072  글 참조. OS X 에서 tmux 사용시 나눠놓은 pane 크기 조정할 때 원래는 ctrl+b, ctrl+↑←→↓ 로 사이즈를 조정하는데 기본 터미널 키 입력이 조금 문제가 있다. 키 매핑을 다시 하자 Preferences(cmd+,) > Profile >  변경하고자 하는 Theme 선택 > Keyboards 로 들어가서 \033[1;5A \033[1;5B \033[1;5C \033[1;5D 를 순서대로 ↑↓→←순으로 매핑이 되도록 하면 된다. +를 누르고 Key에 해당 화살표키와 Modifier에 ctrl 선택 한 후 <esc>, [, 1, ;, 5 까지 한키 한키 입력 후 A,B,C,D를 써준다. 잘못 입력했을 땐 당황하지 말고 Delete on character 버튼을 눌러 수정하도록 하자. 그리고 다시 tmux에서 ctrl+b, ctrl+↑←→↓로 사이즈를 조절해보자. 잘 된다.