node.js 로 만드는 원격 갈무리 도구

jsdom 이 역시 최고.
검진 기관명 목록을 통째로 뽑기 위해 node.js 로 짜보았다.
한글 문제는 iconv 를 설치해서 해결. euc-kr > utf-8으로 변환함.
jsdom 과 iconv 가 설치하는데 까칠거려서 애좀 먹었음.
http://pastie.org/4078210
결과물은 엑셀에서 뽑기 좋게

993 광양사랑치과의원 광양사랑치과의원 전라남도 광양시 공영로 73, 3층 (중동) (☎ 061-795-2879) 내원 ○ 출장 ○ 994 광양시보건소 광양시보건소 전남 광양시 광양읍 칠성리70 (☎ 061-797-4008) 내원 ○ ○ 출장 995 광양웰치과의원 광양웰치과의원 전라남도 광양시 불로로 87, 3층 (중동) (☎ 061-793-7588) 내원 ○ 출장 996 광양의원 광양의원 제주특별자치도 제주시 서광로 302, 4층 ... (☎ 064-723-8275) 내원 ○ ○ 출장 997 광장수진산부인과의원 광장수진산부인과의원 경기도 부천시 원미구 부일로 202-13, ... (☎ 032-328-9686) 내원 ○ 출장 998 광제산부인과의원 광제산부인과의원 충청남도 천안시 서북구 서부18길 23, (... (☎ 041-575-3200) 내원 ○ ○ ○ 출장 999 광주21세기병원 광주21세기병원 광주광역시 광산구 임방울대로 164,(운남동... (☎ 062-953-7000) 내원 ○ ○ ○ ○ 출장 1000 광주굿모닝병원 광주굿모닝병원 광주광역시 북구 북문대로 182, (운암동) (☎ 062-250-1000) 내원 ○ ○ ○ ○ ○ ○ ○ 출장

이런식으로 대략 나옴.
vi에서 복사하기 좋게 41라인을 안넘은게 자랑. 발소스는 안자랑.
cluster 를 써서 멀티코어 돌렸으면 좋았을 것을.

var Iconv = require('iconv').Iconv;
var iconv = new Iconv('EUC-KR', 'UTF-8//TRANSLIT//IGNORE');
var jsdom = require('jsdom');
var maxidx=1695; // 1695;
var fd='\t';
var getHTML=function(idx) {
jsdom.env({
  html: 'http://hi.nhic.or.kr/ggpr001_r03.do?pageIndex='+idx,
  encoding: 'binary',
  scripts: [
    'http://code.jquery.com/jquery-1.5.min.js'
  ],
  done: function(errors, window) {
    var $ = window.$;
    var rst = '';
    $(".default_list tr").each(function(k,v) {
      if (k>1) {
        var line=$("td",v).map(function(kk,vv) {
          return (k%2===0 && kk===1) ? $(vv).attr('title')+fd+
                  $(vv).html().replace(/<br[ /]*>/g,fd) : $(vv).text();
        });
        for (var i=0; i<line.length; i++) {
          rst += line[i].replace(/^\s*|\s*$/g, '')+fd;
        }
        if (k%2===1) {
         var buf = new Buffer(rst.length);
         buf.write(rst, 0, rst.length, 'binary');
         console.log(iconv.convert(buf).toString());
         rst = '';
        }
      }
    });
    if (idx<maxidx)
      getHTML(idx+1);
  }
});
}
getHTML(1);

저지연 오디오 생성 LLVC 사용기

https://github.com/KoeAI/LLVC 써봄 CUDA 11.8 버전 쓰고 있어 pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 VC 없어서 설치 https://wikidocs.net/168848 참조 FAIRSEQ 관련 오류 https://github.com/facebookresearch/fairseq/issues/2908 pip install editdistance 설치 No CUDA runtime is found, using CUDA_HOME='C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.8' 오류 멀쩡하게 있는데 안됨. pip install torch==2.1.0+cu118 torchvision==0.16.0+cu118 torchaudio==2.1.0+cu118 --extra-index-url https://download.pytorch.org/whl/cu118 다시 설치 set DISTUTILS_USE_SDK=1 이게 문젠가 설정하고 재도전 Using cached ruamel.yaml.clib-0.2.8-cp311-cp311-win_amd64.whl (118 kB) Building wheels for collected packages: fairseq Building wheel for fairseq (pyproject.toml) ... error error: subprocess-exited-with-error × Building wheel for fairseq (pyproject.toml) did not run successfully. │ exit code: 1 ╰─> [1829 lines of output] No CUDA runtime is found, usi...

자세한 내용 보기

Unknown2013년 2월 1일 오후 6:36
현재 node.js로만 서버를 구성해놨는데 외부에서 post요청이 들어오는데 폼에 담긴 값들이 euc-kr로 인코딩된 것이라서. 변환이 필요합니다. 어떻게 사용가능할까요?

var iconv = require('iconv-lite');
var str = iconv.decode(receviedData, 'utf-8');
이렇게 해보았는데.
str : "[object Object]"
이렇게 콘솔에 찍히네요. 뭐가 문제일까요.
답글삭제
답글
Unknown2013년 2월 1일 오후 10:35
계속 해보고 있는데 iconv모듈 설치에서 너무 많이 막히네요. python깔라고 나와서 깔고나니 vcbuild필요하다고 하고 그래서 .net framework sdk 깔고나니까 이젠 이젠 이해할 수 없는 에러가 뜨네요. 주말안에 해결해야 하는 부분인데 도움 주실수 있으실까요.ㅠㅠ
appleguy@naver.com나 010-962공-팔003 입니다. 염치없지만 여쭤볼곳을 찾기가 쉽지 않네요.
답글삭제
답글
spectrum2013년 2월 11일 오후 5:47
윈도우에선 안해봐서 잘 모르겠습니다.
의존성 관련해서 문제가 너무 많아서 우분투 서버를 사용하고 있습니다.
답글삭제
답글

댓글 추가

spectrum learns to dig

이 블로그 검색

node.js 로 만드는 원격 갈무리 도구

태그

댓글

댓글 쓰기

이 블로그의 인기 게시물

세상 간단한 https(+secured websocket): Caddy

async function 에 new operator 를 사용하는 방법

저지연 오디오 생성 LLVC 사용기