본문 바로가기

crawling

네이버 영화 리뷰 크롤링 in R ## 작성일: 2019.07.22 ## 작성자: 춤추는초코칩 ## URL변수가 동일한 페이지를 노출시키는 문제 해결 ## 작성일: 2017.12.09 ## 작성자: 춤추는초코칩 ## 참고문허: R과Java로 크롤링하자 ## Part03 R을 활용하여 크롤링하기 개요 안녕하십니까? 춤추는초코칩입니다. 2017년 블로그한 "[R크롤링] 2. R을 이용한 네이버(Naver) 영화 네티즌 리뷰 크롤링"에 많은 분들이 관심을 가져 주셨습니다. 근데, 2019년 5월 김연창님께서 댓글로 코딩의 문제점을 확인해주셨습니다. 처음에는 제 코드에 문제가 아니라 복사하다가 잘 못하셨나 생각했습니다. 그래서 메일로 작성하신 코드를 받아서 테스트를 했습니다. 문제는 일단 제 코드였습니다. 당시 사용했던 코드에서 URL변수는 크.. 더보기
오픈API를 활용한 대기오염정보 조회(5) 안녕하세요. 춤추는초코칩입니다. 오픈API를 활용한 대기오염정보 조회(4)를 발행한지 1년 6개월이 지났습니다. 최근에 경제 빅데이터 저장소에서 제 글이 소개되었습니다. 저도 우연찮게 검색을 통해 알게되었는데요. 제 코딩이 너무 허접한거 같아서 조금 손 봤습니다. 이전 글은 아래 링크를 참고해주시기 바랍니다. 오픈API를 활용한 대기오염정보 조회(4) 오픈API를 활용한 대기오염정보 조회(3) 오픈API를 활용한 대기오염정보 조회(2) 오픈API를 활용한 대기오염정보 조회(1) 순서는 오히려 [경제 빅데이터 저장소]에서 잘해주셔서 제가 참고하게되었습니다. 1. 서비스키 신청 - 공공데이터포털(https://www.data.go.kr) 사이트에서 "대기오염정보 조회 서비스"의 인증키(서비스키) 신청 2. .. 더보기
[R] 디아블로3 API(6): 직업별 상위 100위 아이템 히스토그램 ##작성자: 춤추는초코칩##작성일: 2018-03-24##작성내용: 직업별 분포 구하기 첫번째날: 디아블로3 개발자 사이트 가입하기두번재날: 바바리안 랭커 배틀태그, 히어로아이디 수집하기세번째날: 바바리안 1위 랭커 아이템 확인하기네번째날: 바바리안 상위 100위 랭커 세팅 분포 확인하기다섯번째날: 직업별 대균열 순위 분포도 지난 시간에 404 에러 확인하는 함수를 찾지 못해서 잠깐 옆길로 새서 직업별 대균열 순위를 알아 봤습니다.구글링 결과 R에서 404 에러를 확인하는 방법을 검색해보니 "httr" 라이브러리를 찾았습니다.https://stackoverflow.com/questions/23139357/how-to-determine-if-a-url-object-in-r-base-package-retur.. 더보기
[R] 디아블로3 API를 활용하여 직업별 상위 랭킹 세팅 분포 구하기 다섯번째날 ##작성자: 춤추는초코칩##작성일: 2018-03-23##작성내용: 직업별 대균열 순위 분포도 첫번째날: 디아블로3 개발자 사이트 가입하기두번째날: 바바리안 랭커 배틀태그, 히어로아이디 수집하기세번째날: 바바리안 1위 랭커 아이템 확인하기네번째날: 바바리안 상위 100위 랭커 세팅 분포 확인하기 원래대로라면... 직업별 상위 랭커 세팅 분포를 확인해야 했지만의외로 404에러로 페이지를 못찾는 경우가 발생했습니다.처리방법은 지금 생각 중이라, 그 사이에 대균열 순위 분포도를 그려보기로 했습니다. 공식홈페이지에서 순위 페이지에서 대균열 순위에 해당하는 "cell-RiftLevel"이라는 클래스가 있습니다.이를 활용하여, R에서 다음과 같은 사용자 정의 함수를 짰습니다. rank.function 더보기
[R] 디아블로3 API를 활용하여 직업별 상위 랭킹 세팅 분포 구하기 네번째날 ##작성자: 춤추는초코칩##작성일: 2018-03-19##작성내용:바바리안 상위 100위 랭커 세팅 분포 확인하기 첫번째날: 디아블로3 개발자 사이트 가입하기두번째날: 바바리안 랭커 배틀태그, 히어로아이디 수집하기세번째날: 바바리안 1위 랭커 아이템 확인하기 지난 시간에 이야기한 대로 이번 시간에는 반복문을 활용해서 1,000명의 랭커들의 아이템정보를 가지고 옵니다.시간이 걸리는 관계는 이번에는 100명의 랭커들의 아이템정보를 가지고 왔습니다.item_type 더보기
[R] 디아블로3 API를 활용하여 직업별 상위 랭킹 세팅 분포 구하기 세번째날 ##작성자: 춤추는초코칩##작성일: 2018-03-14##작성내용: 바바리안 1위 랭커 아이템 확인하기 첫번째날: 디아블로3 개발자 사이트 가입하기두번째날: 바바리안 랭커 배틀태그, 히어로아이디 수집하기 지난번에 수집한 대균열 상위랭커 1,000명 중 1위의 배틀태그는 GlafSana-3132, 아이디는 68384537입니다.ranker[1,] 디아블로3 api에서 배틀태그와 히어로아이디를 알면, 해당하는 영웅의 아이템을 알 수 있습니다. 그 주소는 아래와 같습니다.https://kr.api.battle.net/d3/profile/GlafSana-3132/hero/68384537/items?locale=ko_KR&apikey=geyghwgrgtecgkd33abx3kver8tj3v3p 이를 이용하여, 배틀.. 더보기
오픈API를 활용한 대기오염정보 조회(4) 오픈API를 활용한 대기오염정보 조회(4) Chocochip 2018년 1월 1일 이 자료는 R markdown에서 작성하였습니다. 오픈API를 활용한 대기오염정보 조회(1) 오픈API를 활용한 대기오염정보 조회(2) 오픈API를 활용한 대기오염정보 조회(3) 시도별 실시간 측정정보 조회 라이브러리 불러오기 ##install.packages("rvest") ##install.packages("XML") ##install.packages("data.table") library(rvest) library(XML) library(data.table) 시도 구분코드 준비 웹주소에 한글이 적혀 있으면 정상적으로 조회가 안되드라구요. 왜 그런지 ㅡ.ㅡ;; 어쩔 수 없이 모든 시도 웹 주소를 미리보기로 조회해서 해당.. 더보기
오픈API를 활용한 대기오염정보 조회(3) 오픈API를 활용한 대기오염정보 조회(3) 오픈API를 활용한 대기오염정보 조회(3) Chocochip 2017년 12월 31일 이 자료는 R markdown에서 작성하였습니다.오픈API를 활용한 대기오염정보 조회(1)오픈API를 활용한 대기오염정보 조회(2) 시도별 실시간 측정정보 조회 라이브러리 불러오기 ##install.packages("rvest") ##install.packages("XML") ##install.packages("data.table") library(rvest) library(XML) library(data.table) 서울시 정보 조회 url 더보기

티스토리툴바