본문 바로가기

R 크롤링

[R] 디아블로3 API를 활용하여 직업별 상위 랭킹 세팅 분포 구하기 첫번째날 작성일: 2018-03-03작성자: 춤추는초코칩작성내용: 디아블로3 API를 활용하여 직업별 상위 랭킹 세팅 분포 구하기 백번째 포스트입니다. 뭘할까 하다가 하고 싶은 걸 하기로 했습니다.평소에 좋아하는 디아블로3 API를 활용한 프로젝트를 시작합니다. 디아블로3 API를 활용하기 위해서는 개발자 사이트(https://dev.battle.net/)에 회원가입 후 사용할 수 있다.해당 사이트에서 Create a Mashery Account를 클릭하여 계정을 만든다.계정을 만들면 위와 같이 Key를 받을 수 있다.로그인 후 API Docs(https://dev.battle.net/io-docs)에서 블리자드에서 제공하는 game data를 확인할 수 있다.D3 Community API - KR를 선택하며, .. 더보기
오픈API를 활용한 대기오염정보 조회(4) 오픈API를 활용한 대기오염정보 조회(4) Chocochip 2018년 1월 1일 이 자료는 R markdown에서 작성하였습니다. 오픈API를 활용한 대기오염정보 조회(1) 오픈API를 활용한 대기오염정보 조회(2) 오픈API를 활용한 대기오염정보 조회(3) 시도별 실시간 측정정보 조회 라이브러리 불러오기 ##install.packages("rvest") ##install.packages("XML") ##install.packages("data.table") library(rvest) library(XML) library(data.table) 시도 구분코드 준비 웹주소에 한글이 적혀 있으면 정상적으로 조회가 안되드라구요. 왜 그런지 ㅡ.ㅡ;; 어쩔 수 없이 모든 시도 웹 주소를 미리보기로 조회해서 해당.. 더보기
오픈API를 활용한 대기오염정보 조회(3) 오픈API를 활용한 대기오염정보 조회(3) 오픈API를 활용한 대기오염정보 조회(3) Chocochip 2017년 12월 31일 이 자료는 R markdown에서 작성하였습니다.오픈API를 활용한 대기오염정보 조회(1)오픈API를 활용한 대기오염정보 조회(2) 시도별 실시간 측정정보 조회 라이브러리 불러오기 ##install.packages("rvest") ##install.packages("XML") ##install.packages("data.table") library(rvest) library(XML) library(data.table) 서울시 정보 조회 url 더보기
오픈API를 활용한 대기오염정보 조회(2) 오픈API를 활용한 대기오염정보 조회(2) 오픈API를 활용한 대기오염정보 조회(2) Chocochip 2017년 12월 30일 이 자료는 R markdown에서 작성하였습니다. R에서 데이터 확인하기 필요한 라이브러리를 불러옵니다. ##install.packages("rvest") ##install.packages("XML") ##install.packages("data.table") library(rvest) library(XML) library(data.table) 지난 블로그 오픈API를 활용한 대기오염정보 조회(1)의 미리보기 주소로 데이터를 가지고 옵니다. api_url 더보기
오픈API를 활용한 대기오염정보 조회(1) 오픈API를 활용한 대기오염정보 조회(1) 오픈API를 활용한 대기오염정보 조회(1) Chocochip 2017년 12월 29일 본 문서는 R markdown에서 작성하였습니다. 1. 공공데이터 포털에서 인증키 받기 공공데이터 포털(https://www.data.go.kr)에서 제공하는 오픈 API를 활용하여 대기오염정보를수집해 보겠습니다. 공공데이터 포털은 익스플로러에서만 동작하니 유의하시기 바랍니다. 우선 홈페이지에 로그인해서 ’대기오염정보조회하기’를 검색하고 활용신청을 합니다. 승인이 완료되면, 상세보기에서 인증키를 확인합니다. 홈페이지를 아래로 내려서 미리보기를 실행합니다. 정상적으로 조회되는 지 확인합니다. 다음에는 R에서 자료를 조회하는 방법에 대해 알아보겠습니다. 더보기
[R크롤링] 8. 웹사이트 스크래핑 예제 : IMDb site ## 작성일: 2017.12.22## 작성자: 춤추는초코칩## 참고사이트: https://www.analyticsvidhya.com/blog/2017/03/beginners-guide-on-web-scraping-in-r-using-rvest-with-hands-on-knowledge/ ## Web Scraping in R (using rvest) with hands-on example ##install.packages('rvest')#Loading the rvest packagelibrary('rvest') #Specifying the url for desired website to be scrappedurl 더보기
[R크롤링] 7. 텍스트마이닝: 연관어 분석 ## 작성일: 2017.12.20## 작성자: 춤추는초코칩## 참고문헌: R과Java로 크롤링하자## Part04 데이터 분석 및 시각화## 이책은 쉽게 따라할 수 있는 반면에 배경지식에 대한 설명이 조금 부족한 거 같다.## 함수는 왜 사용하고 실행결과에 대한 해석 부분이 아쉽다.## 별도의 공부가 필요한거 같습니다.## 본 교재는 여기서 끝내도록 하겠습니다.## Chapter11 텍스트마이닝(R패키지 활용) > 연관어 분석 ## 작업폴더 지정setwd("D:/R/R과Java로 크롤링하자")getwd() ## 연관어 분석에 필요한 패키지 설치## install("KoNLP")## install("arules")## install("igraph")## install("combinat")library(Ko.. 더보기
[R크롤링] 6. 텍스트마이닝: 워드클라우드 ## 작성일: 2017.12.19## 작성자: 춤추는초코칩## 참고문허: R과Java로 크롤링하자## Part04 데이터 분석 및 시각화## Chapter11 텍스트마이닝(R패키지 활용) > 워드클라우드 ## Step0. 실습에 사용할 데이터 가져오기## 작업폴더 지정setwd("D:/R/R과Java로 크롤링하자")getwd()## 크롤링 패키지 불러오기library("rvest")library("R6")## 문재인 대통령 충칭 임시정부 청사 방문 인사말 크롤링# html 주소를 url에 저장url 더보기