반응형 웹스크래핑4 [파이썬-오픈API] 한국은행 경제통계지표 추출 데이터 소개 실제로 한국은행에는 돈다발이 쌓여있다는 점에서 노다지(종의의 집?)이기도 하지만, 투자 의사결정에 도움되는 방대한 데이터들을 보유하고 있다는 점에서 노다지이기도 합니다. 이 데이터들은 모두 오픈API로 공개되어 있기 때문에 파이썬에 대한 이해가 조금만 있으면 내가 관심 있는 통계지표, 거의 모든 경제지표의 긴~ 시계열 데이터를 추출해낼 수 있습니다. 제가 관심을 가지고 있는 지표가 하나 있어 그거 소개 겸, 추출 코드 기록 겸 글을 씁니다. 라는 지표인데요. 해당 지표가 주가와 무척 높은 상관관계가 있다는 점은 이전 포스팅에서 설명한 바 있습니다. 주가와 경기를 예측하기 위한 선행지표 근미래의 적정 KOSPI 지수를 예측하기 위한 모델을 개발하고 있습니다. 모델에 투입될 피쳐(feature).. 2022. 7. 2. [파이썬Python-웹스크래핑] 키움증권 증시 일정/캘린더 크롤링 주식투자를 하기 때문에 평소에 증시 캘린더를 즐겨 보는 편입니다. 시중 증권사들 대부분이 나름대로의 형식으로 증시 일정을 정리해 제공하고 있지만, 제가 가장 즐겨 찾아보는 캘린더는 키움 모바일 증시 캘린더입니다. 키움증권에서는 증시 캘린더를 PDF로도 제공하고 있는데 정보가 너무 많아 모바일 가독성이 떨어져서요. 저는 별도로 제공되고 있는 모바일 증시 캘린더를 주로 참고합니다. 아래와 같이 생겼습니다. 이 캘린더는 월중에도 계속 업데이트가 되기 때문에 수시로 들락날락해야 한다는 단점은 있지만요. 보통 직전 월말에 조회를 해보면 다음 달의 '굵직한 이벤트'는 대체로 등재가 되어 있는 상태입니다. 저는 이 시점에 이 캘린더를 크롤링해서 파일로 만든 다음에 제 구글 캘린더에 업로드해둡니다. 일상의 일정을 체크.. 2022. 4. 2. [웹 스크래핑] 프리랜서가 추천하는 웹 크롤링 툴 요새 프리랜서를 중개해주는 플랫폼이 많습니다. 예컨대, '숨고'나 '크몽' 같은 플랫폼이지요. 저도 예전에 집 인테리어 때문에 작업 명세를 올리고 견적을 요청한 적이 있는데 정말 수많은 프리랜서들이 견적을 보내오더군요. IT분야에서도 프리랜싱이 활발해서 많은 프리랜서들이 이런 플랫폼에서 활약하고 계신 것 같은데, 특히나 눈에 띄는 작업 유형이 '웹 스크래핑' 혹은 '웹 크롤링'입니다. 아래 스크린샷은 크몽에서 '웹 크롤링'을 검색한 결과입니다. 검색결과가 무려 15,794 건이래요, 맙소사. 제가 얼핏 보니 크몽은 서비스 공급자(프리랜서)를 나열해서 보여주는 방식인 것 같아요. 반면 숨고는 아래처럼 원하는 과업을 등록해놓으면 해당 스킬을 가진 프리랜서를 매칭시켜주는 방식인 것 같아요. 데이터 크롤링 관련.. 2022. 2. 3. [파이썬Python-웹 스크래핑] 구글 플레이 스토어 앱 리뷰 크롤링 주의! 구글 플레이 스토어 프론트가 최근에 개편 되었더군요. 당연히 마크업 구조도 수정되었고, 본 포스팅의 코드는 무용지물이 되었습니다. 해서 새로 개편된 구조에 맞는 웹 크롤러를 새로 프로그래밍했으니 아래 포스팅 참고해주세요. [파이썬] 개편된 구글 플레이 스토어! 앱 리뷰 크롤링 하고 있는 업무 때문에 시중 어플리케이션 몇 가지의 리뷰를 크롤링 하려 구글 플레이 스토어를 방문했습니다. 그런데 화면이 개편되어 있더군요. 모골이 송연해졌습니다. 그러면 클로링을 위 mokeya.tistory.com 평소 웹 스크래핑에 관심이 많습니다. 주로 투자에 도움이 될 만한 경제/재무지표를 수집하는 데 사용하고 있지만 가끔은 다른 관심 있는 이슈에 대한 정보를 얻을 때에도 웹 스크래핑 혹은 웹 크롤링을 사용합니다. .. 2022. 2. 2. 이전 1 다음 반응형
