반응형 파이썬23 [파이썬-오픈API] 한국은행 경제통계지표 추출 데이터 소개 실제로 한국은행에는 돈다발이 쌓여있다는 점에서 노다지(종의의 집?)이기도 하지만, 투자 의사결정에 도움되는 방대한 데이터들을 보유하고 있다는 점에서 노다지이기도 합니다. 이 데이터들은 모두 오픈API로 공개되어 있기 때문에 파이썬에 대한 이해가 조금만 있으면 내가 관심 있는 통계지표, 거의 모든 경제지표의 긴~ 시계열 데이터를 추출해낼 수 있습니다. 제가 관심을 가지고 있는 지표가 하나 있어 그거 소개 겸, 추출 코드 기록 겸 글을 씁니다. 라는 지표인데요. 해당 지표가 주가와 무척 높은 상관관계가 있다는 점은 이전 포스팅에서 설명한 바 있습니다. 주가와 경기를 예측하기 위한 선행지표 근미래의 적정 KOSPI 지수를 예측하기 위한 모델을 개발하고 있습니다. 모델에 투입될 피쳐(feature).. 2022. 7. 2. [파이썬Python-웹스크래핑] 키움증권 증시 일정/캘린더 크롤링 주식투자를 하기 때문에 평소에 증시 캘린더를 즐겨 보는 편입니다. 시중 증권사들 대부분이 나름대로의 형식으로 증시 일정을 정리해 제공하고 있지만, 제가 가장 즐겨 찾아보는 캘린더는 키움 모바일 증시 캘린더입니다. 키움증권에서는 증시 캘린더를 PDF로도 제공하고 있는데 정보가 너무 많아 모바일 가독성이 떨어져서요. 저는 별도로 제공되고 있는 모바일 증시 캘린더를 주로 참고합니다. 아래와 같이 생겼습니다. 이 캘린더는 월중에도 계속 업데이트가 되기 때문에 수시로 들락날락해야 한다는 단점은 있지만요. 보통 직전 월말에 조회를 해보면 다음 달의 '굵직한 이벤트'는 대체로 등재가 되어 있는 상태입니다. 저는 이 시점에 이 캘린더를 크롤링해서 파일로 만든 다음에 제 구글 캘린더에 업로드해둡니다. 일상의 일정을 체크.. 2022. 4. 2. [파이썬Python-API] 금융감독원 오픈 API로 적금상품 스크래핑 금융상품통합비교공시 사이트에서는 시중 금융상품(정기예금, 적금, 연금저축, 주택담보대출, 전세자금대출, 개인신용대출)에 대한 풍성한 정보를 제공하고 있습니다. 또한 금융감독원에서는 이런 정보를 API로 말아서 제공하고 있는데요. 금번 포스팅은 금감원에서 제공하고 있는 금융상품별 API를 활용해 데이터 스크래핑하는 방법을 정리해보겠습니다. 코딩하시는 분 모두가 그렇겠지만 저 역시 최소한의 코드 변경만으로 다양한 스키마의 데이터를 긁어올 수 있는 robust한 코드를 추구합니다. 이 포스트에 정리한 코드도 조금만 변경하면 공공데이터포털의 오픈 API와 전자공시시스템(DART)의 API까지 손쉽게 수집할 수 있습니다. 제가 실제로 그러고 있어요. 1단계: 데이터 스키마 확인 ▼ 테스트로 API를 호출해 데이터.. 2022. 3. 17. [파이썬Python-웹 스크래핑] 구글 플레이 스토어 앱 리뷰 크롤링 주의! 구글 플레이 스토어 프론트가 최근에 개편 되었더군요. 당연히 마크업 구조도 수정되었고, 본 포스팅의 코드는 무용지물이 되었습니다. 해서 새로 개편된 구조에 맞는 웹 크롤러를 새로 프로그래밍했으니 아래 포스팅 참고해주세요. [파이썬] 개편된 구글 플레이 스토어! 앱 리뷰 크롤링 하고 있는 업무 때문에 시중 어플리케이션 몇 가지의 리뷰를 크롤링 하려 구글 플레이 스토어를 방문했습니다. 그런데 화면이 개편되어 있더군요. 모골이 송연해졌습니다. 그러면 클로링을 위 mokeya.tistory.com 평소 웹 스크래핑에 관심이 많습니다. 주로 투자에 도움이 될 만한 경제/재무지표를 수집하는 데 사용하고 있지만 가끔은 다른 관심 있는 이슈에 대한 정보를 얻을 때에도 웹 스크래핑 혹은 웹 크롤링을 사용합니다. .. 2022. 2. 2. 이전 1 2 3 4 ··· 6 다음 반응형
