본문 바로가기
반응형

지덕이의 데이터 분석53

[파이썬] 개편된 구글 플레이 스토어! 앱 리뷰 크롤링 하고 있는 업무 때문에 시중 어플리케이션 몇 가지의 리뷰를 크롤링 하려 구글 플레이 스토어를 방문했습니다. 그런데 화면이 개편되어 있더군요. 모골이 송연해졌습니다. 그러면 클로링을 위해 짜둔 코드들, 그 코드를 구성하고 있는 HTML(CSS) 요소들이 전부 못 쓰게 되었을 가능성이 있거든요. 역시 이전의 프론트(화면)를 기준으로 작성된 크롤링 코드는 먹히질 않더군요. (그래도 참고삼아 링크 걸어봅니다) [파이썬Python-웹 스크래핑] 구글 플레이 스토어 앱 리뷰 크롤링 평소 웹 스크래핑에 관심이 많습니다. 주로 투자에 도움이 될 만한 경제/재무지표를 수집하는 데 사용하고 있지만 가끔은 다른 관심 있는 이슈에 대한 정보를 얻을 때에도 웹 스크래핑 혹은 웹 mokeya.tistory.com 그래서 부랴부랴.. 2022. 6. 21.
[미국주식] 퀀트투자를 위한 종목별 재무정보 및 투자지표 데이터_22년6월17일 마감 기준 ☆ 본 블로그에서 제공하는 모든 데이터는 필자가 데이터 분석을 공부하는 과정에서 생산해낸 부산물입니다. 실제 데이터를 기반으로 하고, 최소한의 정합성 검증을 거쳤지만 의사결정에 참고하실 때는 주의를 요합니다. 그에 따른 어떠한 결과에도 책임지지 않습니다. 데이터 소개 6월 17일 마감 기준, 미국주식 퀀트투자 데이터입니다. 개인적으로 너무 바빠서 4개월만에야 업데이트를 합니다... 데이터에 대한 설명과 데이터 파일은 아래 포스팅 본문 참고 부탁드립니다. 원천 데이터 및 수집 방법 원천 데이터 01 : Google Finance API 원천소스 : Google Finacne API 수집방법 : 구글스프레드시트의 GoogleFinance 함수 사용언어 : 없음. 수집일자(주기) : 한국시간 기준 2022년 .. 2022. 6. 19.
배우지 말아야 할 6가지 프레임워크와 최선의 대안 Medium에 발행된 Clement Brian의 글을 번역한 포스팅입니다. 시간과 노력을 투여해 뭔가를 실컷 익혀놨는데 다른 게 더 좋아보이고 그걸 배웠더라면 좋았을걸 후회해본 적이 있습니까? 아마 누구나 한 번씩 경험해봤을 겁니다. 그럴 때 우리는 논리로 스스로를 위로합니다. 인간의 천성입니다. 프레임워크와 관련해서도 비슷한 실수를 하는 경향이 있습니다. 프로그래머라면 최고의 도구를 익혀두는 게 좋습니다. 이 포스팅에서는 배우지 말아야 할 프레임워크와 그걸 대체할 최선의 대체재를 정리합니다. 당연히 각각의 경우에 대한 이유도 적었습니다. 1. React Native 전문 React 개발자가 아니라면 React Native를 배워 최대한으로 활용하기는 어렵습니다. React Native는 차선입니다. 최.. 2022. 5. 14.
전체 상장기업 재무제표 조회방법(feat. 파이썬으로 DART API 호출) 퀀트투자 혹은 종목 스크리닝을 자체적으로 해보려고 툴을 만들었는데요. 이 때 필요한 것이 상장기업 전체에 대한 재무정보 혹은 재무제표입니다. 전체 상장기업의 데이터를 얻는 가장 일반적인 방법은 웹 크롤링일 텐데, 재무제표를 확인할 때 널리 이용하는 Company guide(Fn guide)나 네이버 증권 등의 재무제표 페이지에 접속해 파이썬 웹 스크래핑 라이브러리(Request나 Selenium)를 이용해 해당 페이지의 데이터를 긁어오는 겁니다. 저도 일찍이 컴패니 가이드의 재무제표 데이터를 수집하는 코드를 작성해 공유한 바 있습니다. Company Guide(Fn Guide) 전종목 재무제표 크롤링 이번 포스팅에서 소개할 방식은 웹 크롤링보다 안정적이고 떳떳하게 데이터를 수집하는 방법입니다. 바로 AP.. 2022. 5. 11.
반응형