본문 바로가기
반응형

지덕이의 데이터 분석/데이터 분석 스킬23

[파이썬] 개편된 구글 플레이 스토어! 앱 리뷰 크롤링 하고 있는 업무 때문에 시중 어플리케이션 몇 가지의 리뷰를 크롤링 하려 구글 플레이 스토어를 방문했습니다. 그런데 화면이 개편되어 있더군요. 모골이 송연해졌습니다. 그러면 클로링을 위해 짜둔 코드들, 그 코드를 구성하고 있는 HTML(CSS) 요소들이 전부 못 쓰게 되었을 가능성이 있거든요. 역시 이전의 프론트(화면)를 기준으로 작성된 크롤링 코드는 먹히질 않더군요. (그래도 참고삼아 링크 걸어봅니다) [파이썬Python-웹 스크래핑] 구글 플레이 스토어 앱 리뷰 크롤링 평소 웹 스크래핑에 관심이 많습니다. 주로 투자에 도움이 될 만한 경제/재무지표를 수집하는 데 사용하고 있지만 가끔은 다른 관심 있는 이슈에 대한 정보를 얻을 때에도 웹 스크래핑 혹은 웹 mokeya.tistory.com 그래서 부랴부랴.. 2022. 6. 21.
배우지 말아야 할 6가지 프레임워크와 최선의 대안 Medium에 발행된 Clement Brian의 글을 번역한 포스팅입니다. 시간과 노력을 투여해 뭔가를 실컷 익혀놨는데 다른 게 더 좋아보이고 그걸 배웠더라면 좋았을걸 후회해본 적이 있습니까? 아마 누구나 한 번씩 경험해봤을 겁니다. 그럴 때 우리는 논리로 스스로를 위로합니다. 인간의 천성입니다. 프레임워크와 관련해서도 비슷한 실수를 하는 경향이 있습니다. 프로그래머라면 최고의 도구를 익혀두는 게 좋습니다. 이 포스팅에서는 배우지 말아야 할 프레임워크와 그걸 대체할 최선의 대체재를 정리합니다. 당연히 각각의 경우에 대한 이유도 적었습니다. 1. React Native 전문 React 개발자가 아니라면 React Native를 배워 최대한으로 활용하기는 어렵습니다. React Native는 차선입니다. 최.. 2022. 5. 14.
전체 상장기업 재무제표 조회방법(feat. 파이썬으로 DART API 호출) 퀀트투자 혹은 종목 스크리닝을 자체적으로 해보려고 툴을 만들었는데요. 이 때 필요한 것이 상장기업 전체에 대한 재무정보 혹은 재무제표입니다. 전체 상장기업의 데이터를 얻는 가장 일반적인 방법은 웹 크롤링일 텐데, 재무제표를 확인할 때 널리 이용하는 Company guide(Fn guide)나 네이버 증권 등의 재무제표 페이지에 접속해 파이썬 웹 스크래핑 라이브러리(Request나 Selenium)를 이용해 해당 페이지의 데이터를 긁어오는 겁니다. 저도 일찍이 컴패니 가이드의 재무제표 데이터를 수집하는 코드를 작성해 공유한 바 있습니다. Company Guide(Fn Guide) 전종목 재무제표 크롤링 이번 포스팅에서 소개할 방식은 웹 크롤링보다 안정적이고 떳떳하게 데이터를 수집하는 방법입니다. 바로 AP.. 2022. 5. 11.
파이썬 streamlit으로 데이터 시각화 웹어플리케이션 배포하기 보통 파이썬으로 데이터 시각화 대시보드를 만들거나 머신러닝 앱을 빌드해 온라인으로 배포한다고 하면 쟝고나 플라스크를 떠올리기 마련입니다. 그런 프레임워크들을 사용함으로써 얻을 수 있는 이점은 분명 존재합니다. 그러나 그 프레임워크가 사용자 친화적인지, 빠른지, 코드를 간략하게 작성하고자 하는 개발자에게도 적합한지 물으면 자신 있게 그렇다고 대답하긴 어렵습니다. 즉, 재빠르게 머신러닝 어플리케이션을 선보여야 하는 프로젝트나 몇 명 되지도 않는 소규모 팀에서 쟝고나 플라스크 개발자를 따로 두어야 할 이유가 없다는 말입니다. 언급한 상황이라면 ‘Streamlit’이 훌륭한 대안이 될 수 있습니다. Streamlit이란? Streamlit은 머신러닝이나 데이터 사이언스에 특화된 웹 어플리케이션을 쉽게 만들고 공.. 2022. 5. 9.
반응형