반응형 웹크롤링6 [파이썬-오픈API] 한국은행 경제통계지표 추출 데이터 소개 실제로 한국은행에는 돈다발이 쌓여있다는 점에서 노다지(종의의 집?)이기도 하지만, 투자 의사결정에 도움되는 방대한 데이터들을 보유하고 있다는 점에서 노다지이기도 합니다. 이 데이터들은 모두 오픈API로 공개되어 있기 때문에 파이썬에 대한 이해가 조금만 있으면 내가 관심 있는 통계지표, 거의 모든 경제지표의 긴~ 시계열 데이터를 추출해낼 수 있습니다. 제가 관심을 가지고 있는 지표가 하나 있어 그거 소개 겸, 추출 코드 기록 겸 글을 씁니다. 라는 지표인데요. 해당 지표가 주가와 무척 높은 상관관계가 있다는 점은 이전 포스팅에서 설명한 바 있습니다. 주가와 경기를 예측하기 위한 선행지표 근미래의 적정 KOSPI 지수를 예측하기 위한 모델을 개발하고 있습니다. 모델에 투입될 피쳐(feature).. 2022. 7. 2. [웹 스크래핑] 프리랜서가 추천하는 웹 크롤링 툴 요새 프리랜서를 중개해주는 플랫폼이 많습니다. 예컨대, '숨고'나 '크몽' 같은 플랫폼이지요. 저도 예전에 집 인테리어 때문에 작업 명세를 올리고 견적을 요청한 적이 있는데 정말 수많은 프리랜서들이 견적을 보내오더군요. IT분야에서도 프리랜싱이 활발해서 많은 프리랜서들이 이런 플랫폼에서 활약하고 계신 것 같은데, 특히나 눈에 띄는 작업 유형이 '웹 스크래핑' 혹은 '웹 크롤링'입니다. 아래 스크린샷은 크몽에서 '웹 크롤링'을 검색한 결과입니다. 검색결과가 무려 15,794 건이래요, 맙소사. 제가 얼핏 보니 크몽은 서비스 공급자(프리랜서)를 나열해서 보여주는 방식인 것 같아요. 반면 숨고는 아래처럼 원하는 과업을 등록해놓으면 해당 스킬을 가진 프리랜서를 매칭시켜주는 방식인 것 같아요. 데이터 크롤링 관련.. 2022. 2. 3. [파이썬Python-웹 스크래핑] 구글 플레이 스토어 앱 리뷰 크롤링 주의! 구글 플레이 스토어 프론트가 최근에 개편 되었더군요. 당연히 마크업 구조도 수정되었고, 본 포스팅의 코드는 무용지물이 되었습니다. 해서 새로 개편된 구조에 맞는 웹 크롤러를 새로 프로그래밍했으니 아래 포스팅 참고해주세요. [파이썬] 개편된 구글 플레이 스토어! 앱 리뷰 크롤링 하고 있는 업무 때문에 시중 어플리케이션 몇 가지의 리뷰를 크롤링 하려 구글 플레이 스토어를 방문했습니다. 그런데 화면이 개편되어 있더군요. 모골이 송연해졌습니다. 그러면 클로링을 위 mokeya.tistory.com 평소 웹 스크래핑에 관심이 많습니다. 주로 투자에 도움이 될 만한 경제/재무지표를 수집하는 데 사용하고 있지만 가끔은 다른 관심 있는 이슈에 대한 정보를 얻을 때에도 웹 스크래핑 혹은 웹 크롤링을 사용합니다. .. 2022. 2. 2. [파이썬Python-웹 스크래핑] 채용공고 내 단어 출현빈도 분석하고 시각화 feat.자연어처리 요즘은 일자리를 구하려면, 특히나 내로라는 외국계에 취합하고자 한다면 일단 기업의 지원자선별시스템(ATS, Applicant Tracking System)의 눈에 띄는 것이 중요합니다. ATS라는 기계적인 용어가 다소 거북할 수 있지만 포춘 500대 기업의 99%가 이미 해당 솔루션을 사용하고 있을 정도로 공공연하게 알려진 도구입니다. 나라는 사람이 그 기업의, 그 직무에 더할나위 없이 딱 맞는 인재라 할지라도 당신의 이력서가 이를 담아내지 못 하면(=ATS의 레이더에 걸리지 못 하면) 결국은 수많은 이름 없는 지원자들 중 한 명으로 남게 될 겁니다. 결국 '알고리즘'이 적합한 구직자를 선별해내는 요즘 시대에 구직자 역시 그 알고리즘을 역이용(like 태극권)할 수 있는 어느 정도의 데이터 리터러시, 혹.. 2022. 1. 1. 이전 1 2 다음 반응형
