반응형 Programming/Code Archive21 [파이썬Python-API] 금융감독원 오픈 API로 적금상품 스크래핑 금융상품통합비교공시 사이트에서는 시중 금융상품(정기예금, 적금, 연금저축, 주택담보대출, 전세자금대출, 개인신용대출)에 대한 풍성한 정보를 제공하고 있습니다. 또한 금융감독원에서는 이런 정보를 API로 말아서 제공하고 있는데요. 금번 포스팅은 금감원에서 제공하고 있는 금융상품별 API를 활용해 데이터 스크래핑하는 방법을 정리해보겠습니다. 코딩하시는 분 모두가 그렇겠지만 저 역시 최소한의 코드 변경만으로 다양한 스키마의 데이터를 긁어올 수 있는 robust한 코드를 추구합니다. 이 포스트에 정리한 코드도 조금만 변경하면 공공데이터포털의 오픈 API와 전자공시시스템(DART)의 API까지 손쉽게 수집할 수 있습니다. 제가 실제로 그러고 있어요. 1단계: 데이터 스키마 확인 ▼ 테스트로 API를 호출해 데이터.. 2022. 3. 17. [파이썬Python-웹 스크래핑] 구글 플레이 스토어 앱 리뷰 크롤링 주의! 구글 플레이 스토어 프론트가 최근에 개편 되었더군요. 당연히 마크업 구조도 수정되었고, 본 포스팅의 코드는 무용지물이 되었습니다. 해서 새로 개편된 구조에 맞는 웹 크롤러를 새로 프로그래밍했으니 아래 포스팅 참고해주세요. [파이썬] 개편된 구글 플레이 스토어! 앱 리뷰 크롤링 하고 있는 업무 때문에 시중 어플리케이션 몇 가지의 리뷰를 크롤링 하려 구글 플레이 스토어를 방문했습니다. 그런데 화면이 개편되어 있더군요. 모골이 송연해졌습니다. 그러면 클로링을 위 mokeya.tistory.com 평소 웹 스크래핑에 관심이 많습니다. 주로 투자에 도움이 될 만한 경제/재무지표를 수집하는 데 사용하고 있지만 가끔은 다른 관심 있는 이슈에 대한 정보를 얻을 때에도 웹 스크래핑 혹은 웹 크롤링을 사용합니다. .. 2022. 2. 2. [파이썬Python-웹 스크래핑] 채용공고 내 단어 출현빈도 분석하고 시각화 feat.자연어처리 요즘은 일자리를 구하려면, 특히나 내로라는 외국계에 취합하고자 한다면 일단 기업의 지원자선별시스템(ATS, Applicant Tracking System)의 눈에 띄는 것이 중요합니다. ATS라는 기계적인 용어가 다소 거북할 수 있지만 포춘 500대 기업의 99%가 이미 해당 솔루션을 사용하고 있을 정도로 공공연하게 알려진 도구입니다. 나라는 사람이 그 기업의, 그 직무에 더할나위 없이 딱 맞는 인재라 할지라도 당신의 이력서가 이를 담아내지 못 하면(=ATS의 레이더에 걸리지 못 하면) 결국은 수많은 이름 없는 지원자들 중 한 명으로 남게 될 겁니다. 결국 '알고리즘'이 적합한 구직자를 선별해내는 요즘 시대에 구직자 역시 그 알고리즘을 역이용(like 태극권)할 수 있는 어느 정도의 데이터 리터러시, 혹.. 2022. 1. 1. [파이썬Python] 데이터 분석을 빠르고 수월하게 해주는 치트키 5개_2탄 프로그래밍을 할 땐 비법과 요령이 필요합니다. 작은 요령 하나가 시간을 아껴줄 뿐 아니라 결과물의 질도 높입니다. 단축키나 기능추가(add-on) 같은 요소는 별 것 아니게 느껴지지만 생산성을 끌어올리는 데 확실히 도움이 됩니다. 그래서 이번 포스팅에서는 제가 가장 좋아하는 파이썬 데이터 분석 비법과 요령을 공유하려 합니다. 대부분 널리 알려진 것이지만, 몇 가지는 낯설 수 있습니다. 그래도 한 번 접해보시면 이후 데이터 분석 프로젝트에서도 즐겨 사용하게 되실 거라 확신합니다. 1. Jupyter Notebook 셀에 색상 넣기 Jupyter Notebook의 얼럿/메모 상자를 사용하여 중요하거나 눈에 띄어야 하는 항목을 강조할 수 있습니다. 메모의 색상은 지정된 경고 유형에 따라 다릅니다. 강조 표시해.. 2021. 9. 15. 이전 1 2 3 4 5 6 다음 반응형
