반응형 데이터크롤링2 [웹 스크래핑] 프리랜서가 추천하는 웹 크롤링 툴 요새 프리랜서를 중개해주는 플랫폼이 많습니다. 예컨대, '숨고'나 '크몽' 같은 플랫폼이지요. 저도 예전에 집 인테리어 때문에 작업 명세를 올리고 견적을 요청한 적이 있는데 정말 수많은 프리랜서들이 견적을 보내오더군요. IT분야에서도 프리랜싱이 활발해서 많은 프리랜서들이 이런 플랫폼에서 활약하고 계신 것 같은데, 특히나 눈에 띄는 작업 유형이 '웹 스크래핑' 혹은 '웹 크롤링'입니다. 아래 스크린샷은 크몽에서 '웹 크롤링'을 검색한 결과입니다. 검색결과가 무려 15,794 건이래요, 맙소사. 제가 얼핏 보니 크몽은 서비스 공급자(프리랜서)를 나열해서 보여주는 방식인 것 같아요. 반면 숨고는 아래처럼 원하는 과업을 등록해놓으면 해당 스킬을 가진 프리랜서를 매칭시켜주는 방식인 것 같아요. 데이터 크롤링 관련.. 2022. 2. 3. [파이썬Python] 인스타그램 해쉬태그(#) 검색결과 크롤링하기 ★ 댓글로 주신 의견 반영하여 코드는 지속적으로 수정하고 있습니다. 수정된 부분은 아래 본문에 일일이 표시해두었으니 참고해주세요. 댓글 주신 모든 분들 감사합니다. ★ Meta에서 인스타그램 마크업을 계속 수정하는지 오늘 되던 코드가 내일 안 되는 일이 비일비재합니다. 이미 누더기가 된 코드를 다시 수정하는 게 의미가 없을 듯하여 오늘(2022/08/13) 시점에 제대로 작동하는 코드를 별도의 페이지에 작성했습니다. 이후에는 코드 작동 안 한다는 댓글에 응대하기 힘들 듯합니다. 양해 부탁드립니다. [파이썬] 인스타그램 해쉬태그(#) 검색결과 크롤링하기_최신ver. 인스타그램 해쉬태그 검색결과 크롤링하는 코드를 올렸었어요, 감사하게도 많은 분들이 참고해주셨는데 Meta에서 마크업을 계속 수정하다보니까 코드.. 2021. 2. 21. 이전 1 다음 반응형
