반응형 Programming51 [파이썬] 실시간급상승검색어 자동 발송하는 봇 만들기 3: 웹크롤링과 메시지 발송을 수행하는 텔레그램 봇 실시간 급상승 검색어를 정해진 시간마다 크롤링해 텔레그램 메시지로 보내주는 봇을 제작합니다. (흰색 말풍선이 봇이 보낸 거고 녹색 말풍선은 접니다) 이 프로젝트는 아래 과업으로 이루어집니다: 텔레그램 봇 API 접근 권한 얻기 실시간 급상승 검색어 크롤링해 텍스트 파일로 저장 웹크롤링과 메시지 발송을 수행하는 텔레그램 봇 만들기(현재 글) 이번 포스팅에서는 1) 봇이 실급검 사이트 접속해 검색어를 스크래핑(크롤링)하고 2) 그걸 발화 가능한 형식으로 바꿔서 3) 이용자에게 텔레그램으로 발송하는 일련의 과정을 구현합니다. 작업환경 1) 파이썬3.9(64bit) 2) 파이썬IDE : Pycharm 코드 ▼ 필요한 라이브러리를 불러옵니다. 불러오려면 당연히 설치가 되어 있어야 되겠죠? (pip install .. 2023. 8. 13. [파이썬] 실시간급상승검색어 자동 발송하는 봇 만들기 2: 실급검 크롤링 실시간 급상승 검색어를 정해진 시간마다 크롤링해 텔레그램 메시지로 보내주는 봇을 제작합니다. (흰색 말풍선이 봇이 보낸 거고 녹색 말풍선은 접니다) 이 프로젝트는 아래 과업으로 이루어집니다: 텔레그램 봇 API 접근 권한 얻기 실시간 급상승 검색어 크롤링해 텍스트 파일로 저장(현재 글) 웹크롤링과 메시지 발송을 수행하는 텔레그램 봇 만들기 이번 포스팅에서는 실시간 급상승 검색어를 크롤링해 txt 파일로 저장하는 것까지 다룹니다. 준비과정 크롤링하려는 실시간급상승검색어 페이지가 동적으로 구현되어 있기 때문에 HTML을 열어봐도 실급검 정보는 안 보입니다. 그렇기 때문에 BeautifulSoup4 패키지는 사용할 수 없고요. Selenium 패키지를 사용합니다. Selenium 패키지를 사용한다는 것은 크롬.. 2023. 8. 13. [파이썬] 실시간급상승검색어 자동 발송하는 봇 만들기 1: 텔레그램 봇 생성 실시간 급상승 검색어를 보내주는 봇을 만들려고 합니다. 텔레그램 봇을 만들어서 크롤링(스크래핑)한 실시간 급상승 검색어를 일정 시간마다 쏴주는 프로그램이에요. 이 프로젝트는 아래 과업으로 이루어집니다: 텔레그램 봇 API 접근 권한 얻기(현재 글) 실시간 급상승 검색어 크롤링해 텍스트 파일로 저장 웹크롤링과 메시지 발송을 수행하는 텔레그램 봇 만들기 텔레그램 신규 봇 생성하기 텔레그램으로 메시지를 자동 발송하기 위해서는 봇을 생성해야 합니다. ▼ PC용 텔레그램 클라이언트를 설치해줍니다. ▼ 클라이언트를 실행해 인증과정을 완료하고, 검색창에 "botfather"를 입력합니다. 텔레그램 봇과 관련된 다양한 명령어를 안내해줄 텐데, 우리는 새로운 봇을 생성하려는 것이므로 /newbot을 선택합니다. ▼ 봇 .. 2023. 8. 13. 챗GPT로 파이썬 웹 크롤링 코드 작성하기(프롬프트 엔지니어링) 저는 챗GPT를 믿지 않습니다. 이 녀석 구라를 너무 많이 쳐요. 그것도 아주 잘 칩니다, 그럴 듯하게. 그러나 챗GPT도 파이썬 코드 작성에 있어서 만큼은 진심이라서(영어 다음으로 많이 학습된 언어가 파이썬이라죠), 질문만 잘 던지면(=프롬프트만 잘 작성하면) 제법 잘 작동하는 코드를 내놓습니다. 제가 웹사이트 크롤링하는 코드를 짜달라고 부탁한 적이 몇 차례 있는데, 높은 확률로 잘 작동하더군요. 오늘 포스팅에서는 어떻게 질문을 던져야 챗GPT가 잘 작동하는 웹사이트 크롤러를 작성해주는지 알아보겠습니다. 저는 네이버를 예시로 들었지만, 원리만 이해하면 다른 구조의 웹사이트를 크롤링할 때도 써먹을 수 있습니다. 실습 예시 네이버에서 특정 키워드를 검색했을 때 VIEW 영역에 노출되는 검색결과들의 제목과 .. 2023. 4. 30. 이전 1 2 3 4 ··· 13 다음 반응형
