반응형

Crawling 4

[Python - Crawling] API 활용하여 날씨 예보 데이터 호출하기(OpenWeatherMap)

OpenWeatherMap API로 현재 날씨 / 예보 정보 호출하기 활용할 사이트는 다음과 같다. https://openweathermap.org/ Сurrent weather and forecast - OpenWeatherMap Access current weather data for any location on Earth including over 200,000 cities! The data is frequently updated based on the global and local weather models, satellites, radars and a vast network of weather stations. how to obtain APIs (subscriptions w openweather..

Python/Crawling 2023.06.29

[Python - Crawling] API 활용하여 과거 기상 관측 데이터 불러오기

기상청 허브에서 제공하는 API를 활용하여 파이썬으로 과거 기상 관측 데이터를 불러와 보겠다. 본 포스팅에서는 1. 먼저 기상청 API 허브 사이트에 대해 설명하고, 2. 파이썬 코드로 실제 불러오는 부분을 실습해보겠다. 먼저 기상청 API 허브 사이트에서 회원가입을 한다. https://apihub.kma.go.kr/ 기상청 API허브 apihub.kma.go.kr 회원가입, 로그인을 하고나면 마이페이지에 자동으로 인증키가 생성된다. 따로 신청할 필요도 없다. 위 사진과 같이 개인 회원은 하루 최대 2,000건 호출 할 수있으며, 현재 몇 회 호출했는지도 확인할 수 있다. (기업 회원은 하루 최대 3,000건) 과거 지상에서 관측되었던 날씨를 불러오고 싶다면 홈페이지에서 "지상관측"을 눌러 들어간다. ..

Python/Crawling 2023.03.28

Crawling in Python(request, BeautifulSoup, Selenium) (2)

이전 포스팅에서 Crawling이 무엇인지와 BeautifulSoup과 Selenium의 차이점, 웹페이지가 어떻게 구성되어있는지, HTML Tag란 무엇인지, BeautifulSoup으로 Tag를 어떻게 찾는 지 등에 대해 알아보았다. 2023.02.21 - [Python/Crawling] - Crawling in Python(request, BeautifulSoup, Selenium) (1) Crawling in Python(request, BeautifulSoup, Selenium) Python에서 Beautiful Soup과 Selenium으로 Crawling하는 방법 먼저 Crawling이란? 컴퓨터 소프트웨어 기술로 웹 사이트들에서 원하는 정보를 추출하는 것이다. 웹사이트도 코드로 짜여져있기때..

Python/Crawling 2023.02.22

Crawling in Python(request, BeautifulSoup, Selenium) (1)

Python에서 Beautiful Soup과 Selenium으로 Crawling하는 방법 먼저 Crawling이란? 컴퓨터 소프트웨어 기술로 웹 사이트들에서 원하는 정보를 추출하는 것이다. 웹사이트도 코드로 짜여져있기때문에 어느정도 정형화되어있다. 이러한 규칙들을 기반으로 원하는 정보만 추출하는 것이 바로 웹 크롤링이다. 뉴스 기사 웹페이지에서 기사 제목이나 기사 내용들을 수집한다던가, SNS에서 포스팅 내용, 좋아요 수 등을 수집하는 것 모두 크롤링이라 할 수 있다. 이를 Python으로 진행해 볼건데, 가장 대표적인 Library가 Beautiful Soup과 Selenium이다. 두 라이브러리로 본격 크롤링을 하기 전에 웹이 어떻게 구성되어있는지를 먼저 알아보겠다. 다음은 많이 보는 네이버 웹페이지..

Python/Crawling 2023.02.21
반응형