처음부터 차근차근

웹스크래핑(크롤링)은 bs4를 사용하여 많이 진행된다. requests와 bs4를 사용하여 크롤링을 진행하며, 이때 원하는 데이터를 가져올 수 있다. 먼저 내가 가져오고 싶은 데이터에 대해 알아야 한다. 원하는 URL에 들어간 뒤, 원하는 데이터에 왼쪽 클릭 > 검사를 클릭한다. 이후 확인 시 내가 원하는 데이터의 HTML을 볼 수 있다. 내가 원하는 항목에 Copy > copy selector를 하면 원하는 항목에 대한 주소를 알 수 있다. ex) #mainContent > div > div.box_ranking > ol > li:nth-child(1) > div > div.thumb_cont > strong > a 크롤링 기본 세팅은 이렇게 동작한다. import requests from bs4 im..

requests 라이브러리는 파이썬에서 HTTP를 사용하기 위해 쓰여지는 라이브러리로, 표준처럼 널리 쓰이고 있는 라이브러리이다. requests의 API로는 HTTP 요청 방식에 따라 해당하는 이름의 함수를 사용하면 된다. GET 방식: requests.get() POST 방식: requests.post() PUT 방식: requests.put() DELETE 방식: requests.delete() 오늘은 Get 방식을 설명한다. import requests # requests 라이브러리 설치 필요 r = requests.get('http://spartacodingclub.shop/sparta_api/seoulair') rjson = r.json() print(rjson) Requests.get을 통해..

가상환경이란? - 간단하게 봤을때, 프로젝트별 공구함이라고 생각하면 편하다. - python 라이브러리를 따로 담아둘 수 있다. 가상환경(virtual environment)은 같은 시스템에서 실행되는 다른 파이썬 응용 프로그램들의 동작에 영향을 주지 않기 위해, 파이썬 배포 패키지들을 설치하거나 업그레이드하는 것을 가능하게 하는 격리된 실행 환경 입니다. Python 가상환경을 만들기 위해서는 1. 터미널 환경에서 먼저 폴더가 마지막 경로에 있는지 확인을 먼저 한다. 2. Temminal에 python -m venv venv를 입력한 뒤 엔터 3. 폴더 내부에 venv 폴더가 생성되었는지 확인! 이때, 가상환경을 만들었다고 해서 가상환경을 바로 쓰는게 아니다! 가상환경을 사용하기 위해서는 venv를 활..

window 사용자는, Terminal로 Git bash를 설치하는 것이 좋다. https://git-scm.com/ Git git-scm.com ※ Terminal은 사용자가 텍스트로 명령어를 입력하면, 결과를 텍스트로 화면에 출력해주는 도구로써, 파이썬 라이브러리를 설치하고 파이썬 프로젝트를 실행하는데 사용된다. 그렇다면 Git bash는 왜 설치하는가?? Git Bash란 무엇인가? 'Bash' 는 'Bourne Again Shell' 의 줄임말으로, 스티븐 본 이라는 사람이 개발한 최초의 유닉스 쉘 프로그램인 sh의 확장판 이라는 의미를 담고있다. 쉘 프로그램은 무엇인가? 쉘(shell)이란 키보드로 입력한 명령어를 운영체제에 전달하여, 이를 실행하게하는 프로그램이다. 유닉스는? Git Bash는..