전체 글

[웹크롤링] 서버 요청 실패 시, 사용자 에이전트(User-Agent) 활용하기

서버 상태 확인하기 import requests url = "웹페이지주소" html = requests.get(url) print(html) 결과가 200 성공 404 Not Found 403 Forbidden 500 내부 서버 오류 요청 금지된 페이지 만약 400, 500이 나오면, 봇을 막아놓은 페이지인 경우일 수 있다 따라서 로봇이 아닌, 사람인 척하는 방법이 있다 requests의 header에 User-Agent 주소를 넣는 것이다 User-Agent사용하여 금지된 페이지 뚫기 1. 나의 User-Agent 주소 찾기 https://www.whatismybrowser.com/detect/what-is-my-user-agent/ 구글에 user agent라고 검색하면 두번째 링크에 들어가면 파란색..

[웹 크롤링] 웹페이지의 html 가져오기 - requests 모듈

requests 모듈이란? 파이썬 사용자를 위한 라이브러리로, HTTP/HTTPS 웹 페이지에 요청(get, post, put, delete)하기 위해 사용되는 모듈 웹페이지의 html (텍스트로) 가져오기 1. requests 모듈 설치 2. requests 모듈 사용 3. 원하는 웹페이지의 url 입력 4. requests.get() - html 가져오기 요청 5. print(.text) - html 텍스트로 출력 코드 pip install requests ㄴ다른 코드나 주석 있으면 설치 안됨.. #모듈 사용 import requests #원하는 http/https 웹페이지 주소 입력 > 반드시 ""로 묶는다! url = "https://code-be.tistory.com/" #url은 변수임! #웹..

모듈, 패키지, 라이브러리?

프로그램 파일 관리 및 활용 모듈 특정 기능을 구현하는 소스코드를 정리한 파일 같은 개념 import 모듈명 패키지 특정 기능과 관련된 여러 모듈을 담은 폴더 같은 개념 라이브러리 유용한 책이 많은 도서관처럼 특정 기능에 대한 모듈과 패키지들의 집합 (모듈화함) pip install 라이브러리(모듈)명 ex) 수학 풀이 프로그래밍 모음 라이브러리 => 안에 구구단 패키지 => 안에 2단 출력하는 모듈 *개발에서 라이브러리와 모듈은 동일한 의미라고 생각하면 된다. 둘 다 결론적으로 자주 사용하게 되는 코드를 하나의 함수나 클래스라는 단위로 묶어서 코드를 재사용할 수 있게 하는 것이다. *보통 모듈을 설치(install) 후 사용할 때 import를 입력! https://blckchainetc.tistory..

웹 브라우저(browser)란?

서버 컴퓨터에서 데이터를 가져와 해석하여 사용자의 컴퓨터의 디스플레이에 규칙에 따라 예쁘고, 역동적으로 (html, css, java script 활용) 보여주는 소프트웨어/애플리케이션 대표적인 브라우저 -크롬(google) -엣지(MS) -웨일(naver) -사파리(appe) 등

포트번호 vs. IP 주소?

- 포트번호가 아파트의 동호수 - IP주소는 거리주소 네트워클/서버를 통해 데이터를 주고 받을 때 필요