마리사라의 본진

파이썬 requests 4번째 강의는 Json입니다. 0. 기초 설명 JSON은 JavaScript Object Notation의 약자로 속성과 값의 쌍 또는 키와 값의 쌍으로 이루어진 데이터 오브젝트입니다. JSON은 현재 인터넷상에서 데이터를 주고받을 때 자료를 표현하는 표준 포맷이며 대부분의 언어에서 사용 중입니다. 그리고 이러한 방식으로 데이터를 주고받는 것으로 RESTful API가 있습니다. RESTful API는 AWS에서는 다음과 같이 설명하고 있습니다. 예를들어 어떤 회사에서 오늘의 식단을 알려주는 서버가 있다고 가정하겠습니다. 만약 이 회사가 RESTful API를 사용하지 않는다면 식단을 알기 위해 통신하는 일련의 과정을 모두 개발해야 하며 이를 전달받는 클라이언트도 만들어야 할 것입..

파이썬 BeautifulSoup 2번째 강의는 페이지의 정보를 추출하는 방법입니다. 0. 기초 설명 이전 강의에서 페이지를 크롤링을 하는 방법을 알아보았습니다. 하지만 크롤링 만으로는 단순한 문자의 집합에 불과합니다. 이것을 가공하여 실제로 사용할 수 있는 데이터로 만들어 주어야 합니다. 네이버의 뉴스 토픽을 예시로 들어 보겠습니다. 해당 데이터를 가지고 파이썬에서 현재 뉴스 토픽 1위가 무엇인지 확인하고자 한다고 하겠습니다. 단순한 크롤링 데이터에서 뉴스토픽을 찾기 위해선 아래와 같은 작업이 필요할 것입니다. 뉴스 토픽이라고 적힌 부분을 찾는다 1이라고 적힌 부분을 찾아 저장한다 다음에 오는 텍스트를 찾아 저장한다 2 ~ 3의 작업을 10위까지 반복한다 저장된 값들을 적절히 배치한다 하지만 자세히 보면..

파이썬 BeautifulSoup 1번째 강의는 페이지 크롤링입니다. 0. 기초 설명 저번 BeautifulSoup의 설명에서 크롤링이 무엇인지는 알아보았습니다. 이번에는 BeautifulSoup에서의 크롤링이 무엇인지 알아보겠습니다. requests모듈에서도 웹 페이지의 html정보는 받아올 수 있음을 알고 있습니다. 잘 모르시는 분은 이전 강의를 참조하시기 바랍니다. 2021/01/04 - [파이썬/requests] - 파이썬 requests 2. text와 content 파이썬 requests 2. text와 content 파이썬 requests 2번째 강의는 text와 content입니다. 0. 기초 설명 여러분들이 사용하고 계신 인터넷은 모두 html(HyperText Mark-up Languag..

앞선 requests강의에서 사이트와 기본적인 통신을 하는 방법을 알아보았습니다. 이번 시간부터는 웹 크롤링을 도와주는 모듈인 BeautifulSoup에 대해서 강의해 보도록 하겠습니다. 1. 크롤링 크롤링 또는 스크래핑은 웹 페이지에서 데이터를 추출하는 작업을 말합니다. 일반적인 사용자는 잘 사용하지 않지만, 대부분의 웹 사이트는 크롤링과 비슷한 행위를 합니다. 웹 사이트 중 하나인 NAVER에서는 Yeti라는 검색 로봇을 사용합니다. Yeti는 여러 사이트를 순회하면서 페이지의 정보를 읽습니다. 그 후, 자신의 검색 엔진에 해당 페이지를 등록하게 됩니다. 이러한 방법으로 사이트들이 NAVER의 검색 결과에 등록되게 됩니다. 이런 식으로 사이트의 정보를 수집하는 작업을 크롤링이라고 하며, 이를 도와주는..

파이썬 requests 3번째 강의는 header와 cookie입니다. 0. 기초 설명 (1) header 예전의 requests의 0번 강의에서 대부분의 웹사이트는 HTTP 통신으로 이루어진다고 말씀드렸습니다. 2020/12/09 - [파이썬/requests] - 파이썬 requests 0. 파이썬으로 HTTP 통신하기 파이썬 requests 0. 파이썬으로 HTTP 통신하기 이번 시간부터 파이썬으로 HTTP통신을 하게 해주는 requests모듈에 관해 강의해 보려고 합니다. 우선 기본적으로 requests 모듈을 배우시려고 찾아오신 분들이 http 통신을 모르시진 않겠지만, http 통 marisara.tistory.com 해당 강의에서 사이트를 접속할 때, GET 헤더를 서버에 전송한다고 말씀드렸습..

파이썬 requests 2번째 강의는 text와 content입니다. 0. 기초 설명 여러분들이 사용하고 계신 인터넷은 모두 html(HyperText Mark-up Language)로 되어 있습니다. 보기 좋게 되어있는 네이버의 메인화면도 위처럼 수천 줄의 html 코드로 작성되어 있습니다. 크롬이나 IE같은 인터넷 브라우저들은 HTTP통신을 통해 이러한 html정보들을 서버로부터 수신받고, html 정보에 따라서 서버가 의도한 모양대로 나타내 주는 것입니다. 이것을 requests 모듈에서도 사용이 가능합니다. requests에서는 text와 content라는 명령어가 존재합니다. 이 둘 모두 서버로부터 수신한 내용을 표시하는 코드입니다. text는 수신한 byte단위의 데이터를 자동으로 decode..

파이썬 requests 1번째 강의는 get과 post입니다. 0. 기초 설명 기본적으로 HTTP 통신은 사용자가 먼저 무언가를 보내면, 서버에서 답변을 해주는 형식입니다. 예를 들어서 제가 네이버 사이트를 접속한다고 하겠습니다. https://www.naver.com 네이버 네이버 메인에서 다양한 정보와 유용한 컨텐츠를 만나 보세요 www.naver.com 위와 같은 주소를 입력하여 네이버로 접속을 시도하면, 컴퓨터에서는 네이버 서버에 해당 사이트에 대한 정보를 얻고 싶다는 GET 코드를 보내게 됩니다. 이제 네이버 서버에서는 그에 대한 응답으로 여러가지 코드를 보내게 됩니다. 만약 코드가 OK라는 코드였다면 서버에서는 후속 조치로 네이버 사이트에 대한 정보를 담아서 컴퓨터에 보냅니다. 여기까지가 GE..

이번 시간부터 파이썬으로 HTTP통신을 하게 해주는 requests모듈에 관해 강의해 보려고 합니다. 우선 기본적으로 requests 모듈을 배우시려고 찾아오신 분들이 http 통신을 모르시진 않겠지만, http 통신에 관해 간략하게만 알려드리겠습니다. 0. HTTP 통신 HTTP는 Hyper Text Treansfer Protocol 또는 Hyper TexT Protocol의 약자입니다. 단어를 풀이해보자면 초월(Hyper) 문서(Text) 전송(Transfer) 규약(Protocol)으로 번역할 수 있습니다. 여기서 워드나 한글을 쓰시는 분들은 HyperText와 비슷한 단어로 HyperLink(하이퍼링크)를 들어보신 적이 있으실 겁니다. 해당 하이퍼링크를 클릭하면 바로 네이버 사이트가 나오게 됩니다..