정보문화사 '파이썬으로 배우는 웹크롤러' 저자직강!

- 세종도서 학술부분 수상도서 

 

 

 

 

 

아직도 수작업으로 데이터 다루는 분들 필독!

파이썬 쌩기초부터 함께하는 웹크롤러봇 만들기 수업이 오픈했습니다. (15기)

 

8월 11일부터 강남역 5분거리 강의실에서 매주 일요일 1시~4시, 7주간 진행됩니다. 

더 자세한 내용 (커리큘럼)은 홈페이지 www.codingapple.com 에서!

 

(9월 15일은 추석 연휴로 인해 쉬고 다음주 이어 6주차 수업 진행합니다!)

 


 

 

강의 특징

 

1. 파이썬 배운다고 기초문법만 주구장창 외우셨나요? 코딩애플에선 Project-based Learning 으로 재밌게 문법을 배울 수 있습니다. 

2. 막히는 부분은 바로바로 맘껏 물어보실 수 있습니다. 제발 물어봐주세요. 

3. 크롤링 프로젝트를 수없이 많이 만들어보게 됩니다. 프로그래밍 처음인 분들도 크롤링/데이터수집자동화 프로그램 자유자재로 만들어내는게 목표!

 

 

 

 

현재까지 진행해본 크롤러 프로젝트들 

 

- 쇼핑몰의 상품목록을 전부 가져오는 크롤러 

- 포털 뉴스 목록 가져오는 크롤러

- 크롤링 봇 방지장치해놓은 웹사이트 뚫는 법

- 60분 걸릴 작업 멀티쓰레딩으로 60초만에 하는 법

- 크롤러 멀티 쓰레딩으로 본의아니게 DDOS 공격하는법

- 크롤링 방지장치가 잘되어있는 구글, 유튜브 검색결과는 API 사용해보기

- 엑셀 csv형식으로 데이터 정리 후 추출하기 

- Selenium으로 인스타그램 댓글/사진/태그/좋아요 크롤링하기

- 중고차 마켓 매물 이름/사진/차종/연식 크롤링하기

- 전자공시시스템(Dart) 기업목록 크롤링하기

- LG U plus 샵의 날마다 바뀌는 공시 지원금 크롤링하기

- 크롤러로 강남맛집 상위노출 블로거 자동 선정하기

- 주식 상한가 하한가 자동수집 및 알림 

- 네이버 쇼핑 상품목록과 가격 수집

- 화장품 쇼핑몰 데이터 수집과 차단우회 

 

 

 

 

 

 

 

커리큘럼1. 실전 프로젝트로 배워보는 파이썬 쌩기초!

 

파이썬 책봐도 이해안되시던 분들을 위해 준비했습니다. 

실전 프로젝트로 재밌게 배워보는 파이썬 기초!

 

솔직히 책만 보면 다 할 수 있다고들 하는데

코딩 초심자라면 파이썬 책만으로 이해 안되는 부분이 90%라고 장담합니다.  

코딩애플에선 재미없는 파이썬 기본서들과는 다른 방향으로 수업을 진행하고 있습니다. 

 

 

처음부터 힘들게 문법수업만 이어나가진 않습니다. 

첫날 부터 바로 네이버 주식 크롤러 제작에 들어가며 문법은 프로젝트와 병행해서 학습하게 됩니다.

실전 프로젝트와 함께 배운다면 그 이해안되던 for, def 문법도 빠르게 이해가 가능합니다!

 

실제 LG 패션, 네이버, 교보생명, 다수 스타트업 현직자 분들이 배우고 가셨습니다! 

 

 

 

 

 

 

 

 

 

프로젝트 2. 실전 웹크롤러 만들기 프로젝트 


파이썬이 데이터 분석 및 활용을 위한 프로그래밍 언어로 유명하긴 하지만

 

그래서 요즘은 데이터 분석 스킬보다 화두가 되는건 바로 파이썬 데이터 수집!  

  

또한 파이썬 기초를 배우며 가장 쉽게 만들어볼 수 있는 프로젝트가 바로 '웹 데이터 수집 크롤러'인데요! 

 

그래서 파이썬 과정에서는 첫 번째 실전 프로젝트로 웹에서 데이터를 수집해서 자동으로 정리까지 해주는 크롤러를 제작하고 있습니다. 

 

네이버 검색결과와 네이버 댓글, 그리고 비트코인 거래소 데이터를 수집하고 자동 정리해주는 방법을 배우게 됩니다! 

 

 

이번 강의 번외 프로젝트로는 수집한 데이터를 실제 데이터 분석을 위한 input으로 만들기 위해 

 

- 문자열 전처리 기법

- 숫자 처리 기법

- 데이터 저장과 출력

- Pandas를 이용한 행렬 다루기 

- 데이터 수집 및 전처리 결과 파일 저장

- 간단한 분석 

 

 

등 본격적으로 수집한 데이터들을 분석하기 위한 사전작업과 실제 간단한 분석을 배워보게 됩니다!  

 

특히 데이터 처리와 저장을 위해 파이썬의 Pandas라는 라이브러리의 Dataframe을 이용해

행과 열단위로 데이터를 처리하고, 저장하는 과정을 배우게됩니다. 

 

Pandas는 파이썬으로 데이터분석을 하려는 분들이 거의 필수적으로 짚고 넘어가는 라이브러리이며

분석 결과 등을 엑셀 등으로 손쉽게 추출이 가능하기 때문에 나중에 데이터 분석 업무에 큰 도움이 되시리라 생각합니다. 

 

 

 

 

 

 

상세 커리큘럼 

 

1주차: 파이썬 기초문법 다루기

    - 변수선언

    - 데이터 타입

    - 연산자

    - 반복문

    - 조건문

 

2주차: 웹 환경 이해하기

    - requests를 이용한 서버와 클라이언트 이해

    - bs4를 이용한 html의 이해

 

3주차: 네이버 검색엔진 크롤러

    - 파이썬 문법: 함수

    - 네이버 검색엔진 분석 및 크롤러 개발

 

4주차 네이버 웹툰 댓글 크롤러

    - 파이썬 문법: requests에서 json 다루기

    - 네이버 웹툰 리스트 수집

 

5주차: 네이버 웹툰 댓글 크롤러

    - 파이썬 문법: 모듈

    - 웹툰 댓글 수직

 

6주차: 비트코인 거래소 크롤러

    - 파이썬 문법: CSV 파일형식 생성과 다루기

    - 거래소 원리이해

    - 거래소 사이트 분석 

 

7주차: 거래소 크롤러

    - 거래소 데이터 수집하기

    - Pandas를 이용한 데이터 저장및 관리법

 

 

 

자주 묻는 질문 

 

Q. 책으로 문법배우기 너무 힘들었는데 수업은 따라갈 수 있을까요?

A. 재미없는 문법 수업만 딸랑 진행하지 않습니다. 첫 주부터 실전 프로젝트를 제작해보기 때문에 훨씬 빠르고 재밌게 파이썬 문법에 대한 이해가 가능합니다!

 

Q. 하루 정도 빠져도 상관없나요? 

A. 초반에 빠지는 분들을 위한 강의 필기가 제공됩니다. 

 

Q. 요런요런 사이트도 자동수집 가능한가요?

A. 공인인증서 로그인이 필요한 사이트만 아니면 거의 다 가능합니다.

 

Q. 한번 배우면 나중에 자유롭게 활용도 가능할까요?

A. 실전에서 데이터와 자유롭게 맞서싸울 수 있는 전투형 인간을 만드는게 코딩애플 수업의 목표입니다.

 

 

자세한 내용은 코딩애플 홈페이지 www.codingapple.com