Скачать или смотреть 시가총액 분석(7부) - for문 하나로 2,300개 종목 완전 정복! 모든 페이지 자동 수집

드디어 시가총액 분석 프로젝트의 하이라이트! 웹사이트의 모든 페이지를 자동으로 이동하며 2,300여 개에 달하는 전체 종목의 데이터를 수집합니다. 🤖

이번 영상에서는 URL의 '쿼리 스트링(Query String)'을 변경하여 페이지를 이동하는 원리를 배우고, 파이썬 'for' 반복문과 'range()' 함수를 사용해 1페이지부터 마지막 페이지까지 데이터 수집을 자동화하는 코드를 완성합니다.

수집한 대량의 데이터는 Pandas를 통해 정제하고, 최종적으로 'total_page.csv'라는 하나의 파일에 모두 저장하는 과정까지, 데이터 수집의 A to Z를 경험해 보세요!

이번 영상에 배울 것

URL 쿼리 스트링(Query String)을 이용한 페이지 이동 원리
'for' 반복문과 'range()' 함수를 활용한 페이지 순회 자동화
여러 페이지의 데이터를 하나의 리스트에 누적 저장하는 방법
수집한 전체 데이터를 Pandas로 정제하고 CSV 파일로 저장하기

누구나 혼자 만들 수 있습니다!

👉 이론과 문법 학습에 그치지 않고, 배운 지식을 직접 실전에 적용하고자 하는 독자들을 위해 '혼자 만들면서 공부하는' 시리즈를 준비했습니다.

👉 일상과 업무에 실질적인 도움이 되는 프로젝트를 직접 완성하는 것이 핵심 목표입니다.

관련 도서 구매처 ('혼자 만들면서 공부하는 파이썬')

Yes24: https://www.yes24.com/Product/Goods/1...
교보문고: https://product.kyobobook.co.kr/detai...
알라딘: http://aladin.kr/p/lzsPq
한빛미디어: https://www.hanbit.co.kr/store/books/...

타임라인 & 핵심 내용

00:13 페이지 이동 원리 이해: 네이버 금융 시가총액 URL의 '?page=' 뒤에 숫자를 변경하면 해당 페이지로 이동할 수 있는 쿼리 스트링 구조를 파악합니다.
02:24 'for' 반복문으로 페이지 이동 자동화: 'for idx in range(1, 4):' 구문을 사용하고, 'page.goto()' 함수의 URL에 'f'...&page={idx}'' 와 같이 변수를 삽입하여 페이지 이동을 자동화합니다.
03:54 데이터 누적 문제 발생: 반복문 안에서 데이터를 계속 덮어써서 마지막 페이지의 데이터만 저장되는 문제를 확인합니다.
05:56 데이터 누적 문제 해결: 데이터 저장용 변수('tag_body')를 반복문 시작 전에 빈 리스트로 선언하고, 반복문 안에서는 'append()'로 데이터를 추가하여 모든 페이지의 데이터를 누적 저장합니다.
08:07 Pandas로 전체 데이터 정제: 이전에 작성했던 데이터 정제 및 CSV 저장 코드를 가져와, 수집한 전체 데이터에 적용합니다.
09:22 Pandas 데이터프레임 생성: 'pd.DataFrame(tag_body, columns=tag_header)' 코드로 수집한 전체 데이터를 데이터프레임으로 변환합니다.
12:21 전체 데이터 수집 실행: 반복문의 범위를 'range(1, total_page + 1)'로 수정하여 1페이지부터 47페이지까지 모든 페이지의 데이터를 자동으로 수집하고 'total_page.csv' 파일로 저장합니다.
13:03 최종 결과 확인: 저장된 CSV 파일을 열어 1번 데이터부터 2314번 데이터까지 모든 종목의 데이터가 성공적으로 수집되었는지 확인합니다.

🙋‍♀️ 질문은 댓글 또는 저자의 오픈채팅으로 문의하세요!

👍 도움이 되셨다면 '좋아요'와 '구독' 부탁드립니다!

#대용량데이터수집 #페이지자동화 #Pandas #파이썬 #파이썬강의 #파이썬기초 #파이썬활용 #파이썬튜토리얼 #혼자공부하는 #혼자공부하는파이썬 #혼자공부하는첫프로그래밍 #혼자만들면서공부하는파이썬 #한빛미디어