Парсинг сайта на языке Python авто тематики | requests, bs4, csv

★ Подпишись на мой канал с бесплатными курсами программирования!
► моя IDE: https://www.jetbrains.com/ru-ru/pycharm/

▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬
★ НАШЕ КОМЬЮНИТИ ★
▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬
★ Телеграм (Front End): https://t.me/joinchat/FQXf-hN9LRuCosQ...
★ Discord (All):   / discord  

▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬
★ Описание ★
▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬

Данный код предназначен для извлечения информации о автомобилях с веб-страницы auto.ria.com и сохранения полученных данных в CSV-файл. Рассмотрим каждую часть кода по шагам:

Импортирование необходимых библиотек:

requests: эта библиотека используется для отправки HTTP-запросов. В нашем случае она нужна, чтобы получить HTML-код веб-страницы.
BeautifulSoup: инструмент из библиотеки bs4, позволяющий анализировать и извлекать данные из HTML и XML документов.
csv: стандартная библиотека для работы с CSV-файлами.
Определение URL для запроса: Задан URL сайта, с которого мы хотим извлечь информацию.

Отправка запроса на сайт: С помощью метода requests.get() отправляется запрос к указанному URL.

Проверка ответа сервера: Если сервер вернул ошибку (например, 404 или 503), то response.raise_for_status() вызовет исключение.

Парсинг HTML: Создается объект soup — это разобранный HTML-код страницы, который позволяет нам легко искать нужные элементы.

Поиск карточек автомобилей: Все карточки автомобилей на странице ищутся по тегу section и классу ticket-item.

=-=-Извлечение данных из каждой карточки:-=-=

Для каждой карточки автомобиля извлекается определенная информация (название, ссылка на карточку, стоимость, пробег, тип топлива, год выпуска, место продажи, ссылка на фото и дата публикации).
Извлеченные данные сохраняются в словарь car_data, который в конце итерации добавляется в список cars.
Сохранение данных в CSV-файл:

Создается CSV-файл с именем 'cars.csv' для записи.
Определены заголовки столбцов.
Используется csv.DictWriter для записи данных в файл. Это позволяет записывать словари напрямую в CSV-формате.
В итоге у нас есть скрипт, который автоматически собирает информацию о автомобилях с сайта auto.ria.com, соответствующих определенным критериям (например, год выпуска после 2015, мощность более 150 л.с. и т.д.), и сохраняет эти данные в CSV-файле для дальнейшего анализа или использования.

Автор: Андриевский Андрей
Раздел: Графические проекты на Python

#Python #requests #BeautifulSoup #csv #URL #HTTP #requests #HTML, #XML, #response, #soup, #section, #ticket-item, #car_data, #cars, #CSV, #DictWriter
▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬
★ РЕКОМЕНДУЮ ВИДЕО ПО ТЕМЕ ★
▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬
● [[ Курс Python 3 ]] : [[    • Курс Python 3 | Подготовка рабочей среды   ]]
● [[ Базовый JavaScript ]] : [[    • Знакомство с JavaScript – Урок #1 | Б...   ]]
● [[ Курс HTML & CSS ]] : [[    • Знакомство с основным каркасом страни...   ]]

▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬
★ ПОПУЛЯРНЫЕ ПЛЕЙЛИСТЫ ★
▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬
● Курс HTML & CSS:    • Знакомство с основным каркасом страни...  

● Базовый курс JavaScript:    • Знакомство с JavaScript – Урок #1 | Б...  

● Базовый курс Python:    • Курс Python 3 | Подготовка рабочей среды  

● Базовый курс PHP7:    • Установка и настройка PHP-7.4.1 на Wi...  

● Динамический сайт с нуля:    • Установка сервера WAMP (ampps) | Дина...  


requests, BeautifulSoup, csv, URL, HTTP requests, HTML, XML, response, soup, section, ticket-item, car_data, cars, CSV, DictWriter