Скачать или смотреть Очистите Интернет с помощью Python, BeautifulSoup, Pandas и Selenium

Узнайте, как использовать Python, Selenium WebDriver, BeautifulSoup и Pandas для очистки веб-сайтов и сбора больших наборов данных, которые в конечном итоге понадобятся вам для ваших проектов в области науки о данных. Все кодирование будет выполняться в Google Colab, поэтому вам будет очень легко следовать этому руководству.

Я буду использовать Google Colab и сделаю записную книжку Python доступной на.

Код на Github: https://github.com/armindocachada/scr...

ТАЙМЕРЫ:

0:00 Введение
4:00 Запуск ноутбука в Google Colab
4:27 Установка Selenium / Webdriver с безголовым хромом
4:54 Открытие страницы для очистки в браузере Chrome
5:14 Использование wd.find_element_by_id для ввода поискового запроса
6:30 Ввод поискового запроса с помощью send_keys ()
8:30 Нажатие кнопки поиска с помощью кнопки (()
11:00 Использование implicit_wait, чтобы позволить webdriver ждать, пока элемент будет доступен
12:30 использование wd.find_element_by_class_name для поиска элемента по имени класса
13:30 Использование библиотеки Pandas pd.read_html () для чтения таблицы из HTML
18:00 Использование BeatifulSoup для синтаксического анализа HTML на странице