Скачать или смотреть КАК СОБРАТЬ ДАТАСЕТ ИЗ КРЫШ АВТОМОБИЛЕЙ: СЕКРЕТЫ ПОЛУЧЕНИЯ БОЛЬШОГО DATASET.

КАК СОБРАТЬ ДАТАСЕТ ИЗ КРЫШ АВТОМОБИЛЕЙ: СЕКРЕТЫ ПОЛУЧЕНИЯ БОЛЬШОГО DATASET.

Сегодня мне попался на глаза запрос - помогите собрать dataset из крыш автомобилей. «Ну и запросы у вас», - сказала база данных в моей голове и зависла.

Конечно, я понимаю, что мечта каждого datascientist’а – очищенная выборка без ошибок, выбросов и пропущенных значений, с полным набором данных, а вообще, вся такая красота готовая. Однако, скажу честно, я таких выборок в своей жизни не встречал ни одной. А поскольку эффективность вашей модели я напрямую зависит от качества исходного датасета, вы потратите много времени на его подготовку к моделированию: очистку, нормализацию и генерацию переменных. При этом в первоначальной выборке могут запросто отсутствовать данные, нужные для формирования предикторов и целевых переменных. Таким образом, перед datascientist’ом возникает вопрос обогащения датасета.

В этой статье мы рассмотрим НЕСКОЛЬКО ЛЕГАЛЬНЫХ СПОСОБОВ СБОРА ЧУЖИХ БОЛЬШИХ ДАННЫХ ДЛЯ СВОИХ БИЗНЕС-ЗАДАЧ:
использование готовых датасетов,
работа со веб-платформами, предоставляющими статистику,
использование информации со сторонних сайтов по просту говоря – парсинг,
краудсорсинг и яндекс-толока.

Про все эти четыре способа вы сможете подробно почитать в полном варианте статьи по ссылке, потому что соцсети ограничивают полет моей мысли количеством знаков. Там будут десятки ССЫЛОК НА ПОЛЕЗНЫЕ РЕСУРСЫ и МОИ РЕКОМЕНДАЦИИ, как практика. Копируем ссылочку, читаем, применяем, рассказываем в комментариях результаты применения:
https://docs.google.com/document/d/1K...

#gorohovschool #датасет #программисты