Скачать или смотреть [Meetup DataLab] Web Crawlers + Machine Learning: incrementando seus modelos com features da web

Avalie o Meetup: https://www.menti.com/ge4qizqngf

Em tempos de Big Data, páginas web são mais uma fonte de informações para análises. Seja a partir de textos, imagens, dados de gráficos ou vídeos, a forma mais conhecida para extrair essas informações é a partir de Web Crawlers. As informações captadas podem ser utilizadas para diversos fins, tais como marketing, recrutamento, finanças e ações jurídicas.
 
No Meetup de agosto, vamos discutir conceitos de web crawling e mostrar como eles podem ser utilizados em algumas atividades do nosso dia a dia em Machine Learning, e em quais cuidados tomar. Na primeira palestra Tatyana Zabanova, Cientista de Dados no Nubank e mestra em Estatística pela USP-São Carlos, nos contará sobre conceitos chave, Web Scraping "lazy" e mostrar por onde começar com APIs. Em seguida, Henrique Lopes, Engenheiro de Dados no DataLab Serasa Experian e graduado em Ciência da Computação na Estácio de Ribeirão Preto, contará sobre suas experiências com web scraping e abordará o diferentes estratégias para construção de crawlers.
 
Palestra 1: Estratégias na construção de web crawlers
 
A arquitetura de um sistema de crawler podem variar de acordo com: tipo de dado que se pretende extrair, volume, número de requisições no mesmo domínio e armazenamento. É sempre importante analisar os aspectos jurídicos e éticos envolvidos, isso pode interferir ou até mesmo impedir o uso dos dados. Vamos abordar as principais ferramentas disponíveis para parseamento e navegação em páginas web.
Para extrair o máximo de informação de um documento html é preciso entender como sua estrutura foi desenvolvida, assim como os muitos frameworks javascript. A execução do crawler pode encontrar alguns desafios, é muito comum que as execuções sejam monitoradas e ajustes sejam implementados ao longo do tempo.
 
Sobre o palestrante:
Henrique Vieira Lopes graduado em Ciência da Computação no Centro Universitário Estácio de Ribeirão Preto. Possui experiências com desenvolvimento de sistemas de gestão empresarial e modelos de aprendizagem de máquina. Atualmente atua no desenvolvimento de aplicações na equipe de engenharia de dados do Datalab Serasa Experian. Nas horas vagas é cozinheiro de hambúrguer.
 
Palestra 2: Web APIs e o uso dos dados para Data Science
 
Muitas informações estruturadas estão disponíveis na web em XML, CSV, TXT e principalmente APIs, e é essencial fazer um bom aproveitamento delas. Mas essa facilidade é, muitas vezes, enganosa, e é necessário simular o comportamento humano para evitar possíveis bloqueios ou até mesmo solucionar captchas para ter acesso. E tendo coletado  as informações, enfrentamos mais desafios: organizar e estruturar os dados brutos de forma a usá-los de forma eficiente em modelos de Machine Learning.
 
Sobre a palestrante:
 
Tatyana Zabanova é formada em estatística pelo IMECC-UNICAMP e fez mestrado em estatística na USP-São Carlos. Trabalhou por vários anos em consultoria, e atualmente é Data Scientist no Nubank. É artista digital no tempo livre e gosta de fazer coisas esquisitas usando o computador.
 
Encerraremos o evento com uma apresentação de 10min do nosso time de Talent Acquisition, falando sobre nossa cultura e processo seletivo.
 
Agenda:
19h00 – Henrique Lopes
19h45 – Tatyana Zabanova
20h30 – Perguntas
20h50 – Talent Acquisition
21h00 – Encerramento