Максим Пантелеев | Text deduplication on social media data

Data Fest Online 2021
NLP in Industry track https://ods.ai/tracks/nlp-df2021

Всем привет! Меня зовут Пантелеев Максим и в этом докладе я хочу рассказать об одной часто встречающейся задаче в обработке естественного языка - дедупликация текстового массива. Эта задача часто встречается в анализе пользовательских обращений, твитов, так и как один из этапов подготовки данных для тренировки сложных моделей, н/п BERT/GPT и тд. Расскажу сходствах и отличиях этой задачи от задачи кластеризации, об основанных на поиске ближайших соседях подходах и не только, сравню качество работы выбранных методов дедупликации на некоторых известных датасетах, а так же ответить на вопрос как влияют на качество дедубликации существующие эмбеддинги текстов, н/п такие как USE/fasttext/word2vec/glove/tfidf и т.д.

Посмотреть эфир и список треков и организаторов: https://datafest.ru/2021/
Зарегистрироваться на фест и получить доступ к трекам: https://ods.ai/events/datafest2021
Вступить в сообщество: https://ods.ai/

Соцсети Data Fest:
https://t.me/datafest
https://vk.com/datafest