[Архэ] Компьютерная лингвистика. Классификация, кластеризация и оценка сходства текстов (2024)

Описание

Компьютерная лингвистика — одна из наиболее динамично развивающихся областей на стыке теории и практики. С достижениями компьютерной лингвистики мы сталкиваемся каждый день: это и машинный перевод, и поиск в Интернете, и голосовые помощники, и многое другое. За каждым таким продуктом стоит серьёзная работа лингвистов и программистов. В ходе курса мы поговорим об истории компьютерной лингвистики и о наиболее популярных её методах, а также посмотрим, как они позволяют решать важные практические задачи: например, проверять орфографию или классифицировать по темам новости.

7. Классификация, кластеризация и оценка сходства текстов

Одна из важных задач компьютерной лингвистики — объединение похожих текстов в группы. Это может быть как деление на заранее заданные классы («Спорт», «Политика» и т. п.), так и деление на основе сходства самих текстов. К примеру, новостные агрегаторы сперва объединяют похожие тексты в один сюжет, а затем относят его к определенному классу. На занятии мы поговорим о том, как можно оценивать расстояние между текстами, чем отличается задача классификации от задачи кластеризации и как такие задачи решаются.

Лектор: Пиперски Александр Чедович, кандидат филологических наук, доцент Института лингвистики РГГУ, научный сотрудник Школы филологии НИУ ВШЭ.