Анализ текста с помощью глубоких нейронных сетей в цифровых гуманитарных науках и информатике

Аннотация

Объединение возможностей вычислительных технологий и гуманитарных наук — это постоянная работа, ориентированная на создание ресурсов, таких как тексты, изображения, аудио, видео и другие артефакты, доступных в цифровой форме, способных на поиск и поддающихся анализу. В последнее время глубокие нейронные сети (deep neural networks – DNN) доминируют в области автоматического анализа текста и обработки естественного языка (natural language processing – NLP), в некоторых случаях демонстрируя сверхчеловеческую работоспособность. DNN — это самые современные алгоритмы машинного обучения, решающие многие задачи NLP, которые актуальны для исследований в области цифровых гуманитарных наук (Digital Humanities – DH), а именно: проверка орфографии, определение языка, выделение сущностей, определение автора, ответы на вопросы и другие задачи. Подобные контролируемые алгоритмы изучают шаблоны из большого количества “правильных” и “неправильных” примеров и применяют их к новым примерам. Однако использование DNNs для проведения анализа текстовых ресурсов в DH исследованиях сопряжено с двумя основными проблемами: (отсутствие) доступности обучающих данных и необходимость адаптации к предметной области. Данная работа исследует эти проблемы, анализируя многочисленные примеры использования исследований DH в современной литературе и их возможные решения, а также проецирует модель практического решения для экспертов DH о том, когда и как выбирать соответствующие подходы глубокого обучения для своих исследований. Более того, в этой статье мы стремимся повысить осведомленность о преимуществах использования моделей глубокого обучения в сообществе DH.