О модели оценки качества машинной обработки научной документации и ее влиянии на информационный поиск

Аннотация

Низкое качество научных документов влияет на то, как их можно найти по запросу пользователя. Существующий инструментарий поиска научной документации, как правило, находит огромное количество документов, из которых лишь небольшая часть соответствует запросу пользователя. Тем не менее, эти документы не всегда отображаются в начале результатов поиска. Так происходит чаще всего из-за значительного объема постоянно создаваемой информации, что усложняет поиск и доступ к ней без надлежащего учета всех метаданных и содержания. Что касается содержания документа, то способы, которым автор его структурирует, а – пользователь формулирует запрос, могут вызывать лингвистические различия, по всей видимости, приводящие к возникновению проблем неоднозначности в терминологиях, используемых авторами и пользователями. Поэтому наше исследование направлено на изучение проблемы оценки качества машинной обработки научной документации, и измерения ее влияния на процессы индексации и поиска информации. Чтобы достичь этой цели, мы предлагаем набор показателей и метрик с последующим построением модели изучаемой оценки. Данный набор показателей качества был классифицирован в три основные группы, области, основанные на принципах открытой науки: доступность, содержание и воспроизводимость. В этой связи, качество определяется как показатель, который предусматривает, соответствует ли документ требованиям его успешного поиска. Для определения приоритетности различных показателей был проведен процесс анализа иерархий (AHP – a hierarchical analysis process) с участием трех экспертов, в результате чего был получен набор из девяти взвешенных показателей. Более того, был разработан метод реализации описываемой модели качества для поддержки автоматической оценки качества и выполнения процесса индексации и поиска. Влияние качества на процесс поиска было проверено путем ситуационного исследования, включающего 120 научных документов из области вычислительной техники и 25 запросов, приведших в результате к 21% ответов высокого, 39% низкого и 40% среднего качества.