1. Исследовательский раздел

В исследовательском разделе были рассмотрены основные проблемы современной обработки информации. Описана сущность и предназначение систем классификации и структуризации документов. Проанализированы, существующие систем классификации и поиска документов, технологии и алгоритмы, позволяющие как проводить анализ документов, так и ускоряющие анализ и поиск требуемой информации.

1.1 Проблемы современной обработки информации

Одна из основных проблем, возникающих при поиске информации со пользователем, заключается в сложности точной формулировки запроса – подбора ключевых слов (фраз), которые необходимо найти в документах. Это может быть связано с рядом причин:

-         Недостаточное знание терминологии предметной области;

-         Широта предметной области;

-         Вложенный характер предметной области;

-         Наличие в языке многозначных и синонимичных слов;

-         Орфографические ошибки в написании искомых слов, которые могут встречаться как в текстах, так и в самом запросе;

-         Необходимость использования в запросе поиска не только отдельных ключевых слов, но и фраз.

Помимо проблем возникающих со стороны пользователя есть серьезные проблемы при подготовке обрабатываемой информации:

-         Не структурированность и слабая формализация информации;

-         Большой объём информации;

-         Неконтролируемое качество информации;

-         Разнородность информации;

-         Большое количество "информационного шума".

Отмеченные недостатки присущи большинству современных баз данных, т.к. они нацелены на работу со структурированной информацией, когда для выборки нужной информации используются критерии относительно небольшого набора информативных атрибутов и не могут эффективно работать с неструктурированными данными.

1.2 Предназначение классификации документов

Классификация документов – это распределение документов на классы по определенным критериям. Классификация позволяет упорядочить любое множество документов, разделить его на группы по любым признакам сходства или различия и рассматривать в теоретическом или прикладном плане однотипные объекты [1.1]. Классификация также позволяет рассмотреть документацию в совокупности для решения тех или иных практических задач.

Классификация документов необходима в случаях:

-         Больших объемов накапливаемых документов;

-         При необходимости быстрого поиска документов, используя некоторый набор атрибутов документов как информацию для позиционирования во всем объеме хранимых документов.

Автоматическая классификация документов – это одно из направлений искусственного интеллекта [1.2].

1.3 Анализ современных систем классификации и поиска документов

При разработке проекта были проанализированы основные подходы и решения, применяемые к решению подобных задач, выявлены их положительные и отрицательные стороны, позволяющие сравнивать методы между собой и выбирать наиболее подходящие из них для решения конкретных, узконаправленных задач.

1.3.1 Обзор существующих подходов классификации документов

В информационной практике широко известен классический подход к отбору информации, в котором формулируется поисковый запрос с использованием терминов, отражающих тематику информационной потребности. Имеется широкий спектр информационно-поисковых систем, реализующих этот подход. В большинстве таких систем пользователь имеет возможность уточнить информационное значение терминов при помощи булевой логики или присвоения им весовых коэффициентов. Однако формулирование поисковых запросов является непростой задачей для неподготовленного пользователя, поскольку такой формальный подход к формулированию запроса принуждает его приспосабливаться к системе, что создает для него свои неудобства. В связи с этим требуется наличие специалистов по обработке информации, к профессиональному уровню которых предъявляются высокие требования.