Выводы по 1-й главе

В данной главе проведен анализ существующих программных продуктов анализа текстов. Тенденцией развития рынка является разработка модулей лингвистического прикладного обеспечения для разработчиков систем автоматизации.

В данной главе приводится краткое описание разработанных подходов к решению задачи смысловой обработки текстов:

• Создание полнотекстовой базы данных.

• Естественно-тематическая классификация текстов, для чего необходимо выделение значимых терминов предметной области по признаку превышения общеупотребительной частоты [115,117].

• Для смыслового анализа текстов необходимо представление информации о распределении слов в текстах в числовом виде и структуризация этой информации с помощью алгоритмов решения слабоформализованных задач [114].

В данной главе приводится подробная методика работы автоматизированной системы по созданию полнотекстовой базы данных из массива текстов. Выделены следующие этапы:

• Создание из массива текстов полнотекстовой базы данных и индексация слов из текстов.

• Выделение значимых терминов по критерию превышения общеупотребительной частоты.

• Создание естественно-тематических предметно-ориентированных

словарей.

Предметно-ориентированные словари со словами с повышенной частотой встречаемости по сравнению с общеупотребительной лексикой являются новым поисковым инструментом работы с текстами электронного фонда библиотеки. Распределение терминов предметно-ориентированного словаря по тексту является поисковым образом, который автоматизированная система представляет в числовом виде. Данное представление является начальной точкой работы алгоритмов сравнения и классификации текстов системой визуального эвристического анализа (см. Главу 2.). С ростом объема информации однородной тематики автоматизированная система позволяет сравнивать тексты, не изменяя предметно-ориентированных словарей.

Работа автоматизированной системы иллюстрируется на примере набора статей социологической и экологической тематики.