Заключение

Электронные фонды современной библиотеки с нарастающими темпами накапливают неструктурированные текстовые ресурсы. Причем объем накопленной текстовой информации может быть таким значительным, что задача подготовки их полного библиографического описания становится крайне затруднительной.

В диссертационной работе предлагается методика создания полнотекстовых баз данных на основе текстовой информации, накопленной в электронном виде, при этом любой массив электронных текстов рассматривается как электронный фонд.

В диссертационном исследовании показано, что задача смыслового анализа текстов включает следующие основные этапы:

1. создание полнотекстовой базы данных;

2. классификация текстов по тематической принадлежности;

3. числовая оценка меры сходства текстов.

Для реализации первого этапа - создание полнотекстовой базы данных - была использована система автоматизации библиотек ИРБИС. В настоящее время система ИРБИС, в разработке которой принимал участие и автор настоящей работы, применяется более чем в 600-ах библиотеках России,

СНГ и других стран. С целью включения в систему ИРБИС алгоритмов смысловой обработки текстов была разработана новая структура хранения данных и полнофункциональная библиотека доступа к базам данных ИРБИС64.

В рамках реализации второго этапа - классификация текстов - были проведены теоретические исследования и сделаны выводы о возможности применения методов математической статистики для решения этой задачи.

Важным аспектом системы автоматизированного анализа текстов является тот факт, что все специальные подробности применения математической статистики скрыты от пользователя и для работы с системой требуется только знание предметной области полнотекстовой базы данных. В диссертационной работе даны практические рекомендации по применению системы визуального эвристического анализа специалистами библиотеки при классификации текстов. На конкретных примерах продемонстрированы возможности системы. Для неспециалистов в области математической статистики в Приложении дается подробное описание принципов работы системы.

Достоверность работы автоматизированной системы смыслового анализа текстов обеспечивается алгоритмами числовой оценки меры близости текстов, составляющими последний, третий этап решения общей задачи. В диссертационном исследовании показано, что основным инструментом смыслового сравнения текстов являются предметно­

ориентированные словари, содержащие слова с повышенной частотой встречаемости. Набор таких словарей составляет естественно-тематический классификатор полнотекстовой базы данных. Расчеты и практические оценки меры близости текстов на конкретных примерах подтверждают достоверность работы алгоритмов смыслового анализа текстов. Поставлен вопрос о соотношении рубрикаторов, применяемых в библиотеке при создании библиографических описаний, и естественно-тематического классификатора системы.

В диссертационном исследовании даны практические рекомендации по применению автоматизированной системы смыслового анализа текстов в библиотеках. Освещены вопросы дополнительного обучения специалистов библиотеки для работы с предлагаемой системой.

По результатам работы сделаны следующие выводы:

• смысловой полнотекстовый анализ является необходимой частью современной системы автоматизации библиотек;

• задачи смыслового анализа и тематической классификация текстов относятся к слабоформализованным и должны решаться с помощью эвристических алгоритмов;

разработанные алгоритмы позволяют автоматизировать создание полнотекстовых баз данных в условиях библиотеки (без привлечения сторонних специалистов) и предоставить читателям сервис в виде полнотекстового поиска и смыслового поиска текстов, близких к заданному тексту-образцу.