Смысловая обработка текстов в полнотекстовых базах данных

Данная работа ориентирована на развитие системы автоматизации библиотек ИРБИС [19] (подробнее об ИРБИС в главе 4) с целью поддержки новых технологий при создании полнотекстовых баз данных на основе

массива текстов электронных фондов библиотеки и, соответственно, развития методик извлечения знаний на основе смыслового анализа текстов.

Основное применение интеллектуальных технологий сегодня - это обработка знаний. Системы, ядром которых является база данных или модель предметной области, описанная на языке сверхвысокого уровня, называют интеллектуальными. Чаще всего интеллектуальные системы применяются для решения сложных задач, где основная сложность решения связана с использованием слабоформализованных знаний. Наиболее распространенным видом интеллектуальных систем являются экспертные системы [55,153]. Экспертные системы ориентированы на применение обобщенного опыта высококвалифицированных специалистов в областях, где качество принятия решений традиционно зависит от уровня экспертизы, например, медицина, юриспруденция, геология, экономика и т.д. Принято считать, что экспертные системы эффективны лишь в специфических областях знаний, где важен эмпирический опыт специалистов. В настоящее время на Западе и в России все большее применение находят экспертные системы широкого профиля, в которых находят применение различные алгоритмы обработки информации [4,21,33,154-172]. Эксперт привлекается только для формализации типовой задачи до уровня прикладного представления. После становится возможным скрытого применения опыта эксперта пользователями системы.

Самостоятельным разделом настоящей работы является разработка системы для структуризации числовой информации, которая рассчитывается при подготовке полнотекстовой базы данных к применению алгоритмов смыслового анализа текстов. Данная система является независимым программно-техническим продуктом и может использоваться в различных областях знаний, в частности развитые технологии структуризации позволяют применять ее библиотечным специалистам при создании

естественно-тематического классификатора электронных фондов

библиотеки.

Мы будем рассматривать ту часть электронных фондов библиотеки, под которой будем понимать все текстовые информационные ресурсы. Это могут быть, например, электронные тексты, накапливаемые в библиотеке как результат технологических процессов, например, сканирования текстов или создания электронного проблемно-ориентированного фонда ретроспективных и текстовых документов.

В целом, предлагаемая система работает с набором текстовых файлов и позволяет в оперативном режиме установить среди этого набора группы тяготеющих друг к другу файлов. Причем, критерий, по которому определяется величина “притяжения “, выбирается в диалоговом режиме на основании личного опыта и предпочтений.

Предлагаемая автоматизированная система смыслового анализа текстов имеет дело в общем случае с потоком текстовой информации. Для работы системы необходимо и достаточно иметь базу данных типа “мешок текстов”. Результатом работы системы является структуризация (классификация) текстов.

Как следствие могут быть получены следующие результаты - словари, которые характеризуют данную группу, тексты-образцы для группы как смысловые ядра, числовые характеристики и диаграммы, описывающие взаиморасположение выбранных текстов в некотором тематическом пространстве, которое определяется пользователем системы, фрагменты текстов (автореферат) и наборы фрагментов текстов выбранные по заданным критериям.

При создании больших баз данных естественным образом поднимается вопрос не только о быстром информационном поиске, но также об интеллектуальном смысловом поиске - извлечении знаний и найденной анализе информации с целью накопления опыта. Здесь необходимо еще раз

подчеркнуть разницу между информационным поиском и смысловым анализом найденных текстов. Информационный поиск - это поиск источника для дальнейшего использования, смысловой поиск, в рассматриваемом далее смысле - это часть задачи экспертного анализа для выработки или подтверждения некоторой гипотезы. Для информационного поиска вполне достаточно иметь электронный каталог с его подробными вторичными описаниями документов.

Что такое “скрытое знание”, какие задачи могут решаться с помощью предлагаемой системы? Основными применяемыми алгоритмами служат классификация, типизация, фрагментация и реферирование текстов. Смысловой анализ текстов может быть сведен в рамках статистической теории вероятностей к задаче выдвижения некоторой гипотезы и оценки значимости этой гипотезы в рамках существующего материала. Иначе говоря, данная работа претендует на обоснование того факта, что какая бы задача по извлечению знаний не ставилась, разработанный метод анализа текстов позволит найти некие формы, модели представления данных, которые удовлетворяют заранее заданному критерию правдоподобия. Одновременно система нуждается в опыте и знаниях самого пользователя, то есть результат, строго говоря, неоднозначен и зависит от профессионального уровня подготовки пользователя. Почему так получается, будет ясно из дальнейшего изложения, здесь достаточно сказать что в таком виде проявляется факт не формальности задачи. С одной стороны есть мнение конкретного человека, а с другой накопленный опыт в виде различных текстов. И на то, каким образом соотносятся между собой эти тексты и фрагменты текстов, влияет личность того, кто эти тексты читает. Поэтому основой работы системы является человеко-машинный диалог, в котором предлагаются различные математические методы

обработки данных и результаты либо принимаются, либо отвергаются самим пользователем на основании собственного опыта.

Так как в библиотеке представителем основного информационного ресурса является электронный каталог [147], внедрение новых технологий должно происходить в рамках существующей системы обслуживания. Это значит, что новая услуга - такая как предлагаемый смысловой поиск и анализ найденных текстов должна стать частью системы информационного обслуживания читателей библиотеки.

Задача системы автоматизированного смыслового анализа текстов разбивается на две части - подготовка базы данных к использованию алгоритмов смыслового анализа и разработка интерфейса для использования этих алгоритмов читателем библиотеки.

Подготовка базы данных к применению алгоритмов смыслового анализа заключается, прежде всего, в индексации всех слов из внешних текстов. Технология извлечения слов из текстов может рассматриваться как стандартная процедура подготовки словаря базы данных. Так как при корректуре записей ссылка на внешний текст может считаться неизменной, при актуализации записи процедура извлечения слов из текста может быть опущена.

Далее происходит формализация задачи смыслового анализа текстов. То есть задача сводится к математическому оперированию над числовыми матрицами вида объект-атрибут. Для получения таких числовых матриц используется статистический анализ частоты словоупотреблений в текстах. При этом программа опирается на заранее созданный частотный ряд абсолютных частот для слов естественного языка. Методика создания этого ряда и оценка достоверности описываются ниже в отдельном разделе.

После формализации задачи, перехода от набора слов к цифровым матрицам, применяются специально разработанные алгоритмы решения неформальных эвристических (с участием человека) проблем. Результатом этой работы является набор словарей (списки слов), которые рассматриваются как естественный классификатор накопленной текстовой информации. Смысловой анализ текстов опирается на эти словари, их принято называть предметно-ориентированные словари. Таким образом, подготовка базы данных разбивается на три этапа: индексация, формализация и классификация. Далее будет подробно описан каждый этап.

Индексация слов включает в себя процедуру выделения слов, отсечения окончаний и создание ссылки словаря. При этом слово проходит проверку по стоп словарю. Будем считать, что все тексты написаны на естественном языке, принятом в научном сообществе, в данной предметной области. Так как для смыслового анализа используются среднестатистические методы выделения слов, неординарное применение слова не позволит его использовать, так как на общем фоне такие события будут редки.

Понятия структуризации информации, как о методе извлечения знаний

Ядром системы автоматизированного смыслового анализа текстов служат алгоритмы структуризации числовой информации вида объект-

атрибут. В математике такая структуризация носит название кластеризации [34], кластер это группа объектов, которая может быть выделена из общей массы на основании каких-либо критериев. В нашем случае объектами служат тексты базы данных или слова из текстов. Группы текстов в кластере дают информацию о том, какие и сколько тем, пока еще не сформулированных на естественном языке, представлены в полнотекстовой базе данных. Группы слов в кластере составляют понятийные словари для описания этих тем.

В данной работе рассматривается классификация массив текстов, написанных на естественном языке (иностранные слова отбрасываются) и неограниченной длины отобранных не случайным образом из потока информации, например, по ключевому слову или выражению. Примем за временные ограничения отсутствие синтаксического анализа, так что тексты, написанные на заданную тему разными словами, строго говоря, будут существенно отличаться друг от друга (в случае малой статистической выборки).

В силу неоднозначности и контекстной зависимости естественного языка можем считать тексты слабоструктурированными объектами, в этом случае задача классификации будет считаться слабоформализованной в ряду: неформализованная - слабоформализованная - хорошо

формализованная - полностью формализованная проблема.

С математической точки зрения задача смысловой обработки текстов относится к разряду слабоформализованных задач. Такие задачи отличаются

неопределенностью постановок и/или отсутствием формализованных математических (аналитических) или технологических (алгоритмических) процедур обработки данных, связаны с нечеткой и неоднозначной формулировкой цели, с применением эвристик, не допускающих полной формализации, с отсутствием устойчивой системы понятий и моделей [114].

Формализация представления данных до вида пригодного для численных и графических методов анализа

Для проведения кластеризации исходные данные должны быть обработаны и подготовлены каким-либо математическим методом. Иначе говоря, надо подготовить пространство или систему координат, в которой будет проводиться кластеризация. Этот процесс и носит название формализации задачи. Здесь важно отметить, что основные следствия, которые могут быть получены далее математическим путем, уже содержаться в результате формализации, поэтому принципы, на которые опирается система смыслового анализа, отрабатывают именно здесь.

Базовой числовой информацией для нашей системы является матрица вида объект-атрибут, где объектами изучения являются тексты базы данных, а их атрибутами относительные частоты слов, которые система считает значимыми и выделяет из всей совокупности слов, встречающихся во всех текстах. Относительной частотой слова будем называть число словоупотреблений данного слова во всех текстах базы данных.

Разрабатываемые алгоритмы автоматической классификации базируются на числовом анализе частотного распределения ключевых слов, выбранных из заданного массива текстов. Известно, что это распределение описывается эмпирическим законом Ципфа [173]. Например, для выборки общеупотребительной лексики, использованной в работе абсолютная

частота слов F как функция номера слова N, в упорядоченном ряде по убыванию частоты имеет вид:

Для выборки в 1000000 русских слов общеупотребительной лексики

F= 2263000* N^-0'⁸⁶⁶

В моно тематической выборке по превышению частоты встречаемости слова над общеупотребительной частотой, можно сформировать выборку слов для подъязыка данной тематики (проблемно-ориентированный словарь).

Формализация представления данных заключается в построении матрицы объект-атрибут, где объектами будут исходные тексты, атрибутами - слова. Элементом матрицы является число словоупотреблений (или его логарифм, причем, при отсутствии слова логарифм считается равным -1).

Словосочетания не анализируются, хотя система сохраняет номер слова в тексте как рабочий параметр базы данных для каждого слова. Надежность относительной частоты слова как оценки резко падает с уменьшением абсолютной частоты встречаемости слова. Опыт показывает, что абсолютная частота слова может считаться значимой, начиная с достаточно малых величин (2,3). Чтобы уменьшить статистическую ошибку абсолютной частоты до приемлемых с точки зрения теории вероятности значений, необходимо иметь дело с большими выборками моно тематических текстов, абсолютный объем которых трудно прогнозировать. Очевидно, значение должно превышать 10 Mb. Таким образом, статистические оценки должны быть дополнены дополнительными соображениями, которые позволят считать значимой ненулевую абсолютную частоту слова, то есть сам факт употребления слова должен имеет вес, компенсирующий низкую величину абсолютной частоты.

Естественно-тематическая классификация текстов

Организовать смысловой поиск и анализ текстов можно опираясь на идею естественной-тематической классификации, которая основана на тенденции любой информации объединятся в группы «по интересам» [115,117,121]. Это явление просто отражает тот факт, что различные отрасли знаний имеют свой подъязык. Для того, чтобы быть понятым другими специалистами, автор текста вынужден в какой-то степени использовать формальный язык данной предметной области. Статистически частоты словоупотреблений слов данной предметной области, следовательно, будут существенно выше, чем их же частоты в общеупотребительной лексике. Ошибка в оценке частоты словоупотребления при низких частотах велика, что приведет к расширению списка значимых слов, так как объем выборки базы данных меньше, чем объем выборки использованной для расчета естественной частоты.

Идея естественно-тематической классификации носит более общий характер, чем идея анализа частотных словоупотреблений. Эта идея связана с проблемами коммуникативных отношений и общими законами построения знаков и символов [133]. Так как данная работа лежит в технической области, в сфере практического, инженерного применения данного принципа, приводимое ниже ее обоснование должно рассматриваться как опыт экспериментального наблюдения, полученный на практике в процессе отработки алгоритмов числовой автоматизированной классификации в сфере смыслового анализа текстов.

При формальном построении текста специалист естественным образом следует принципу повторения и принципу развития темы. Притом, что сложность теста и другие особенности выражения остаются в творческой воле автора, использование терминов подъязыка некой предметной области приводит к тому, что в среднем частоты их

словоупотреблений неизбежно повышаются. Число слов из данной предметной области, задействованных в тексте имеет нижнюю и верхнюю границы. Причем, верхняя граница чрезвычайно размыта, так как повторятся можно многократно и, обычно, так и происходит, а нижняя граница связана с тем фактом, что употребление одного специального термина неизбежно влечет за собой пояснения и как следствие употребление терминов окружения. Набор слов, которые употребляет специалист, естественным образом, ограничен, и легче использовать слова из существующего набора, чем выдумывать каждый раз новые термины. Для частотного выделения не важно, какие собственно слова были употреблены - специальные термины или обычные. Важен сам факт их употребления. Статистический анализ не отражает тонкостей выражения мысли автором. Наоборот, он использует факт шаблонности выражений, позволяя построить базовую основу для дальнейшего анализа.

Далее перейдем к описанию практической методики подготовки базы данных и описанию программных продуктов, используемых при этом.

1.3.