Алгоритм создания естественно-тематического классификатора

Словари, в пространстве которых тексты четко разделяются на группы, определяются при анализе матрицы слово/слово при различных критериях отбора слов. Таких словарей может быть больше, чем число тематических групп текстов.

Критерий максимального количества значимых слов надо взять 80-90%, чтобы отсечь общеупотребительные слова, которые встречаются во всех текстах как шаблоны. Граничная частота может быть значительно увеличена, так как уменьшение числа слов в группе по сравнению с общим объемом выборки приведет к увеличению статистической ошибки определения частоты словоупотреблений.

После того, как система изготовит тематические словари ПОС, эксперт должен внимательно изучить полученные списки слов, исключив из них несущественные по его мнению слова. Дополнить список эксперт может по своему усмотрению, эта операция требует особой осторожности, так как зависит от личных предпочтений эксперта и может сместить естественную оценку, что приведет к неверной работе алгоритмов по извлечению знаний из накопленной информации. Лучше всего, изменяя критерии отбора проследить за тем, какие термины удаляются из словаря ПОС и оставить те из них, которые представляются необходимыми.

Рис. 24. Выбор тематического индекса (здесь рубрика) при создании ПОС

Добавлять самому синонимы и связные термины не рекомендуется, так как если использование синонима действительно принято в научной среде, он неизбежно попадет в ПОС, если же нет - использование его ничего не даст алгоритму сравнения, который опирается не на результат поиска по

словам (поиск по синонимам будет идти если они есть в текстах), а опирается на группы слов, оптимальным образом поставленные в соответствие темам базы данных.

В базе данных электронного каталога ИРБИС естественно-тематический классификатор выглядит аналогично многоуровневому рубрикатору ГРНТИ [19]. Верхнему индексу 0 соответствует словарь ПОС “нулевой рубрики”, который создается с использованием всех файлов базы данных на начальном этапе структуризации. Каждый словарь ПОС - это текстовый файл в виде списка слов в директории базы данных с именем базы данных и индексом темы и с расширением DCT.

Каждый ПОС представляет для пользователя тематический контекст, в рамках которого работают алгоритмы смыслового анализа текстов. Как следует из вышеприведенных описаний для выделения текстов в группы, а значит и для определения темы для данного текста, необходимо выделить значимые слова. Алгоритм сравнения текстов работает, в принципе, на основе любого предложенного списка слов, но достоверность анализа существенно зависит о правильности определения контекста.

Система не определяет смысл текста как таковой, система находит в базе данных тексты, тематически близкие данному. Как использовать полученную информацию зависит уже от уровня подготовленности пользователя.

3.4.