Алгоритм расчета близости текстов заданному тексту-образцу

На основании вышеприведенной методики смыслового анализа можно описать основной алгоритм определения наиболее близких текстов базы данных к внешнему тексту как следующий список пунктов:

1.

2. Пересечение контекста и внешнего текста с целью создания поискового образа ПОСІ в виде списка значимых слов.

3. Поиск текстов, содержащих слова из поискового образа внешнего текста в заданном пользователем минимальном процентом отношении. Этот параметр важен для больших баз данных, чтобы отсечь случайные, несвязанные с заданным, тексты.

4. Расчет релевантности всех найденных текстов внешнему тексту и сортировка по его значению. Отбор в окончательный список текстов с релевантностью выше заданной. Этот параметр фактически совпадает с предыдущим и служит для окончательного отбора текстов.

5. Расчет для отобранных текстов и внешнего текста векторов текст/ПОС, на базе которых создается файл текст/ПОС для анализа в системе Visual HCA. Изображение в факторном пространстве классификатора базы данных ПОСІ и на графе выбранных текстов позволяет пользователю практически мгновенно оценить фактор близости внешнего текста к тематическим группам базы данных.

6. Если это необходимо, продолжение анализа для получения более детальной информации в системе Visual HCA.

Перспектива развития алгоритма фрагментации текстов

Режим фрагментации текстов может пока использоваться только администратором системы при проведении структурирования базы данных. Для применения алгоритма фрагментации на уровне пользователя системы необходимо провести дополнительные исследования с целью определить достоверность получаемых результатов.

Идея фрагментации текстов заключается в том, чтобы высечь из текстов те части (фрагменты), где наблюдается сгущение значимых слов из ПОС. Размер фрагмента очень важная характеристика, связанная с понятием минимального размера фразы для определения понятия, то есть фразы имеющей смысл. Очевидно, число слов и предложений в такой фразе имеет некий разумный оптимум. Заранее определить это значение невозможно, поэтому для выделения фрагментов предлагается задать значение максимального расстояния (в словах) между значимыми словами в нем. Это расстояние косвенно влияет на размер фрагмента, характеризуя минимально возможную степень сгущения значимых слов. Другим важным параметром определения фрагмента является минимальное количество значимых слов в нем. Этот параметр влияет на размер фрагмента и на его содержательность. При малом значении фрагмент получается обедненным, вырванным из контекста. При большом значении разные фрагменты могут сильно отличаться друг от друга по содержанию.

Для выделения фрагментов используется любой словарь, созданный в системе. Число слов в словаре является скрытым и очень важным параметром. При большом разнообразии терминов в словаре из текстов будут выделены различные фрагменты.

Технология фрагментации является перспективной в плане применения ее пользователем системы для выделения фрагментов по заданным словам. При формулировке запроса на естественном языке

алгоритм поиска близких текстов не даст большого эффекта, если фраза запроса содержит мало значимых слов или не содержит их вовсе. Наилучшим решением здесь является использование тезауруса для расширения контекста запроса и выделения фрагментов из найденных текстов, причем величина релевантности фрагментов запросу определяется числом слов во фрагменте.