Платформа конкурентной разведки для финтеха

Сбор источников и отслеживание изменений на сайтах конкурентов, конвейер из пяти шагов с оценкой релевантности моделями, карточки компаний и событий, дайджесты в мессенджер, рабочий чат и почту.

Руководитель получает дайджест из нескольких десятков событий, отобранных из тысяч публикаций, с привязкой к компании и рынку.

ИИ · Финтех ≈ 1 900 страниц конкурентов под наблюдением · 3 рынка

Карточка компании: события, связанные с конкурентом, и их источники

Дайджест, который уходит читателю в мессенджер и почту

Задача

Руководителю нужно знать, что делают конкуренты сразу на нескольких рынках, но читать сотни источников ежедневно некому, а готовые агрегаторы дают шум: формально релевантные кадровые перестановки и переезды офисов вытесняют события, из-за которых меняют продукт.

Что сделано

Сбор публикаций из лент, каналов мессенджера, сайтов конкурентов и документов, включая распознавание текста в файлах
Отслеживание изменений на страницах конкурентов — около двух тысяч страниц под наблюдением
Конвейер из пяти шагов: классификация, мягкая оценка релевантности, добыча полного текста, строгая оценка по полному тексту, сборка карточки
Устойчивый сбор полного текста из закрытых источников
Отсев повторов по смыслу через векторное представление публикации
Разделение по рынкам: источник не может попасть в дайджест не своей страны
Доставка дайджестов в мессенджер, рабочий чат и почту, клиентская панель с живым обновлением

Внутри системы

Половина ценных источников закрыта от автоматического доступа, поэтому сбор полного текста устроен ступенями с проверкой результата на каждой. Без этого выпадает не часть публикаций, а именно те издания, ради которых всё и делается.
Одно и то же событие приходит из пяти источников с разными заголовками, и сравнение строк здесь не работает. Повторы отсеиваются по смысловой близости через векторное представление, а в карточку событие попадает один раз — с перечнем источников.
Разделение по рынкам сделано не фильтром на выдаче, а свойством источника и компании: мексиканская публикация физически не может попасть в дайджест российского читателя, даже если модель сочла её релевантной. Ошибка такого рода стоит доверия ко всему продукту, поэтому она заблокирована механически, а не проверкой на последнем шаге.
Порог публикации остаётся за редактором, а не за моделью: модель ранжирует, человек решает, где проходит граница значимого. Иначе дайджест за неделю заполняется правдоподобным мусором.

Как устроено

Релевантность оценивается дважды: мягко по заголовку и анонсу — чтобы решить, стоит ли тратить добычу полного текста, и строго по полному тексту — чтобы решить, попадёт ли событие в дайджест. Так дорогой шаг выполняется только для того, что прошло дешёвый.

Результат

Платформа работает на реальных клиентах на трёх рынках — Россия, Ближний Восток и Латинская Америка.