Cleora

Знакомьтесь, Cleora — это движок для графовых эмбеддингов на Rust, который работает совсем не так, как привычные нам инструменты. Главная фишка в том, что он выдает точные и детерминированные результаты без всяких случайных блужданий (random walks), негативного семплирования или дорогих GPU.

Пока другие библиотеки пытаются приблизиться к результату через выборку путей и обучение skip-gram моделей, Cleora вычисляет полное распределение всех возможных путей с помощью одной операции над разреженной матрицей на одном ядре CPU. Итог: эмбеддинги промышленного уровня, которые создаются в разы быстрее и которые можно воспроизвести один в один. Сама библиотека крошечная — около 5 MB, из зависимостей только numpy и scipy, а ставится простой командой `pip install pycleora`.

Как это работает внутри? Cleora строит разреженную матрицу переходов Маркова из вашего графа (причем нативно поддерживает гетерогенные гиперграфы с разными типами узлов и ребер). На каждой итерации матрица эмбеддингов умножается на матрицу переходов, фиксируя точное распределение всех путей длиной k. L2-нормализованная пропагация усредняет эмбеддинги соседей: 3–4 прохода достаточно для сходства по совместному появлению (co-occurrence), а 7 и более — для контекстуального сходства. Никакого шума и стохастических отклонений.

Цифры говорят сами за себя: Zomato заменили свой пайплайн на GraphSAGE на Cleora и сократили время генерации эмбеддингов с 20 часов до менее чем 5 минут, что позволило масштабировать рекомендации на 500+ городов. Кроме того, в библиотеку встроено 7 альтернативных алгоритмов (включая DeepWalk и Node2Vec) для сравнения, а также метрики оценки, инструменты семплирования графов и подбора гиперпараметров.

Для data scientists и ML-инженеров, которые работают с рекомендательными системами, графами знаний, entity resolution или антифродом, Cleora станет отличной альтернативой тяжеловесным deep learning фреймворкам. Она запустится на любой машине с CPU, а стабильность результатов делает её идеальной для регулируемых сред и воспроизводимых исследований. Инструмент уже используют в продакшене Synerise (персонализация в e-commerce) и Dailymotion (видеорекомендации), а также он занимал призовые места в конкурсах KDD Cup и WSDM. Если ваш текущий пайплайн завязан на random walks и обучении skip-gram, Cleora предлагает...