Cleora

Cleora es un motor de embeddings de grafos desarrollado en Rust que produce embeddings exactos y deterministas sin recurrir a caminatas aleatorias, muestreo negativo o GPUs. Mientras que otras librerías hacen aproximaciones mediante el muestreo de rutas y el entrenamiento de modelos skip-gram, Cleora calcula la distribución completa de cada caminata posible utilizando una única potencia de matriz dispersa en un solo núcleo de CPU. El resultado son embeddings de grado de producción que se generan órdenes de magnitud más rápido y son perfectamente reproducibles. La librería es diminuta —unos 5 MB con solo numpy y scipy como dependencias— y se instala con `pip install pycleora`.

Cleora funciona construyendo una matriz de transición de Markov dispersa a partir de tu grafo de entrada (gestionando de forma nativa hipergrafos heterogéneos con nodos y aristas de múltiples tipos). Cada iteración multiplica la matriz de embeddings por esa matriz de transición, capturando la distribución exacta de todas las caminatas de longitud k. La propagación normalizada L2 promedia los embeddings de los vecinos en cada iteración: de 3 a 4 pasadas para similitud de co-ocurrencia, y más de 7 para similitud contextual. Sin ruido ni variación estocástica. Zomato reemplazó su pipeline de GraphSAGE por Cleora y redujo el tiempo de generación de embeddings de 20 horas a menos de 5 minutos, escalando las recomendaciones en más de 500 ciudades. La librería también incluye 7 algoritmos alternativos (DeepWalk, Node2Vec, etc.) como líneas base, junto con métricas de evaluación, muestreo de grafos y ajuste de hiperparámetros.

Los científicos de datos e ingenieros de ML que trabajen en sistemas de recomendación, grafos de conocimiento, resolución de entidades o detección de fraudes encontrarán en Cleora una alternativa práctica a los frameworks de aprendizaje profundo pesados. Se ejecuta en cualquier máquina con CPU —sin necesidad de GPU— y produce embeddings lo suficientemente estables para entornos regulados e investigación reproducible. La herramienta es utilizada en producción por Synerise (personalización de e-commerce) y Dailymotion (recomendaciones de video), y ha obtenido los primeros puestos en competiciones de KDD Cup y WSDM. Si tu pipeline depende actualmente de caminatas aleatorias y entrenamiento skip-gram, Cleora ofrece una ...