ILUM

ILUM es una plataforma de data lakehouse gestionada y gratuita que te permite desplegar Apache Spark en Kubernetes en cuestión de minutos. Combina la flexibilidad de almacenamiento de los data lakes con la velocidad de consulta de los warehouses, y admite despliegues híbridos, en la nube o locales. Puedes conectarte a Amazon S3, Azure Blob, Google Cloud Storage o HDFS, y utilizar formatos de tabla como Delta Lake, Iceberg o Hudi.

La plataforma automatiza el aprovisionamiento y el escalado de clústeres de Spark mediante Kubernetes. Su característica destacada son las Interactive Sessions: permiten controlar una sesión de Spark a través de una API REST y reducir el tiempo de inicialización de los trabajos hasta en un 99%. El monitoreo es más sencillo gracias a las métricas de rendimiento y los logs de Spark centralizados. ILUM también se encarga de la gestión de múltiples clústeres, del linaje de datos automatizado y se integra con Airflow, Jupyter, PowerBI y Tableau.

Ingenieros de datos, científicos de datos y analistas de datos pueden usar ILUM para migrar desde Hadoop heredado, realizar exploraciones de datos interactivas y construir tuberías de datos escalables, todo ello sin pagar por la plataforma. Más de 200 equipos de datos ya utilizan ILUM para extraer insights de sus datos, ya sea ejecutando trabajos de Spark ad-hoc, construyendo tuberías de ML con Mlflow o dando soporte a cuadros de mando para inteligencia de negocios.