Ask On Data

Представьте, что вы можете собирать дата-пайплайны, просто общаясь с инструментом на обычном английском. Именно это делает Ask On Data — open source решение для дата-инжиниринга. Вместо того чтобы часами писать сложные SQL-запросы или Python-скрипты, вы просто описываете задачу. Например: «соедини таблицу продаж с таблицей клиентов и отфильтруй данные за прошлый месяц» — и инструмент сам генерирует нужный пайплайн. Внутри всё работает на Apache Spark и дообученных LLM, которые переводят ваши команды в код. При этом контроль остается за вами: если нужно что-то подправить вручную, можно спокойно писать на SQL, Python или править YAML.

Ask On Data доступен как управляемый облачный сервис, так что возиться с инфраструктурой не придется. Инструмент «дружит» с самыми разными источниками: от простых файлов и баз данных до data lakes, API и логов. Из полезных фишек: предпросмотр данных в реальном времени прямо в процессе сборки, история действий с возможностью отмены (undo) и планировщик для регулярного запуска задач. А перед тем как запустить процесс, сгенерированный YAML можно проверить и отредактировать. Разработчики заявляют, что такой подход позволяет сократить расходы на дата-инжиниринг до 80%.

Кому это будет полезно? Дата-инженерам — чтобы ускорить рутину, бизнес-аналитикам — чтобы работать с данными без глубокого погружения в код, и data scientists — чтобы быстрее получать предобработанные данные. Self-hosted версия полностью бесплатна, а стоимость enterprise-версии зависит от объема данных. В общем, отличный вариант для команд, которые хотят сделать работу с данными доступнее, не теряя при этом в гибкости.