Большое количество разнородных технологий, сложный в сопровождении код, низкая скорость разработки, ошибки стыковки технологий, высокая стоимость и дефицит квалифицированных специалистов на рынке — вот наиболее часто встречающие трудности в работе с Big Data. 

Основными преимуществами платформы Neoflex Datagram являются:

  • скорость разработки за счет визуального проектирования и генерации Scala –кода;
  • высокое качества кода за счет его соответствия best practice и сокращения ошибок;
  • доступность мира Big Data для разработчиков.
Платформа Neoflex Datagram создана разработчиками для разработчиков. Это  фреймворк, позволяющий описывать  внешние источники, осуществлять  дизайн  трансформаций и последовательностей заданий, генерить и компилировать Scala-код. Кроме того, в Neoflex Datagram можно развертывать приложения в среде исполнения, планировать запуск приложений, мониторить и управлять средами исполнения.
Платформа разработана на языке программирования java, для пользовательского интерфейса применяются технологии HTML/javascript. Ядром системы является репозиторий метаданных, в котором хранятся описания внешних источников и приёмников, сред исполнения, процессов трансформации данных и т.д. Репозиторий построен в архитектуре, управляемой моделями Model Driven Architecture (MDA) с использованием библиотек Eclipse Modelling Framework, Teneo, Eclipse Epsilon. В качестве исполняющей системы участвует Yarn-кластер. Для планирования задач, управления последовательностью исполнения и мониторинга используется Apache Oozie, а для запуска задач в процессе разработки — Apache Livy. Платформа поддерживает полный цикл разработки процессов обработки данных:
  • Визуальный дизайн процессов преобразования данных и последовательностей исполнения задач.
  • Генерация исходного кода на языке Scala/Spark DataFrames API
  • Компиляция и сборка приложения (Apache Maven).
  • Развёртывание приложения в среде исполнения (Apache Oozie).
  • Запуск или планирование запуска на исполнение.
  • Мониторинг выполняющихся задач, остановка и повторный запуск.
Платформа поддерживает наиболее распространённые дистрибутивы Big Data от Hortonworks и Cloudera.
  • Визуальная разработка ETL-процессов: пакетная и потоковая обработка данных, структурированные и неструктурированные источники (NoSQL).
  • Использование бизнес-правил в процессе преобразования данных.
  • Машинное обучение: вычисления с использованием алгоритмов machine learning — классификация, кластеризация, прогнозирование на основе деревьев решений и других численных методов.
  • Математические библиотеки: Spark Mlib, R.
  • Агропромышленный комплекс. Мониторинг процесса уборки урожая в режиме реального времени, включая обработку инцидентов и графическое представление информации о текущем результате и прогнозе выполнения работ
  • Логистика. Разработка системы управления, позволяющей планировать и оптимизировать погрузочно – разгрузочные работы крупной логистической компании: 200+ логистических хабов; 2000+ единиц транспорта.
  • Ритейл. Предиктивный анализ работы холодильных установок.

Обсудить ваш проект

Окопный_подвал
Иван Окопный
Директор по проектной деятельности

«Приглашаем обсудить нюансы вашей бизнес-задачи и вместе найти наиболее эффективный способ ее решения».

Позвоните:
495 984-25-13

Отправьте описание своего проекта на info@neoflex.ru

Или заполните форму:
Начните работать с нами

Вернуться к списку продуктов