В рамках НИОКР планируется разработать программный продукт для построения ETL-процессов обработки больших данных с возможностью конфигурирования последовательности применения алгоритмов трансформации данных, обеспечивающий возможность анализа наборов данных различнои схемы. Анализ отчетов исполнительской дисциплины показывает, что сотрудник, проводящий анализ данных, разрабатывает программы для подготовки аналитических отчётов, реализуя процессы ETL на языке программирования Python. В зависимости от компетентности сотрудника, данные задачи занимают 60-80 часов, причем основные трудозатраты возникают на этапе разработки части программы по преобразованию структуры, агрегации, очистке и созданию новых данных (далее трансформации данных). Чтобы уменьшить трудозатраты на разработку программы для трансформации данных и повысить производительность сотрудника в ходе проекта предполагается разработка программного продукта, который будет принимать на вход конфигурацию, описывающую последовательность применения алгоритмов трансформации данных, что позволит упростить разработку программ и уменьшить трудозатраты до 4-16 часов. Развитие спроса на анализ больших данных, сильно отличающихся схемой, позволит повторно применять предлагаемые методики анализа данных с наименьшими издержками. Как следствие, это позволит предложить рынку услугу предварительной подготовки данных для дальнейшего анализа на более выгодных условиях — и с элиминацией затрат на хранение описаний многомерных массивов данных, приведение данных к схеме, требуемои для трансформации и задание сотрудником последовательности применения алгоритмов трансформации.

Производитель: ОБЩЕСТВО С ОГРАНИЧЕННОЙ ОТВЕТСТВЕННОСТЬЮ "ГОТОВИМ ДАННЫЕ"

IT