О проекте
Для аграрной компании разработана интерактивная учётно-аналитическая информационная система, предназначенная для сбора, обработки и анализа данных о выращивании сельскохозяйственных культур. Решение объединило разрозненные источники информации в единую систему и предоставило пользователям инструменты для сравнения эффективности гибридов в различных условиях выращивания.
В основе проекта — личный кабинет на платформе 1С-Битрикс, механизм интеллектуальной обработки Excel-документов и интеграция с Power BI для построения интерактивных аналитических графиков.
Система позволяет не только централизованно хранить и актуализировать сведения о культурах, но и проводить комплексный сравнительный анализ, выявлять наиболее перспективные гибриды и принимать обоснованные решения для повышения урожайности и развития селекционных программ.
Бизнес-задача
До начала проекта данные о сельскохозяйственных культурах, результатах полевых испытаний и показателях урожайности хранились в многочисленных Excel-документах. Информация поступала из разных источников, могла отличаться по структуре и составу полей, а для подготовки аналитики требовалось вручную обрабатывать данные и формировать визуализации.
Такой подход усложнял работу сотрудников, увеличивал вероятность ошибок и замедлял получение аналитических результатов.
Основная задача — создать единую веб-систему, которая автоматизирует сбор и обработку данных, обеспечивает удобное управление информацией и позволяет оперативно сравнивать эффективность сельскохозяйственных гибридов с помощью интерактивной аналитики. В рамках проекта требовалось:
- Объединить данные из множества Excel-документов в централизованной системе.
- Автоматизировать загрузку, разбор и сохранение информации.
- Обеспечить взаимное обогащение связанных наборов данных.
- Реализовать поиск, фильтрацию, просмотр и редактирование сведений.
- Интегрировать систему с Power BI для построения интерактивных графиков.
- Разграничить права доступа по ролям и регионам.
- Реализовать мультиязычный интерфейс и перевод аналитических данных на русский, английский, французский и турецкий языки.
Решение
В качестве основы был выбран личный кабинет на платформе 1С-Битрикс. Для хранения и обработки информации реализована система загрузки Excel-документов, которая преобразует исходные данные в структурированный вид, сохраняет их в основной базе приложения и параллельно подготавливает отдельный набор данных для аналитической платформы Power BI.
В результате создан единый рабочий инструмент, объединяющий управление информацией, автоматизацию обработки данных и интерактивную аналитику.
1. Централизованное управление данными
Разработан модуль загрузки Excel-документов, позволяющий импортировать сведения о различных сельскохозяйственных культурах и результатах испытаний за разные годы.
После загрузки система разбирает документы, сопоставляет поля, обрабатывает записи и сохраняет информацию в базе данных сайта. Пользователи получают возможность работать с актуальными сведениями непосредственно в личном кабинете: просматривать записи, выполнять поиск, применять фильтры и дополнять информацию.
Это позволило отказаться от необходимости вручную собирать данные из множества отдельных файлов и упростило работу с накопленной статистикой.
2. Интеграция с Power BI
Одной из ключевых особенностей проекта стала подготовка данных для аналитики.
Стандартная структура базы данных 1С-Битрикс не полностью соответствовала требованиям Power BI для построения сложных аналитических визуализаций. Поэтому была разработана отдельная база данных, структура которой адаптирована для аналитических запросов и построения графиков.
Механизм импорта работает параллельно с двумя хранилищами:
- Основная база сайта — содержит данные, необходимые для работы личного кабинета, управления записями и взаимодействия пользователей с информацией.
- Аналитическая база Power BI — хранит подготовленные данные в структуре, удобной для построения визуализаций и проведения сравнительного анализа.
Таким образом, загрузка исходного документа становится единым процессом, который одновременно обновляет данные приложения и формирует основу для аналитики.
3. Интеллектуальная обработка разнородных данных
Входящие Excel-документы поступали из разных источников и не имели единого стандарта оформления. Могли отличаться названия столбцов, количество полей и структура выгрузок. Кроме того, информация была разделена на несколько типов связанных данных, которые необходимо было объединять при импорте.
Для решения этой задачи разработан механизм настройки соответствия полей исходного документа и полей системы. В интерфейсе загрузки пользователь может сопоставлять столбцы Excel с внутренними атрибутами, адаптируя импорт к различным форматам файлов.
Дополнительно реализованы следующие механизмы:
- Сопоставление записей. При загрузке одного типа данных система находит связанные записи в других наборах по заданным параметрам и дополняет их недостающими сведениями.
- Обогащение информации. Связанные данные объединяются в более полные записи, необходимые для дальнейшего анализа.
- Определение региона по координатам. Географическая привязка записей выполняется с использованием сервисов DaData и OpenStreetMap.
- Адаптация к изменяющейся структуре файлов. Настройка соответствий полей позволяет обрабатывать выгрузки с различающимися названиями столбцов и количеством атрибутов.
В результате система не просто импортирует таблицы, а выполняет предварительную обработку, связывание и обогащение информации, формируя согласованный массив данных для последующей аналитики.
4. Мультиязычность и управление переводами
Поскольку данные поступали из разных источников, они могли содержать смешанные русскоязычные и англоязычные значения. Для формирования единообразной аналитики требовалось обеспечить корректное отображение информации на нескольких языках.
В личном кабинете реализован интерфейс управления переводами данных на четыре языка:
- Русский.
- Английский.
- Французский.
- Турецкий.
Пользователи могут дополнять и переводить загружаемые значения, а система сохраняет переводы не только в основной базе сайта, но и в аналитической базе Power BI. Это обеспечивает согласованность языковых версий и позволяет использовать аналитические инструменты для работы с данными на разных языках.
5. Ролевая модель и региональное разграничение доступа
Для работы сотрудников с разными задачами реализована система разграничения доступа по ролям и регионам.
В зависимости от назначенных прав пользователи получают доступ к соответствующим данным и функциям личного кабинета. Такой подход позволяет организовать совместную работу с единой информационной системой, сохраняя необходимое разделение информации между группами пользователей.
В совокупности с поиском, фильтрами, просмотром и дополнением записей это формирует удобную рабочую среду для управления данными о сельскохозяйственных культурах.
Аналитические инструменты для оценки эффективности гибридов
Ключевая ценность системы — возможность анализировать результаты выращивания гибридов не только по отдельным показателям, но и в контексте конкретных условий испытаний. Для этого в Power BI реализованы три типа интерактивных визуализаций.
Head to Head — прямое сравнение двух гибридов
График Head to Head позволяет сравнить два выбранных гибрида по определённому показателю, например урожайности зерна.
Каждая точка отражает результат наблюдения на конкретном поле в определённом году. Благодаря этому можно анализировать результаты двух гибридов в сопоставимых условиях и оценивать различия между ними на основе массива фактических наблюдений.
Для выбора подходящей пары гибридов и условий сравнения используются дополнительные фильтры. На графике также отображаются линия баланса и линия отношения, позволяющие оценить распределение наблюдений и фактическое соотношение результатов.
Практическая ценность: инструмент помогает выявлять гибриды с более высокими результатами в заданных условиях, проводить сравнительные исследования и обосновывать решения для селекционного отбора.
MRC-анализ — поиск альтернативного гибрида
MRC-анализ позволяет оценивать гибриды сразу по двум параметрам, например урожайности и влажности зерна.
В качестве точки отсчёта выбирается центральный гибрид, с которым сравниваются остальные гибриды из имеющейся статистики. Для каждой пары рассчитываются усреднённые значения по наблюдениям, выполненным на разных полях и в разные годы.
График разделён на четыре области, которые показывают соотношение результатов сравниваемых гибридов по двум выбранным показателям. Дополнительные фильтры позволяют учитывать регион, группу спелости и другие характеристики испытаний.
Практическая ценность: инструмент помогает определить, какие гибриды могут стать более эффективной альтернативой выбранному варианту при заданных условиях выращивания.
Точечный график — сравнительный анализ нескольких гибридов
Точечный график предоставляет возможность сравнивать несколько гибридов одновременно по двум выбранным параметрам.
Пользователь может вывести на график несколько гибридов, выбрать параметры для осей и задать аналитический срез, например район выращивания. Точки представляют средние значения показателей по наблюдениям для соответствующих гибридов и выбранных групп данных.
Такой подход позволяет изучать распределение результатов, выявлять области пересечения показателей и находить участки с экстремальными значениями.
Практическая ценность: график помогает оценивать, в каких регионах и условиях гибрид демонстрирует лучшие результаты, сравнивать группы гибридов и определять особенности их эффективности в разных аналитических срезах.
Вместе три инструмента позволяют рассматривать результаты испытаний с разных сторон: сравнивать два гибрида напрямую, искать альтернативу выбранному гибриду или анализировать распределение результатов нескольких вариантов одновременно.
Технологические особенности проекта
При разработке особое внимание уделялось не только пользовательскому интерфейсу, но и организации обработки данных, поскольку от их качества и согласованности напрямую зависит корректность аналитических выводов.
Ключевые технические решения:
- 1С-Битрикс (PHP, JavaScript) — платформа личного кабинета и управления информацией.
- Excel Import Module — механизм импорта, разбора, сопоставления и обогащения данных.
- Две базы данных на сервере MariaDB — разделение данных приложения и данных, подготовленных для аналитики.
- Power BI — построение интерактивных графиков и проведение сравнительного анализа.
- DaData и OpenStreetMap — определение региональной принадлежности по координатам.
- Механизм сопоставления полей — адаптация к различным структурам входящих документов.
- Мультиязычное управление данными — хранение переводов в обеих базах.
- Ролевая и региональная модель доступа — разграничение возможностей пользователей и доступной информации.
Результаты и польза для бизнеса
Разработанная система объединила разрозненные данные и аналитические инструменты в единую цифровую среду, упростив работу сотрудников с результатами испытаний сельскохозяйственных культур.
Основные преимущества внедрения:
- Экономия времени сотрудников. Автоматизация импорта и обработки данных сокращает объём ручной работы с Excel-документами.
- Снижение количества ошибок. Структурированная загрузка, сопоставление записей и единые правила обработки помогают уменьшить вероятность ошибок при переносе и объединении информации.
- Единое информационное пространство. Данные из разных источников собираются в централизованной системе и становятся доступными для дальнейшей работы.
- Упрощение аналитики. Интерактивные графики Power BI позволяют проводить сравнительные исследования без необходимости каждый раз вручную готовить визуализации.
- Оперативность принятия решений. Пользователи могут быстрее оценивать результаты выращивания и выявлять перспективные гибриды для конкретных условий.
- Масштабируемость обработки данных. Настраиваемое сопоставление полей упрощает работу с новыми форматами Excel-выгрузок.
- Поддержка международной работы. Мультиязычность обеспечивает доступ к данным на русском, английском, французском и турецком языках.
- Разграничение доступа. Ролевая модель и региональные ограничения позволяют организовать работу пользователей с учётом их полномочий.
Итог
В результате создана учётно-аналитическая информационная система, которая объединяет сбор, обработку, хранение и визуальный анализ данных о сельскохозяйственных культурах.
Ключевая особенность проекта — комплексный подход к работе с разнородными данными: система не только импортирует Excel-документы, но и сопоставляет связанные записи, определяет региональную принадлежность, поддерживает переводы и формирует отдельную структуру данных для Power BI.
Интерактивные инструменты анализа превращают накопленную статистику полевых испытаний в основу для сравнительной оценки гибридов, помогая специалистам выявлять наиболее перспективные варианты для повышения урожайности и решения задач селекции.