Зачем Big data на предприятиях

Аналитику активно внедряют и на частном, и на государственном уровнях. Минсельхоз создает федеральную карту-схему земель сельхозназначения.

Введена в эксплуатацию федеральная ГИС «Зерно», правительство разработало подробный план по диджитализации полевых работ. 

Используя датчики и устройства Интернета вещей (IoT), агропредприятия и фермеры собирают данные о влажности почвы и погоде, темпах роста и здоровье скота, качестве выпускаемой продукции и влиянии на окружающую среду. 

Внимание к данным объяснимо: в сельском хозяйстве количество факторов, влияющих на производственные процессы, выше, чем в любом другом секторе. Аналитика помогает извлекать из них ценную информацию, нужную при принятии обоснованных решений.

Кто и насколько успешно использует работу с данными 

Это специально созданные компании, иногда с государственным софинансированием. Иногда частные, которые работают с инновациями в агросекторе.

Зачастую включают в деятельность и агроконсалтинг, и агроскаутинг — скаут-агроном ежедневно проверяет состояние полей и соблюдение технологий на предприятии. 

Например, в Digital agro сочетают данные скаутов-агрономов в полях и собственной системы точного земледелия.

Специалисты заявляют, что при использовании их решений урожайность повышается на 10-15% по всем культурам, и на 22,1 млн руб. сокращаются потери посева пшеницы в течение сезона.

Такими результатами поделилась платформа «Цифровая экономика» в своем исследовании «Эффективные отечественные практики на базе технологий искусственного интеллекта в сельском хозяйстве».

Большие готовые системы автоматизации и управления агропредприятием работают с уже установленным телеметрическим оборудованием.

Например, Smart agro — участник фонда «Сколково», на своем сайте сообщает, что общий земельный банк его клиентов составляет 2,5 млн га. А также, что с их комплексным решением:

• до 30% сокращаются затраты на сбор достоверных данных и их анализ; 
• до 30% снижаются расходы на полевые осмотры; 
• до 10% снижаются затраты на СЗР (средства защиты растений), топливо и удобрения; 
• до 40% сокращается время принятия решений.

По теме: История из агротеха: как заполучить молодых специалистов, договорившись с вузами

Зачем сельхозпредприятиям нужны индивидуальные решения 

Два года назад ГК «Теплицы регионов», имеющая тепличные комплексы в четырех регионах страны, стали использовать Big data в своей работе.

Директор по информационным технологиям агрохолдинга Семен Лебедев отмечает, что подключение Big data все еще идет, но продвигается сложно, потому что для обеспечения сбора информации нужно большое количество технологических стеков. 

У ГК есть собственные эксперты по внедрению Big data, но для обработки неоднородных данных потребовалась дополнительная экспертиза, за которой обратились к нам.

Для нас это была нестандартная задача, потому что тепличные комплексы находятся за городом и бывает, что с ними пропадает связь.

Полностью централизованное решение не подходило: каждый комплекс должен обрабатывать свои данные автономно. Отправлять инженера данных на каждый из них нецелесообразно, при этом аналитика должна проходить сразу на всех комплексах. 

В итоге мы помогли выстроить архитектуру работы с данными, разработав решение, по большей части централизованное, но разрешающее работу при отключении связи и позволяющее специалистам ГК строить модели данных самостоятельно.

Коллеги из ГК делятся, что уже видят пользу от внедрения Big data. Они могут точечно регулировать микроклимат, повышать урожайность и качество продукции, снижать вероятность заболеваемости растений, нивелировать влияние человеческого фактора при принятии управленческих решений.

На что влияет аналитика больших данных

В животноводстве отслеживают микроклимат на фермах, корректируют рационы питания, проводят селекцию и гибридизацию.

В растениеводстве активно набирает обороты точное земледелие — аналитика тут нужна для определения оптимальных времени посева, частоты полива и внесения удобрений. 

Разветвленными цепями поставок и сбыта сельскохозяйственной продукции тоже нужно управлять с использованием Big data: благодаря точности всех действий в цепочке поставок получим прочные связи между производителями, поставщиками и потребителями.

Конечная цель аналитики не только урожайность, могут быть задействованы и оптимизированы все бизнес-этапы: 

• производство (рациональное использование ресурсов);
• затраты (снижение расходов и потерь);
• контроль качества (минимизация влияния человеческого фактора, отслеживание соответствия нормам и стандартам);
• логистика (оптимизация маршрутов и управление запасами);
• маркетинг (анализ потребительского поведения и трендов, а также эффективности средств, вложенных в рекламу).

По теме: Инвестиции в вертикальные фермы и нехватка инноваций на полях: что происходит в AgroTech

Трендовый инструментарий 

Среди программного инструментария для работы с Big data очень много open source решений, которые релевантны и для России вообще, и для аграриев в частности.

Набирают популярность объектные хранилища S3, которые позволяют дешево хранить данные для последующей обработки. Их сейчас предлагают все облачные провайдеры: Selectel, VK cloud, Sber cloud, Yandex cloud. 

Для сбора данных обычно используют либо собственные разработки, либо open source платформу Airbyte, которая позволяет пользователям самостоятельно писать коннекторы к разным системам. 

Среди баз данных в тренде Google BigQuery (из-за низкой стоимости хранения и обработки) и Clickhouse (open source, изначально была разработкой «Яндекса», поэтому популярна у нас в стране), PostgreSQL (универсальная база данных) и Greenplum (база, созданная на основе PostgreSQL, но ориентированная на аналитику). 

В организации процесса сбора и обработки данных к давно существующему продукту Apache Airflow появились альтернативы Dagster и Prefect. 

Для обработки данных чаще всего используют собственные разработки, нередко на библиотеке Pandas. Приобретает популярность фреймворк DBT, который позволяет решать все задачи обработки данных без привлечения языков программирования.

Для визуализации данных используют open source-инструменты (Apache Superset, Redash, Metabase), российскую систему Yandex DataLens, китайскую Fine BI и др. 

Типичные проблемы агробизнеса и Big data

Аналитика больших данных не только дает новые возможности, но решает повторяющиеся проблемы, которые считались характерными для отрасли:

• Сельхозотрасль незаслуженно считается «неповоротливой и медленной». Когда процессы управляются исключительно вручную, неизбежны ошибки из-за излишней субъективности, потери времени при прохождении информации по административной цепочке и низкой готовности к быстрым изменениям. Big data позволяет оперативно мониторить ситуацию и принимать взвешенные, обоснованные решения, прогнозировать их последствия и учитывать риск-факторы.   Например, одно из подразделений известного на весь мир гигантского агрохолдинга Monsanto дает своим фермерам детализированную визуализацию процессов на основании данных о потребностях рынка продовольствия, которые позволяют им принимать эффективные решения и оптимизировать производство в реальном времени.

• Ситуация, когда выход продукции ниже запланированного и не перекрывает потребностей — не редкость в сельскохозяйственном секторе. Не менее частый и обратный вариант — продукции больше, чем «переварит» рынок, или ее себестоимость слишком высока, и может возникнуть проблема сбыта. С помощью Big data производитель может не только прогнозировать объемы производства с высокой степенью точности, но и планировать развитие бизнеса в долгосрочной перспективе.

Если вы работаете в агропромышленном секторе, то вы уже точно знаете, что внедрение аналитики больших данных открывает большие перспективы.

АНО «Цифровая экономика» подготовила аналитический отчет на тему применения ИИ-решений и использования Big data, представленный на конференции «Цифровая индустрия промышленной России» в Нижнем Новгороде 1 июня 2023 года.

Кейсов применения немало. Среди крупных заказчиков: «Магнит», «Русагро», «Мираторг», «Щелково агрохим», «Русская аграрная группа» и др. 

Практика и исследования говорят, что с новыми технологиями повышается урожайность, быстро и качественно развивается селекция и можно решить массу проблем в управлении цепочками поставок.

Поэтому внедряют высокотехнологичные решения не только корпорации. Например, стартап «Местные корни» с полностью автоматизированными процессами и управляемым микроклиматом без использования гербицидов и пестицидов имеют урожайность до 18 сборов за год. 

Или «Городские теплицы», которые строят автоматизированные вертикальные фермы для овощей, салатов и ягод в Благовещенске, Новосибирске, Красноярске, Санкт-Петербурге, Миассе, Москве.

В прошлом году четыре из пяти AgroTech-сделок были связаны именно с сити-фермерством, которое активно использует ИИ и Big data. По прогнозам, спрос на высокотехнологичные решения может достигнуть 86 млрд руб. к 2030 году. Показатель 2020 года — 3,9 млрд руб.

Несмотря на все преимущества технологий, сельхозпредприятия, внедряя высокотехнологичные решения, как правило, действуют очень постепенно, с учетом индивидуальных потребностей и возможностей.

Доля охваченных цифровизацией сельскохозяйственных предприятий сейчас составляет не более 10%.  Это происходит потому, что путь цифровизации в этой отрасли требует не только инвестиций. 

Наблюдается дефицит специалистов, существуют сложности интеграции между существующим софтом и новым ПО для обработки больших данных. У российских аграриев есть даже определенное недоверие к технологиям Big data.

Нужно время, чтобы скорректировать или создать новые бизнес-процессы, включая комплексную перестройку бизнес-функций, перераспределение ролей внутри команды и обучение сотрудников. 

По теме: «Дайте им то, что они захотят есть»: как ученые делают овощи вкуснее, меняя их гены

Фото на обложке: user6702303/Freepik