Как подготовить данные из 1С для аналитики

1С давно является лидером российского рынка систем автоматизации бизнес-процессов и, согласно исследованиям, по итогам 2020 года занимает ведущие позиции с показателем в 45% по количеству новых внедрений.

Благодаря импортозамещению, экспериментам по налоговому мониторингу, а также другим процессам продукты из семейства 1С используются для поддержки все более широкого спектра процессов. Наверняка в вашей компании также имеются те или иные версии 1С.

Однако, если раньше можно было сказать «1С», и вам ответили бы «Бухгалтерия», то сегодня платформа 1С используется для намного более широкого круга задач. В частности, благодаря спросу со стороны крупных и вертикально-интегрированных компаний появилась редакция, например, «1С Управление Холдингом».

В подобных инсталляциях базах данных 1С наполняются огромным количеством полезной информации, которую можно использовать в аналитике. Исходниками для дашбордов могут стать бухгалтерская документация, складские данные, информация о работе отделов и так далее.

Теоретически подключение современной BI-системы к 1С позволяет получить актуальную визуализацию реальных бизнес-процессов и принимать более взвешенные управленческие решения. Например, нас как поставщика BI-решений очень часто спрашивают: как это можно было бы сделать

Тернистый путь к данным из 1С

Однако сегодня мало говорят об использовании данных из 1С, потому что информация хранится внутри системы в весьма специфическом формате. Это характерно для любых закрытых платформ, использующих интеграционную шину, например, для той же экосистемы SAP.

Но создатели 1С дополнительно усложнили задачу внешних подключений, предусмотрев уникальное кодирование всех баз данных 1С, и, прежде чем вы сможете подключить к ним BI-движок, нужно провести анализ кодов, изучить правила маркировки, и только в этом случае получите целостную картину данных. Другими словами, нужно произвести перевод связей 1С в понятную для BI табличную форму, как это показано на картинке ниже.

Впрочем, если база данных была восстановлена из резервной копии, полям опять будут присвоены новые коды, равно как и при установке нового релиза и обновлении версии ПО. Поскольку каждый раз заново искать соответствия между старыми и новыми кодами вручную практически нереально: для доступа к данным в 1С предусмотрена единая шина, мета-слой, который порционно выдает нужную информацию по запросу.

Однако, обращение к данным через мета-слой 1С происходит достаточно медленно. BI-система может получить только 10 записей в секунду, тогда как прямое подключение позволяло бы обрабатывать порядка 50 тыс. записей. Для больших баз данных и крупных инсталляций низкая скорость очень сильно ограничивает возможности аналитики.

К тому же опытные разработчики 1С знают, что в мета-слое можно найти далеко не все объекты. Он не предоставляет доступа к закрытым и техническим параметрам, а также не дает работать с виртуальными таблицами, которые создаются 1С «на лету».

А отсутствие описаний реляционных мета-связей порой заставляет переходить от таблицы к таблице, чтобы найти конечное значение какого-либо параметра.

Решение проблемы — системный подход

Оценив масштабы сложностей этапе многие руководители принимают решение не пользоваться аналитикой на базе 1С, потому что это очень трудозатратно. Однако практика наших клиентов показала, что для этого просто нужно использовать подходящее решение, соответствующее вашей задаче.

Бесспорно, работать с данными непосредственно в 1С достаточно сложно. Но задачу запуска аналитики можно решить при помощи внешнего представления данных (т.н. View), перенесенных в отдельную СУБД. Такой подход позволяет не нарушать никакие лицензионные правила 1C, но при этом получить наборы данных в понятном для BI формате.

Выгрузить базу данных

Технически ничто не мешает просто выгружать данные из 1С с определенной регулярностью напрямую, минуя мета-слой, и записывать их, например, в СУБД Postgre SQL. В этом случае решается проблема «странных» названий полей и низкой скорости передачи данных через мета-слой.

В результате с ценной информацией можно работать через SQL, не обращаясь к 1С для задач аналитики. Из минусов этого подхода можно выделить проблему обработки ссылочных полей. Но такая схема адаптации данных прекрасно работает, только если аналитики могут обратиться к специалистам по 1С или же сами неплохо знакомы с системой и особенностями хранения данных в 1С.

Предварительное преобразование

Технически никто не мешает предварительно обработать данные для дальнейшего использования BI. Мы нередко сталкиваемся с подобными построениями, когда аналитикам достаточно просто выгрузить таблицы, найти связанные ячейки и подготовить данные для анализа. Например, этого оказывается достаточно для работы с бухгалтерской документацией и построения отчетов/прогнозов по расходам и затратам.

Полуавтоматическая трансформация

Однако, проще всего использовать готовый коннектор для 1С, который позволит получить готовые таблицы в формате SQL, вытаскивая из системы скрытые поля, виртуальные таблицы, ссылочные значения и все остальное — мало ли что понадобится аналитикам в процессе построения дашбордов и отчетов?

Для этого существует ряд готовых инструментов, которые помогают сэкономить кучу времени и позволяют получить готовые представления. Чаще всего мы используем ATK BiView, который почти полностью выполняет задачу преобразования данных и поддерживает актуальное состояние View.

На мой взгляд, единственный недостаток этого коннектора в работе с Visiology — необходимость проставлять вручную параметры и значения, а также определять взаимосвязи между компонентами.

Какими могут быть дашборды

В нашей практике мы часто помогаем пользователям построить на базе данных из 1С следующие отчеты:

• Движение денежных средств — на базе бухгалтерской документации можно настроить дашборд, который демонстрирует совершение платежей и поступлений денежных средств в любом разрезе и с учетом исторических данных. Дашборд позволяет контролировать как пунктуальность контрагентов, так и эффективность работы отдельных бухгалтеров.

• Производительность труда персонала — если в 1С содержится информация о выполнении планов, закрытии смен и так далее, в любой BI-системе можно построить дашборд, демонстрирующий эффективность сотрудников, который поможет выявить причины снижения и повышения производительности труда.

• Работа с документами — это раздел, который позволяет вести мониторинг самых разных параметров. Например, вы можете отслеживать количество согласований для договоров и определить, на каком этапе и из-за какого сотрудника происходят задержки в подготовке документации.

• Перемещение ТМЦ между филиалами компании — компании, использующие 1С для автоматизации складской деятельности и логистики, могут подготовить дашборд, отражающий время движения ТМЦ, скорость обработки запросов на склад и, например, стоимость услуг транспортных компаний. Все это помогает найти узкие места в бизнес-процессах и устранить их.

Внедрение методов аналитики на базе данных из 1С позволяет значительно повысить информированность руководства, а также повысить ценность данных, которые уже есть в компании.

Таким образом, если вы уже используете BI-систему для решения каких-либо задач, но в вашей компании также имеются инсталляции 1С любого масштаба, значит, от наличия удобного инструмента с возможностью контроля текущих бизнес-метрик вас отделяет лишь небольшой шаг.

Нужно просто выбрать подходящий вам метод построения внешнего представления, установить подходящий коннектор и передать аналитикам базу данных в привычном для них формате SQL.

Фото на обложке: StockStyle/shutterstock.com