А. Качан

DataSplice: ETL для промышленных данных

DataSpliceETLдата-инженерияKafka

DataSplice — это платформа для интеграции и обработки данных с промышленного оборудования.

Проблема

На типичном производстве данные хранятся в разрозненных системах:

  • Historian (OSIsoft PI, Wonderware)
  • SCADA-базы данных
  • Excel-файлы операторов
  • Логи PLC

Решение с DataSplice

DataSplice выступает как ETL-мост между промышленными и IT-системами:

  1. Сбор — подключение к OPC UA, Modbus, MQTT
  2. Обработка — очистка, нормализация, обогащение
  3. Хранение — TimescaleDB, ClickHouse, S3
  4. Потребление — Grafana, Power BI, ML-пайплайны

Интеграция с Kafka

from kafka import KafkaProducer

producer = KafkaProducer(bootstrap_servers='kafka:9092')
producer.send('raw-sensor-data', value=json.dumps({
    'tag': 'TEMP_001',
    'value': 72.5,
    'ts': '2026-07-10T12:00:00Z'
}).encode())

Заключение

DataSplice позволяет объединить данные из разных источников в единый поток для аналитики и ML.