138-3822-3726
文熙信息科技
郑州市金水区金水路299号浦发国际金融中心
物联网应用遵循六阶段数据流模式,每个阶段的架构决策都会对整个构建过程产生累积影响。一旦选择了错误的流层,就无法优化存储,因此让我们仔细分析每个阶段。

一阶段:摄入
设备正以极高的频率向代理或端点发布遥测数据。技术包括 MQTT 代理(HiveMQ、Mosquitto、AWS IoT Core)、HTTPS 端点和 AMQP,大规模运行时,消息量可达每秒 1,000 到 100 万条以上。
二阶段:身份验证和路由
系统会验证每个设备的凭证,并将消息路由到相应的主题以供下游处理。技术包括 X.509 证书、OAuth 和跨代理运行的物联网平台路由规则。
三阶段:流式传输和处理
实时流处理用于检测警报、异常情况和数据流转换。技术包括 Apache Kafka、AWS Kinesis、Azure Event Hubs、Flink 和 Spark Streaming,端到端延迟通常在亚秒级到秒级之间。
四阶段:时间序列存储
现阶段正在进行遥测数据流的长期保留。技术方案包括 InfluxDB、TimescaleDB、AWS Timestream 和 Azure Data Explorer,在整个部署环境中,每年数据量将达到 TB 级到 PB 级。
五阶段:分析与机器学习
聚合、仪表盘、异常检测和预测模型均基于存储的数据运行。技术包括 Databricks、Snowflake、Looker、自定义机器学习管道和 AWS SageMaker。

六阶段:表现层
Web仪表盘、移动应用、警报和API响应正在将数据呈现给用户。技术包括React、Vue、Grafana、WebSocket推送和原生移动框架。
一些性能较弱的物联网应用使用了关系型数据库,而它们实际上需要的是流式传输层。物联网应用开发中常见的架构错误就是强行将物联网数据放入传统的关系型表中,因为这种方法在试点阶段可能有效,但在生产规模下就会崩溃。