Bot Dataset

TEKTELIC 每天提供 LoRaWAN 网络服务，随着我们网络和用户数量的快速扩展，我们需要灵活的服务使用情况统计信息，以便进行分析和客户计费。此外，在本文中，我们将向您介绍我们寻找最合适的使用情况统计服务解决方案的过程以及我们在此过程中面临的挑战。我们希望分享我们在构建高负载数据采集服务方面的经验，以帮助您更好地理解我们为什么选择这个特定的服务，以及它的优点和局限性是什么。

要解决的问题
TEKTELIC 技术团队处理来自客户 IoT 部署的数据，并始终通过不同的渠道将解析后的有效负载传送到他们选择的应用程序。大约，我们每秒从 1000 个客户的 50 万台设备接收 50 条消息。如此庞大的规模需要灵活的使用情况统计：

更好的数据分析
自动计费
优化操作流程
解决方案要求
随着运营规模和数据周转率的提高，对可靠的统计服务提出了一系列要求。

TEKTELIC 业务领域包括：

设备（通过 LoRaWAN 协议与网 喀麦隆 数字数据 关通信）
网关（在设备和服务器之间传递数据）。
网关组
设备组（应用程序）
集成（服务器和客户应用程序之间的连接）。
用户层次（提供商、客户、子客户）。
有了如此多的实体，解决方案应该能够提供列出的每个实体的使用情况统计信息。例如，它应该能够回答以下问题：

客户 A 在这一天有多少台活跃设备？
或者

本月向特定设备组发送了多少条消息？
这些数据应该保存至少一年，以便技术团队在需要时可以检查和参考。

以前的技术堆栈
在实施使用情况统计服务之前，我们的技术栈包括：

Postgres （主要存储域对象，如设备、网关）。
Redis （主要用作数据库（DB）中存储的对象的缓存，但一些经常更新的数据仅存储在Redis中，例如设备的最后在线时间戳）。
Kafka （服务之间交换消息）
AWS Timestream （保存历史时间相关数据，例如设备数据包日志）。
了解到 TEKTELIC 拥有相当多的统计跟踪和分析工具和平台，我们已开始分析使用现有技术实现该功能的选项，同时减少其数量。