简体中文 | English
TDengine Kafka Connector
是一个高效的数据集成工具,用于 TDengine 和 Kafka 之间的数据同步。它既支持将 Kafka 中的数据实时同步到 TDengine 数据库中,也支持将 TDengine 中的数据实时同步到 Kafka。借助 TDengine 的高性能时序数据处理能力,TDengine Kafka Connector
能够帮助企业轻松实现海量时序数据的实时存储与分析。
- 使用 TDengine Kafka Connector, 请参考 TDengine Kafka Connector,包含了如何安装、配置和使用
TDengine Kafka Connector
的说明和示例。 - 本 README 主要是为想自己贡献、编译、测试
TDengine Kafka Connector
的开发者写的。如果要学习 TDengine,可以浏览 官方文档。
- 已安装 Java 1.8 或以上版本运行时环境和 Maven 3.6 或以上版本,且正确设置了环境变量。
- 本地已经部署 TDengine,具体步骤请参考 部署服务端,且已经启动 taosd 与 taosAdapter。如果是 Mac 系统,请使用
sudo ln -s /usr/local/lib/libtaos.dylib /Library/Java/Extensions/libtaos.dylib
建立taos
动态库软连接。
项目目录下执行 mvn clean package
构建项目。
项目目录下执行 mvn test
运行测试,测试用例会连接到本地的 TDengine 服务器与 taosAdapter 进行测试。
运行测试后,最终会打印类似如下结果。如果所有用例通过,Failures 和 Errors 都是 0。
[INFO] Results:
[INFO]
[INFO] Tests run: 8, Failures: 0, Errors: 0, Skipped: 0
所有测试在项目的 src/test/java/com/taosdata/kafka/connect
目录下,按照测试的功能划分了目录,可以新增加测试文件或者在已有的测试文件中添加用例。
用例使用 JUnit 框架,一般在 before
方法中初始化资源,在 after
方法中释放资源。
性能测试还在开发中。
我们欢迎提交 GitHub Issue。 提交时请说明下面信息:
- 问题描述,是否必现,最好能包含详细调用堆栈。
- Kafka 版本。
- TDengine Kafka Connector 版本。
- TDengine Kafka Connector 配置文件(用户名和密码不需要)。
- TDengine 服务端版本。
我们欢迎开发者一起开发本项目,提交 PR 时请参考下面步骤:
- Fork 本项目,请参考 (how to fork a repo)。
- 从 main 分支创建一个新分支,请使用有意义的分支名称 (
git checkout -b my_branch
)。注意不要直接在 main 分支上修改。 - 修改代码,保证所有单元测试通过,并增加新的单元测试验证修改。
- 提交修改到远端分支 (
git push origin my_branch
)。 - 在 GitHub 上创建一个 Pull Request (how to create a pull request)。
- 提交 PR 后,可以通过 Pull Request 找到自己的 PR,点击对应链接进去可以看到自己 PR CI 是否通过,如果通过会显示 “All checks have passed”。无论 CI 是否通过,都可以点击 “Show all checks” -> “Details” 来查看详细用例日志。
- 提交 PR 后,如果 CI 通过,可以在 codecov 页面找到自己 PR,看单测覆盖率。