Skip to content

Latest commit

 

History

History
99 lines (77 loc) · 5.94 KB

README-CN.md

File metadata and controls

99 lines (77 loc) · 5.94 KB

TDengine Kafka Connector

GitHub Actions Workflow Status codecov GitHub commit activity GitHub License GitHub Tag
Twitter Follow YouTube Channel Discord Community LinkedIn StackOverflow

简体中文 | English

目录

1. 简介

TDengine Kafka Connector 是一个高效的数据集成工具,用于 TDengine 和 Kafka 之间的数据同步。它既支持将 Kafka 中的数据实时同步到 TDengine 数据库中,也支持将 TDengine 中的数据实时同步到 Kafka。借助 TDengine 的高性能时序数据处理能力,TDengine Kafka Connector 能够帮助企业轻松实现海量时序数据的实时存储与分析。

2. 文档

  • 使用 TDengine Kafka Connector, 请参考 TDengine Kafka Connector,包含了如何安装、配置和使用 TDengine Kafka Connector 的说明和示例。
  • 本 README 主要是为想自己贡献、编译、测试 TDengine Kafka Connector 的开发者写的。如果要学习 TDengine,可以浏览 官方文档

3. 前置条件

  • 已安装 Java 1.8 或以上版本运行时环境和 Maven 3.6 或以上版本,且正确设置了环境变量。
  • 本地已经部署 TDengine,具体步骤请参考 部署服务端,且已经启动 taosd 与 taosAdapter。如果是 Mac 系统,请使用 sudo ln -s /usr/local/lib/libtaos.dylib /Library/Java/Extensions/libtaos.dylib 建立 taos 动态库软连接。

4. 构建

项目目录下执行 mvn clean package 构建项目。

5. 测试

5.1 运行测试

项目目录下执行 mvn test 运行测试,测试用例会连接到本地的 TDengine 服务器与 taosAdapter 进行测试。 运行测试后,最终会打印类似如下结果。如果所有用例通过,Failures 和 Errors 都是 0。

[INFO] Results:
[INFO] 
[INFO] Tests run: 8, Failures: 0, Errors: 0, Skipped: 0

5.2 添加用例

所有测试在项目的 src/test/java/com/taosdata/kafka/connect 目录下,按照测试的功能划分了目录,可以新增加测试文件或者在已有的测试文件中添加用例。 用例使用 JUnit 框架,一般在 before 方法中初始化资源,在 after 方法中释放资源。

5.3 性能测试

性能测试还在开发中。

6. CI/CD

7. 提交 Issue

我们欢迎提交 GitHub Issue。 提交时请说明下面信息:

  • 问题描述,是否必现,最好能包含详细调用堆栈。
  • Kafka 版本。
  • TDengine Kafka Connector 版本。
  • TDengine Kafka Connector 配置文件(用户名和密码不需要)。
  • TDengine 服务端版本。

8. 提交 PR

我们欢迎开发者一起开发本项目,提交 PR 时请参考下面步骤:

  1. Fork 本项目,请参考 (how to fork a repo)。
  2. 从 main 分支创建一个新分支,请使用有意义的分支名称 (git checkout -b my_branch)。注意不要直接在 main 分支上修改。
  3. 修改代码,保证所有单元测试通过,并增加新的单元测试验证修改。
  4. 提交修改到远端分支 (git push origin my_branch)。
  5. 在 GitHub 上创建一个 Pull Request (how to create a pull request)。
  6. 提交 PR 后,可以通过 Pull Request 找到自己的 PR,点击对应链接进去可以看到自己 PR CI 是否通过,如果通过会显示 “All checks have passed”。无论 CI 是否通过,都可以点击 “Show all checks” -> “Details” 来查看详细用例日志。
  7. 提交 PR 后,如果 CI 通过,可以在 codecov 页面找到自己 PR,看单测覆盖率。

9. 引用

10. 许可证

MIT License