8核16线程 内存32G可以使用doris数据库吗？单表最大2亿以内。

[weiyoucheng]

我的数据量不多想用doris代替SQLServer使用，因为SQLServer不支持分布式部署，SQLServer或其他数据库设置主从备份和同步问题太麻烦了，我看用doris好像简单很多所以就想能不能用这个来代替，软件都是在局域网内使用的用户也不多同时访问最多也就四五个8核32G应该够用了吧，但我看文档配置都是要求多少3四台服务器起步 内存也是128G起步 还要万兆网口 我想我这是在局域网内使用的而且数据用户量也不大单机这个配置部署应该没问题吧？

[liuanxin]

我这边是在一台 8C 64G 的阿里云(一开始也是 32G 的)机器上跑 doris, 一 fe 一 be, 只保存最近一年的数据, 总数据量在 10 亿以内, 单表数据量在亿以内, 日常的 qps 在 20 以内(最初是在 50 左右, 但是一跑起来不到 10 分钟进程就被操作系统 kill 了, supervisor 重启后过 10 分钟又重复, 于是就改了处理逻辑, 多个定时任务汇总成一个, 线性的跑, 每次处理的时候遵照 doris 的文档用大表 join 小表, 又升了内存到 64G, 之后才好一点, 日常的逻辑处理也就是 streamload 和 insert into select 以及一些 select 查询), 阿里云每周的监控周报, cpu 占用在 90% 左右, 内存升到 64G 之后日常占用在 40% 以内

cpu 占用高的事, 每次都被上面问, 基于 cgroup 配置 workload 做了 cpu 硬限, 头一周降到配置的预期 75% 以下, 后面又上来到 90% 并且再也没下去过, 升配又很难说服上面认可这笔成本(已经升过一次内存 32G 到 64G, 当时上面已经挺不乐意的了), 也是蛮尴尬的

总结下来就是硬件资源跟不上的时候, 慎用, 国内很多都是拿硬件资源堆出来的光鲜

仅代表个人观点

[young138120]

想问下，基于cgroup配置workload做cpu硬限制有效果吗？我生产配置了，没什么软用，该挂还是会挂掉

[liuanxin]

想问下，基于cgroup配置workload做cpu硬限制有效果吗？我生产配置了，没什么软用，该挂还是会挂掉

从我的使用情况来看, 也没什么用. 本来想的用 doris 替换 mongodb, 结果成本比原来 mongodb 的时候还要高, 而且动不动进程就挂了, 某些节点的 select 要是慢一点, kafka 就容易堆积, 在硬件资源不够的情况下引入 doris 目前看来是我这些年来最糟心的一个决定了

[yuanyuan8983]

This configuration is available and you can actually test it. Doris requested three BE nodes because of concerns about data security and cluster reliability. If a single node fails, the remaining two nodes can provide external services without affecting read and write services.

The specific configuration is also evaluated according to the size of your data, and the recommendation of the official website is more compromise, and Doris can play a higher performance under that configuration. In addition, Doris is a distributed database that supports the analysis and processing of PB level data, so it is recommended that the configuration be relatively high. Ten gigabit network card because the database for read and write traffic requirements are relatively large, if it is a gigabit network card, it is relatively easy to bottleneck, so the general recommendation is ten gigabit network card.

I suggest that you can deploy the test first, if there is any problem, we will communicate in time, you can add my wechat: Liyy_222_8993