TDengine 3.0 自 2022 年 8 月于 TDengine 開(kāi)發(fā)者大會(huì)正式亮相后，至今已經(jīng)歷多次更新迭代，不久前發(fā)布的《3.2.1.0 發(fā)布！時(shí)間轉(zhuǎn)換函數(shù) BI 集成 視圖正式上線！》（https://www.taosdata.com/tdengine-engineering/22452.html）為大家介紹了最新版本 3.2.1.0 的優(yōu)化詳情。可以說(shuō)，經(jīng)過(guò)產(chǎn)品研發(fā)人員和社區(qū)用戶的不斷努力，3.0 的穩(wěn)定性和易用性也在不斷提升。在 3.0 版本中，我們對(duì)產(chǎn)品底層進(jìn)行了全面的變化和調(diào)整，除了架構(gòu)的科學(xué)性和高效性外，還將用戶體驗(yàn)作為重點(diǎn)優(yōu)化方向之一。

為了讓大家更深入地了解到 TDengine 3.0 在實(shí)際企業(yè)環(huán)境中的應(yīng)用和效果，本篇文章匯總了四個(gè)真實(shí)的企業(yè)部署實(shí)踐案例，給到有需要的用戶參考。

中國(guó)地震臺(tái)網(wǎng)中心 x TDengine 3.0

“在地震監(jiān)控領(lǐng)域的可視化中，最重要的就是展示信息的完整性、實(shí)時(shí)性、可交互性，靈活性。TDengine 高效的查詢能力以及簡(jiǎn)單易用的 SQL 語(yǔ)句可以很方便的完成上述工作。通過(guò)網(wǎng)頁(yè)展示工具調(diào)用 TDengine 的 SQL，我們完成了展示地震事件的主看板：看板中的地圖可以展示臺(tái)站的每秒峰值記錄，點(diǎn)擊近期地震事件便可以進(jìn)行一段時(shí)間（例如該地震發(fā)生時(shí)刻前 1min 和后 2min）內(nèi)的地震數(shù)據(jù)回放。”

業(yè)務(wù)背景

近年來(lái)，隨著地震臺(tái)站密集建設(shè)，臺(tái)站儀器采集匯入中國(guó)地震臺(tái)網(wǎng)中心的地震波形數(shù)據(jù)也增長(zhǎng)了一個(gè)數(shù)量級(jí)。地震波形數(shù)據(jù)主要是指由國(guó)家地震臺(tái)站、各省區(qū)域地震臺(tái)網(wǎng)等地震觀測(cè)網(wǎng)絡(luò)系統(tǒng)中地震計(jì)采集并傳回中心的數(shù)據(jù)，具有典型的時(shí)序數(shù)據(jù)特征，是開(kāi)展地震監(jiān)測(cè)預(yù)警、數(shù)據(jù)分析與挖掘、地震異常研判等應(yīng)用的基礎(chǔ)材料。為滿足地震預(yù)警數(shù)據(jù)存儲(chǔ)、檢索和處理的建設(shè)與集成需求，以及響應(yīng)國(guó)家國(guó)產(chǎn)軟件自主可控的號(hào)召，中國(guó)地震臺(tái)網(wǎng)中心決定選用國(guó)產(chǎn)數(shù)據(jù)庫(kù) TDengine 來(lái)存儲(chǔ)和處理地震波形數(shù)據(jù)。

架構(gòu)圖

改造效果

該項(xiàng)目目前使用的是 3.0.6.0 版本的 5 節(jié)點(diǎn)集群，單臺(tái)服務(wù)器配置為：48CPU(s)， 192GB 內(nèi)存 ，500GB SSD 1.2TB *6HDD 硬盤。項(xiàng)目運(yùn)行至今，TDengine 接入的原始數(shù)據(jù)包每天約 900GB，每秒大概接入超過(guò) 5 萬(wàn)個(gè)地震數(shù)據(jù)包，每天總數(shù)據(jù)量約 5000 億條。對(duì)于常規(guī)的 INT 類型數(shù)據(jù)，TDengine 壓縮比可達(dá)到 5%-10% 之間，對(duì)于 VARCHAR 類型的數(shù)據(jù)，壓縮比可達(dá)到 15-20%，極大程度地節(jié)約存儲(chǔ)成本。在集群日常負(fù)載上，單臺(tái)數(shù)據(jù)庫(kù)服務(wù)端 CPU 使用率 40%～50%，內(nèi)存占用 14%～20%，運(yùn)行平穩(wěn)。

點(diǎn)此查看案例詳情

https://www.taosdata.com/tdengine-user-cases/19268.html

中移物聯(lián) x TDengine 3.0

“我們當(dāng)前使用的是 3.0.2.5 版本，但是由于業(yè)務(wù)本身不允許停機(jī)，所以沒(méi)辦法做離線升級(jí)，后續(xù)會(huì)由 TDengine 企業(yè)版團(tuán)隊(duì)協(xié)助我們?cè)诰€升級(jí)至最新版本。TDengine 3.0 的安裝部署上保留了和 2.0 一樣的簡(jiǎn)單易用模式，升級(jí)操作只需要備份數(shù)據(jù)文件目錄，覆蓋安裝即可，而且寫(xiě)入速度極高，接近硬盤的連續(xù)寫(xiě)入性能?！?/span>

業(yè)務(wù)背景

在中移物聯(lián)網(wǎng)的智慧出行場(chǎng)景中，需要存儲(chǔ)車聯(lián)網(wǎng)設(shè)備的軌跡點(diǎn)，還要支持對(duì)車輛軌跡進(jìn)行查詢。為了更好地進(jìn)行數(shù)據(jù)處理，他們?cè)?2021 年上線了 TDengine 2.4.0.18 版本的 5 節(jié)點(diǎn) 3 副本集群，一直穩(wěn)定運(yùn)行。3.0 發(fā)布后又經(jīng)過(guò)幾度優(yōu)化，中移物聯(lián)網(wǎng)關(guān)注到了這一版本的眾多特性，包括 Raft 協(xié)議的引入使 TDengine 擁有了更標(biāo)準(zhǔn)的一致性算法、存儲(chǔ)引擎的重構(gòu)優(yōu)化了 2.x 版本的設(shè)計(jì)、查詢靈活度大幅提升、支持更強(qiáng)大的流式計(jì)算等等。在經(jīng)過(guò)進(jìn)一步調(diào)研后，其決定進(jìn)行從 2.x 到 3.x 的大版本升級(jí)。

架構(gòu)圖

改造效果

目前該項(xiàng)目共有 102 萬(wàn)張子表，已經(jīng)累積的總數(shù)據(jù)量已經(jīng)達(dá)到了 2000 億行，3 副本，磁盤占用 3.1TB。在遷移到 TDengine 3.0 之后，各方面的表現(xiàn)依然非常不錯(cuò)：業(yè)務(wù)的寫(xiě)入峰值達(dá)到了 1.2-1.3w 行/s ，數(shù)據(jù)遷移的過(guò)程中可以達(dá)到 20w 行/s，這些情況下 TDengine 都可以輕松處理；存儲(chǔ)大約只有 MySQL 的 1/7；讀取數(shù)據(jù)性能也很突出，其最常用的單設(shè)備單日查詢，可以在 0.1s 內(nèi)返回結(jié)果。

點(diǎn)此查看案例詳情

https://www.taosdata.com/tdengine-user-cases/18077.html

搜狐基金 x TDengine 3.0

“由于‘超級(jí)表’的存在，數(shù)據(jù)建模變得非常清晰，幾乎所有查詢都可以以‘超級(jí)表’為核心用簡(jiǎn)單的 SQL 完成。此外，基于‘自動(dòng)建表’這個(gè)特色功能，我們可以無(wú)需校驗(yàn)就能夠直接建表，這讓我們得以非常輕松地完成各只基金數(shù)據(jù)的拆分建表以及寫(xiě)入工作?！?/span>

業(yè)務(wù)背景

對(duì)于搜狐基金來(lái)說(shuō)，其所購(gòu)買的數(shù)據(jù)源的基金數(shù)據(jù)都是混在一起的，包含來(lái)自國(guó)內(nèi)的 2 萬(wàn)只基金，跨越幾十年（從九幾年至今）的數(shù)千萬(wàn)行較寬的數(shù)據(jù)。此前他們通過(guò) MySQL 來(lái)存儲(chǔ)這些數(shù)據(jù)，首先要把每個(gè)基金的數(shù)據(jù)分表，有一定程度的工作量，只能先全量保存這些數(shù)據(jù)在一張表中，但這種大表會(huì)導(dǎo)致查詢的性能非常低下，為了應(yīng)對(duì)這一問(wèn)題，只能通過(guò)離線查詢生成每天的基金數(shù)據(jù)圖片返回給用戶，無(wú)法對(duì)外提供自定義查詢服務(wù)。在此背景下，搜狐基金決定基于 TDengine 3.0 嘗試一下全新的方案。

建模展示

改造效果

我們使用三臺(tái) 4C 16GB 的服務(wù)器組建了 TDengine 的集群。值得一提的是，基金數(shù)據(jù)是一日一條，屬于低頻次數(shù)據(jù)。對(duì)于這種數(shù)據(jù)，默認(rèn)的配置是不夠的。一開(kāi)始我們的查詢性能并不快，基本都是在秒級(jí)別甚至還有更高。通過(guò)文檔和博客以及官方團(tuán)隊(duì)的支持，我們放大了 duration 和 stt_trigger 參數(shù)，這樣確保了不會(huì)產(chǎn)生過(guò)多的文件碎片影響讀寫(xiě)性能，后續(xù)的查詢?nèi)勘粌?yōu)化至毫秒級(jí)別。

點(diǎn)此查看案例詳情

https://www.taosdata.com/tdengine-user-cases/22138.html

智光電氣 x TDengine 3.0

“當(dāng)前 TDengine 3.0 已成功應(yīng)用于我司多個(gè)工業(yè)項(xiàng)目中，涵蓋數(shù)萬(wàn)臺(tái)各類工業(yè)設(shè)備的數(shù)據(jù)存儲(chǔ)與查詢。作為數(shù)據(jù)中臺(tái)，TDengine 為上層應(yīng)用提供了高效的歷史數(shù)據(jù)查詢，精確到秒級(jí)和分鐘級(jí)粒度，幫助我們大幅提升了應(yīng)用效率，同時(shí)減少了硬件和人力資源的消耗?！?/span>

業(yè)務(wù)背景

在使用 TDengine 之前，子公司智光研究院在工業(yè)項(xiàng)目中使用基于 Apache Hadoop 的 CDH 集群來(lái)做時(shí)序業(yè)務(wù)數(shù)據(jù)的處理。但是由于數(shù)據(jù)量級(jí)太大，處理占用了大量資源，導(dǎo)致集群的不穩(wěn)定性增加，有頻繁發(fā)生崩潰的風(fēng)險(xiǎn)。經(jīng)過(guò)充分測(cè)試后，該團(tuán)隊(duì)最終決定把由 HBase 處理的、數(shù)據(jù)量最大的時(shí)序數(shù)據(jù)業(yè)務(wù)抽離出來(lái)，引入 TDengine 來(lái)降低 Hadoop 集群的壓力，成為獨(dú)立出來(lái)的數(shù)據(jù)中臺(tái)。

改造后部分查詢展示

改造效果

寫(xiě)入存儲(chǔ)方面，同樣是列式存儲(chǔ)，以半年的數(shù)據(jù)作為比較，三副本的 HBase 的總數(shù)據(jù)量占用是 10TB，TDengine 三副本的磁盤占用只有 2TB，存儲(chǔ)成本僅為 HBase 的 20 %。（由于和其他應(yīng)用共用，內(nèi)存、CPU 方面不好估算，但成本均大幅降低）

在查詢上，智光研究員的業(yè)務(wù)主要就是針對(duì) rundata_t1m（分鐘級(jí)數(shù)據(jù)）、rundata（原始數(shù)據(jù)）這兩張千億級(jí)別的大型超級(jí)表的篩選、過(guò)濾、降采樣。應(yīng)用的查詢性能和 SQL 篩選的時(shí)間范圍相關(guān)較大，整體上的耗時(shí)大概在毫秒級(jí)至 2 秒內(nèi)。

點(diǎn)此查看案例詳情

https://www.taosdata.com/tdengine-user-cases/22521.html

結(jié)語(yǔ)

通過(guò)上述案例我們能看到，在經(jīng)過(guò)不斷打磨優(yōu)化后，如今的 TDengine 3.0 已經(jīng)在性能、功能、穩(wěn)定性各個(gè)方面均有大幅提升，從一款時(shí)序數(shù)據(jù)庫(kù)（Time Series Database，TSDB）蛻變成為高性能、云原生、分布式的物聯(lián)網(wǎng)、工業(yè)大數(shù)據(jù)平臺(tái)。為此，我們也強(qiáng)烈建議老用戶盡快向 TDengine 3.0 版本進(jìn)行遷移，以便體驗(yàn)到 TDengine 更加強(qiáng)大的產(chǎn)品力。

為了幫助大家最短時(shí)間內(nèi)在本地完成自助式版本遷移，除了官方文檔以外，我們還準(zhǔn)備了大量技術(shù)文章，全部匯總在《萬(wàn)字解讀｜怎樣激活 TDengine 最高性價(jià)比？》（https://www.taosdata.com/tdengine-engineering/21550.html）中，以供有需要的用戶參考。