TiDBA

TiDB 数据库 DBA 常用工具集，已包含功能：

diff 功能集：版本升级，集群组件配置文件以及 tidb 专有系统变量 Diff 对比，现阶段只支持 3.0 diff 4.0 或者 4.0 (及以上版本) diff 4.0 (及以上版本)

v4.0 以下 tikv 需要单独从 tikv 日志中获取配置文件 --base-json 用于对比
v4.0 及以上可不需要，直接对比 --base-addr 、--compare-addr

diff tidb

示例：
-- 终端带颜色输出
$ ./tidba diff tidb --base-addr  {host}:{service-port} --base-user {user}  --base-pass {password} --compare-addr  {host}:{service-port}  --compare-user {user}  --compare-pass {password} --diff-type {config/variable} --coloring --quiet

-- 纯文本输出
$ ./tidba diff tidb --base-addr  {host}:{service-port} --base-user {user}  --base-pass {password} --compare-addr  {host}:{service-port}  --compare-user {user}  --compare-pass {password} --diff-type {config/variable} --quiet >> diff_tidb.log

diff pd

示例：
-- 终端带颜色输出
$ ./tidba diff pd --base-addr {host}:{service-port} --compare-addr {host}:{service-port} --coloring --quiet

-- 纯文本输出
$ ./tidba diff pd --base-addr {host}:{service-port} --compare-addr {host}:{service-port} --quiet  >> diff_pd.log

diff tikv

v3.0 json 获取 tikv 日志配置（只有 v3.0 版本需要）,将 config 等于号后面的双引号中的内容全部复制倒另外一个文件内（注意不能带有双引号复制），用于 diff 对比
[2020/12/05 14:29:53.717 +08:00] [INFO] [server.rs:51] ["using config"] [config="{\"log-level\":\"info\",\"log-file\":\"/data1/nightly/tikv-41260/log/tikv.log\",....}"]

示例：
-- 终端带颜色输出
$ ./tidba diff tikv --base-json {json 文件名} --compare-addr {host}:{status-port} --coloring --quiet
$ ./tidba diff tikv --base-addr {host}:{status-port} --compare-addr {host}:{status-port} --coloring --quiet

-- 纯文本输出
$ ./tidba diff tikv --base-json {json 文件名} --compare-addr {host}:{status-port} --quiet >> diff_tikv.log
$ ./tidba diff tikv --base-addr {host}:{status-port} --compare-addr {host}:{status-port} --quiet >> diff_tikv.log

split 功能集：[每种打散方式资源消耗以及场景可能情况不同，子命令分为基于实际数据表打散（key、range）、基于采样基础表打散(estimate、sampling、reckon)]

基于 region range 生成打散语句
基于 region key 生成打散语句
基于 region estimate 数据估算生成打散语句
基于 region sampling 生成打散语句
基于 region reckon 生成打散语句

示例：
-- 基于已有数据，根据 range 生成打散
$ ./tidba split range --host {host} --port {port} --user {user} --password {password} --db {db_name} -i {table1,table2} --out-dir {outDir}

-- 基于已有数据，根据 key 生成打散
$ ./tidba split key --host {host} --port {port} --user {user} --password {password} --status-port {status-port} --db {db_name} -i {table1,table2} --out-dir {outDir}

-- 基于基础采样表，根据 distinct 生成打散（因子放大倍数，数据量大的情况下资源耗用主要在于机器资源且比较大）
$ ./tidba split estimate --host {host} --port {port} --user {user} --password {password} --db {db_name} -i {table} --estimate-column {index_column} --gen-db {sql_db} --gen-table {sql_table} --gen-index {sql_index_name} --estimate-row {sql_table_estimate_rows} --estimate-size {sql_table_estimate_size_M}  --out-dir {outDir}

-- 基于基础采样表，根据 distinct 生成打散（数据量大的情况下,资源耗用主要在于机器资源且相对折中）
$ ./tidba split sampling --host {host} --port {port} --user {user} --password {password} --base-db {db_name} --base-table {base-table} --base-index {base-index-name}  --estimate-row {estimate-table-rows} --gen-db {estimate-db} --gen-table {estimate-table-name}  --gen-index {estimate-index-name} --out-dir {outDir}

-- 基于基础采样表，根据 distinct 生成打散（数据量大的情况下,资源耗用主要位于数据库）
$./tidba split reckon --host {host} --port {port} --user {user} --password {password} --base-db {db_name} --base-table {base-table} --base-index {base-index-name} --estimate-row {estimate-table-rows} --gen-db {estimate-db} --gen-table {estimate-table-name}  --gen-index {estimate-index-name} --out-dir {outDir}

cluster 功能集：

查找集群内只有指定副本数的所有 region 信息
当 down store 宕机不可用，查找集群内所有 Down 副本数大于或等于正常副本数（多数派副本 DOWN）的所有 region 信息
当 down store 宕机不可用，查找集群内所有 Down 副本数小于正常副本数（少数派副本 DOWN）的所有 region 信息，并产生修复 remove-peer 修复建议
查找某个 region 信息

示例：
- 查找集群内只有指定副本数的所有 region 信息
$ ./tidba cluster region -u {user} -p {password} --host {host} -P {port} --peers {peerNums} --pdAddr {pdAddr:serviePort} --regiontype {all/data/index}

- 当 down tikv 宕机不可用，查找集群内所有 down-peer 副本数大于或等于正常副本数（多数派副本 DOWN）的所有 region 信息概览【忽略已被删除但未 GC 的 Region 信息】
$ ./tidba cluster region -u {user} -p {password} --host {host} -P {port} --pdAddr {pdAddr:serviePort} --replicatype majorDown --overview

- 当 down tikv 宕机不可用，查找集群内所有 down-peer 副本数大于或等于正常副本数（多数派副本 DOWN）的所有 region 信息【忽略已被删除但未 GC 的 Region 信息】
假设三副本集群，存在 kv 节点 1,2,28,30，若 down store 1,28 宕机不可用，查找指定 down kv 节点集群内所有 Down 副本数大于或等于正常副本数（多数派副本 DOWN）的所有 region 信息
$ ./tidba cluster region -u {user} -p {password} --host {host} -P {port} --dowtikv {tikv1:servicePort1,tikv2:servicePort2} --pdAddr {pdAddr:serviePort} --regiontype {all/data/index} --replicatype majorDown

- 当 down tikv 宕机不可用，查找集群内所有 down-peer 副本数大于或等于正常副本数（多数派副本 DOWN）的所有 region 信息【忽略已被删除但未 GC 的 Region 信息】
假设三副本集群，存在 kv 节点 down，查找集群内所有 Down 副本数大于或等于正常副本数（多数派副本 DOWN）的所有 region 信息
$ ./tidba cluster region -u {user} -p {password} --host {host} -P {port} --dowtikv {tikv1:servicePort1,tikv2:servicePort2} --pdAddr {pdAddr:serviePort} --regiontype {all/data/index} --replicatype majorDown

- 当 down tikv 宕机不可用，查找集群内所有 down-peer 副本数小于正常副本数（少数派副本 DOWN）的所有 region 信息，并产生修复 remove-peer 修复建议【忽略已被删除但未 GC 的 Region 信息】
假设三副本集群，存在 kv 节点 1,2,28,30，若 down store 1,28 宕机不可用，查找集群内所有 Down 副本数小雨正常副本数（少数派副本 DOWN）的所有 region 信息
$ ./tidba cluster region -u {user} -p {password} --host {host} -P {port} --downtikv {tikv1:servicePort1,tikv2:servicePort2} --pdAddr {pdAddr:serviePort} --regiontype {all/data/index} --replicatype lessDown

-- 查找某个 region 信息
$ ./tidba cluster region -u {user} -p {password} --host {host} -P {port} --pdAddr {pdAddr:serviePort} --regionid {region1,region2,region3}

table 功能集：

固定间隔，并发收集统计信息
查找表数据 region leader 以及索引 region leader 分布
查找某个表上的读写热点 region top 分布

示例：
-- 不间断并发搜集统计信息
$ ./tidba table analyze --host {host} --port {port} --user {user} --password {password} --db {dbName} -i {table1,table2}

-- 查看数据以及索引 region leader 分布
$ ./tidba table region --host {host} --port {port} --user {user} --password {password} --db {dbName} -i {table1}
$ ./tidba table region --host {host} --port {port} --user {user} --password {password} --db {dbName} -i {table1}
--index {indexName}
$ ./tidba table region --host {host} --port {port} --user {user} --password {password} --db {dbName} --all

- 查找某个表上的读写热点 region top 分布
$ ./tidba table hotspot --host {host} --port {port} --user {user} --password {password} --db {dbName} -i {table1}
 --hottype write --limit 10
$ ./tidba table hotspot --host {host} --port {port} --user {user} --password {password} --db {dbName} -i {table1}
 --hottype read --limit 10
$ ./tidba table hotspot --host {host} --port {port} --user {user} --password {password} --db {dbName} -i {table1}
 --hottype write --index {indexName1,indexName2} --limit 10
$ ./tidba table hotspot --host {host} --port {port} --user {user} --password {password} --db {dbName} -i {table1}
 --hottype read --index {indexName1,indexName2} --limit 10

store 功能集：

查找某个 store 上的读写热点 region top 分布

示例：
- 查找所有 store 某个 DB 上的读写热点 region top 分布
$ ./tidba store hotspot --host {host} --port {port} --user {user} --password {password} --db {dbName} --hottype read --limit 10 --all
$ ./tidba store hotspot --host {host} --port {port} --user {user} --password {password} --db {dbName} --hottype write --limit 10 --all

- 查找所有 store 所有 DB 上的读写热点 region top 分布
$ ./tidba store hotspot --host {host} --port {port} --user {user} --password {password} --hottype read --limit 10 --all
$ ./tidba store hotspot --host {host} --port {port} --user {user} --password {password} --hottype write --limit 10 --all 
 
- 查找某个 store 上的读写热点 region top 分布
$ ./tidba store hotspot --host {host} --port {port} --user {user} --password {password} -i {storeID}
 --hottype read --limit 10
$ ./tidba store hotspot --host {host} --port {port} --user {user} --password {password} -i {storeID}
 --hottype write --limit 10

mok 功能集：

Mok 解析 TiDB key, 集成包含原 Mok 工具

示例：
解析 tidb key
$ ./tidba mok 7A7480000000000007FF8F5F728000000000FF083BBA0000000000FAFA6C400A6673FFFE
"7A7480000000000007FF8F5F728000000000FF083BBA0000000000FAFA6C400A6673FFFE"
├─hex
│ └─"zt\200\000\000\000\000\000\007\377\217_r\200\000\000\000\000\377\010;\272\000\000\000\000\000\372\372l@\nfs\377\376"
│   └─rocksdb
│     └─"t\200\000\000\000\000\000\007\377\217_r\200\000\000\000\000\377\010;\272\000\000\000\000\000\372\372l@\nfs\377\376"
│       └─comparable
│         ├─"t\200\000\000\000\000\000\007\217_r\200\000\000\000\000\010;\272"
│         │ └─rowkey
│         │   ├─table: 1935
│         │   └─row: 539578
│         └─ts: 401875853330087937 (2018-07-31 18:58:38.819 +0800 CST)
└─base64
  └─"\354\016\370\363M4\323M4\323M4\323\261E\360^E\357o4\323M4\323M4\024]<\334\020@\323M4\323M4\323A@\024\016\202\34

exporter 功能集：

用户创建以及授权信息导出

示例：
-- 导出所有非 root 用户创建以及授权 SQL
$ ./tidba exporter user --host {host} --port {port} --user {user} --password {password} --cluster-version {clusterVersion 2/3/4/5} --all-user --out-dir {outDir}

-- 导出用户创建以及授权 SQL
$ ./tidba exporter user --host {host} --port {port} --user {user} --password {password} --cluster-version {clusterVersion 2/3/4/5} --include-user {user1,user2} --out-dir {outDir}

sql 功能集：

SQL语句批量执行

示例：
-- 批量执行 SQL 
$ ./tidba exporter user --host {host} --port {port} --user {user} --password {password} --db {dbName} --sql-file {sql_store_dir} --sql-separator {sql-separator, default ;} --out-dir {outDir}

Name		Name	Last commit message	Last commit date
Latest commit History 46 Commits
cluster		cluster
cmd		cmd
db		db
diff		diff
exporter		exporter
mok		mok
sample		sample
split		split
sql		sql
store		store
table		table
util		util
.gitignore		.gitignore
README.md		README.md
go.mod		go.mod
go.sum		go.sum
main.go		main.go

wentaojin/tidba

Folders and files

Latest commit

History

Repository files navigation

TiDBA

About

Topics

Resources

Stars

Watchers

Forks

Languages