TiDB-Lightning 常见问题

Lightning 对 TiDB/TiKV/PD 的最低版本要求是多少？

最低版本要求是 2.0.9。

Lightning 支持导入多个库吗？

支持。

Lightning 对下游数据库的账号权限要求是怎样的？

Lightning 需要以下权限：

• SELECT
• UPDATE
• ALTER
• CREATE
• DROP

另外，存储断点的数据库额外需要以下权限：

• INSERT
• DELETE

Lightning 在导数据过程中某个表报错了，会影响其他表吗？进程会马上退出吗？

如果只是个别表报错，不会影响整体。报错的那个表会停止处理，继续处理其他的表。

如何校验导入的数据的正确性？

Lightning 默认会对导入数据计算校验和 (checksum)，如果校验和不一致就会停止导入该表。可以在日志看到相关的信息。

TiDB 也支持从 MySQL 命令行运行 ADMIN CHECKSUM TABLE 指令来计算校验和。

mysql> ADMIN CHECKSUM TABLE `schema`.`table`;
+---------+------------+---------------------+-----------+-------------+
| Db_name | Table_name | Checksum_crc64_xor  | Total_kvs | Total_bytes |
+---------+------------+---------------------+-----------+-------------+
| schema  | table      | 5505282386844578743 |         3 |          96 |
+---------+------------+---------------------+-----------+-------------+
 row in set (0.01 sec)

Lightning 支持哪些格式的数据源？

到 v2.1.6 版本为止，只支持本地文档形式的数据源，支持 mydumper 或 CSV 格式。

我已经在下游创建好库和表了，Lightning 可以忽略建库建表操作吗？

可以。在配置文档中的 [mydumper] 将 no-schema 设置为 true 即可。no-schema=true 会默认下游已经创建好所需的数据库和表，如果没有创建，会报错。

有些不合法的数据，能否通过关掉严格 SQL 模式 (Strict SQL MOde) 来导入？

可以。Lightning 默认的 sql_mode 为 "STRICT_TRANS_TABLES,NO_ENGINE_SUBSTITUTION"。

这个设置不允许一些非法的数值，例如 1970-00-00 这样的日期。可以修改配置文件 [tidb] 下的 sql-mode 值。

...
[tidb]
sql-mode = ""
...

可以起一个 tikv-importer，同时有多个 tidb-lightning 进程导入数据吗？

只要每个 Lightning 操作的表互不相同就可以。

如何正确关闭 tikv-importer 进程？

如使用 TiDB-Ansible 部署，在 Importer 的服务器上运行 scripts/stop_importer.sh 即可。否则，可通过 ps aux | grep tikv-importer 获取进程ID，然后 kill «pid»。

如何正确关闭 tidb-lightning 进程？

如使用 TiDB-Ansible 部署，在 Lightning 的服务器上运行 scripts/stop_lightning.sh 即可。

如果 tidb-lightning 正在前台运行，可直接按 Ctrl+C 退出。

否则，可通过 ps aux | grep tidb-lightning 获取进程 ID，然后 kill -2 «pid»。

进程在服务器上运行，进程莫名其妙地就退出了，是怎么回事呢？

这种情况可能是启动方式不正确，导致因为收到 SIGHUP 信号而退出，此时 tidb-lightning.log 通常有这幺一行日志：

/08/10 07:29:08.310 main.go:47: [info] Got signal hangup to exit.

不推荐直接在命令行中使用 nohup 启动进程，而应该把 nohup 这行命令放到一个脚本中运行。

为什么用过 Lightning 之后，TiDB 集群变得又慢又耗 CPU？

如果 tidb-lightning 曾经异常退出，集群可能仍留在“导入模式” (import mode)，不适合在生产环境工作。此时需要强制切换回“普通模式” (normal mode)：

tidb-lightning-ctl --switch-mode=normal

TiDB-Lightning 可以使用千兆网卡吗？

使用 TiDB-Lightning 必须配置万兆网卡。不能使用千兆网卡，尤其是在部署 tikv-importer 的机器上。千兆网卡的总带宽只有 120 MB/s，而且需要与整个 TiKV 集群共享。在使用 TiDB-Lightning 导入时，极易用尽所有带宽，继而因 PD 无法联络集群使集群断连。

为什么 TiDB-Lightning 需要在 TiKV 集群预留这么多空间？

当使用默认的 3 副本设置时，TiDB-Lightning 需要 TiKV 集群预留数据源大小 6 倍的空间。多出来的 2 倍是算上下列没储存在数据源的因素的保守估计：

• 索引会占据额外的空间
• RocksDB 的空间放大效应

TiDB-Lightning 使用过程中是否可以重启 TiKV-Importer？

不能，Importer 会保存一些 Engine 的信息在内存中，Importer 重启后，Lightning 必须重启。