实践KDTS-WEB从mysql迁移到kingbasev9

数据库国产化替代数据迁移是一个复杂且关键的过程。这涉及到将原有数据库中的数据准确、完整地迁移到新的国产数据库中，同时确保数据的完整性和一致性。人大金仓提供了强大的数据库迁移工具（KDTS）对同构、异构数据库数据迁移；

数据库数据迁移平台(KDTS: Kingbase Data Transformation Service)是为用户提供 Oracle、Mysql、SQLServer、Gbase、PostgreSQL、DM、KingbaseES 数据库数据迁移到 KingbaseES数据库的数据迁移工具。

一、基础介绍：

1、附上一个关注度最高的金仓对源端数据库支持列表

更加详细的支持介绍可以异步官网：金仓社区 - 查看文档详情

2、KDTS版本不同差异

KDTS分两个版本一个BS版，一个SHELL版，喜闻乐道的是，两个工具都随数据库打包发布，不需要再单独部署

迁移工具BS版随数据库一起打包发布，安装完数据库后，在`${KES_HOME}/ClientTools/guitools/KDts/KDTS-WEB`目录下

迁移工具SHELL版随数据库一起打包发布，安装完数据库后，在`${KES_HOME}/ClientTools/guitools/KDts/KDTS-CLI`目录下

二、起动KDTS

进入KDTS-WEB目录

cd $KES_HOME/ClientTools/guitools/KDts/KDTS-WEB

执行启动

这里吐槽一下，建议启动完后最下面打印一下登录地址和端口

[kingbase@localhost ~]$ cd $KES_HOME/ClientTools/guitools/KDts/KDTS-WEB

[kingbase@localhost KDTS-WEB]$ cd bin/

[kingbase@localhost bin]$ ls

shutdown.bat shutdown.sh startup.bat startup.sh

[kingbase@localhost bin]$ ./startup.sh

------------------------------------------------------------------------

openjdk version "11.0.2" 2019-01-15

OpenJDK Runtime Environment 18.9 (build 11.0.2+9)

OpenJDK 64-Bit Server VM 18.9 (build 11.0.2+9, mixed mode)

------------------------------------------------------------------------

================================================ 2024-12-17_10-52-11 ================================================

kdts-app-console v1.0.3.258

jar name: kdts-app-console-1.0.3.258.jar

base path: /Kingbase/ES/V9/ClientTools/guitools/KDts/KDTS-WEB

bin path: /Kingbase/ES/V9/ClientTools/guitools/KDts/KDTS-WEB/bin

config path: /Kingbase/ES/V9/ClientTools/guitools/KDts/KDTS-WEB/conf

log path: /Kingbase/ES/V9/ClientTools/guitools/KDts/KDTS-WEB/logs/kdts-app-console_2024-12-17_10-52-11.log

java path: /Kingbase/ES/V9/ClientTools/guitools/KDts/KDTS-WEB/jdk

JAVA_OPT: -server -Dfile.encoding=UTF-8 -Djava.awt.headless=true -Dcache_enable=true -Dconfig.path=/Kingbase/ES/V9/ClientTools/guitools/KDts/KDTS-WEB/conf -Djavax.xml.parsers.SAXParserFactory=com.sun.org.apache.xerces.internal.jaxp.SAXParserFactoryImpl -Djava.security.properties=./conf/enableLegacyTLS.security -Duser.country=CN -Duser.language=zh -Djsse.enableCBCProtection=false --add-opens java.base/jdk.internal.loader=ALL-UNNAMED --add-opens jdk.zipfs/jdk.nio.zipfs=ALL-UNNAMED --add-opens java.base/java.net=ALL-UNNAMED --add-opens java.base/java.lang.invoke=ALL-UNNAMED -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=./logs/ -Xms8G -Xmx8G -XX:+UseG1GC -XX:G1ReservePercent=20 -XX:+UseCompressedOops -XX:+UseCompressedClassPointers -XX:G1HeapRegionSize=8M -XX:+SegmentedCodeCache -XX:+PrintCommandLineFlags -XX:+ExplicitGCInvokesConcurrent

FreeMemory=13795M JavaMemory=8G

cpu_arch=x86_64

startup command: /Kingbase/ES/V9/ClientTools/guitools/KDts/KDTS-WEB/jdk/bin/java -server -Dfile.encoding=UTF-8 -Djava.awt.headless=true -Dcache_enable=true -Dconfig.path=/Kingbase/ES/V9/ClientTools/guitools/KDts/KDTS-WEB/conf -Djavax.xml.parsers.SAXParserFactory=com.sun.org.apache.xerces.internal.jaxp.SAXParserFactoryImpl -Djava.security.properties=./conf/enableLegacyTLS.security -Duser.country=CN -Duser.language=zh -Djsse.enableCBCProtection=false --add-opens java.base/jdk.internal.loader=ALL-UNNAMED --add-opens jdk.zipfs/jdk.nio.zipfs=ALL-UNNAMED --add-opens java.base/java.net=ALL-UNNAMED --add-opens java.base/java.lang.invoke=ALL-UNNAMED -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=./logs/ -Xms8G -Xmx8G -XX:+UseG1GC -XX:G1ReservePercent=20 -XX:+UseCompressedOops -XX:+UseCompressedClassPointers -XX:G1HeapRegionSize=8M -XX:+SegmentedCodeCache -XX:+PrintCommandLineFlags -XX:+ExplicitGCInvokesConcurrent -jar /Kingbase/ES/V9/ClientTools/guitools/KDts/KDTS-WEB/lib/kdts-app-console-1.0.3.258.jar > /Kingbase/ES/V9/ClientTools/guitools/KDts/KDTS-WEB/logs/kdts-app-console_2024-12-17_10-52-11.log 2>&1 &

application pid: 129778

See "../logs/kdts-app-console_2024-12-17_10-52-11.log" or use the command-line "tail -f ../logs/kdts-app-console_2024-12-17_10-52-11.log" for more detail.

[kingbase@localhost bin]$ tail -f ../logs/kdts-app-console_2024-12-17_10-52-11.log

-XX:+ExplicitGCInvokesConcurrent -XX:G1ConcRefinementThreads=8 -XX:G1HeapRegionSize=8388608 -XX:G1ReservePercent=20 -XX:GCDrainStackTargetSize=64 -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=./logs/ -XX:InitialHeapSize=8589934592 -XX:MaxHeapSize=8589934592 -XX:+PrintCommandLineFlags -XX:ReservedCodeCacheSize=251658240 -XX:+SegmentedCodeCache -XX:+UseCompressedClassPointers -XX:+UseCompressedOops -XX:+UseG1GC

10:52:21.356 [main] INFO com.kingbase.kdts.DataMigrationApplication - ForkJoinPool.common.parallelism: 7

10:52:21.533 [main] INFO com.kingbase.kdts.DataMigrationApplication - PlatformClassLoader: jdk.internal.loader.ClassLoaders$PlatformClassLoader

10:52:21.533 [main] INFO com.kingbase.kdts.DataMigrationApplication - SystemClassLoader: jdk.internal.loader.ClassLoaders$AppClassLoader

10:52:21.533 [main] INFO com.kingbase.kdts.DataMigrationApplication - ContextClassLoader: org.springframework.boot.loader.LaunchedURLClassLoader

2024-12-17 10:52:34.642 INFO 129778 --- [ main] c.k.kdts.DataMigrationApplication : Starting DataMigrationApplication v1.0.3.258 using Java 11.0.2 on localhost.localdomain with PID 129778 (/Kingbase/ES/V9/KESRealPro/V009R001C001B0030/ClientTools/guitools/KDts/KDTS-WEB/lib/kdts-app-console-1.0.3.258.jar started by kingbase in /Kingbase/ES/V9/KESRealPro/V009R001C001B0030/ClientTools/guitools/KDts/KDTS-WEB)

2024-12-17 10:52:34.644 INFO 129778 --- [ main] c.k.kdts.DataMigrationApplication : No active profile set, falling back to 1 default profile: "default"

查看进程

[kingbase@localhost bin]$ ps -ef|grep kdts

kingbase 129778 1 99 10:52 pts/0 00:01:05 /Kingbase/ES/V9/ClientTools/guitools/KDts/KDTS-WEB/jdk/bin/java -server -Dfile.encoding=UTF-8 -Djava.awt.headless=true -Dcache_enable=true -Dconfig.path=/Kingbase/ES/V9/ClientTools/guitools/KDts/KDTS-WEB/conf -Djavax.xml.parsers.SAXParserFactory=com.sun.org.apache.xerces.internal.jaxp.SAXParserFactoryImpl -Djava.security.properties=./conf/enableLegacyTLS.security -Duser.country=CN -Duser.language=zh -Djsse.enableCBCProtection=false --add-opens java.base/jdk.internal.loader=ALL-UNNAMED --add-opens jdk.zipfs/jdk.nio.zipfs=ALL-UNNAMED --add-opens java.base/java.net=ALL-UNNAMED --add-opens java.base/java.lang.invoke=ALL-UNNAMED -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=./logs/ -Xms8G -Xmx8G -XX:+UseG1GC -XX:G1ReservePercent=20 -XX:+UseCompressedOops -XX:+UseCompressedClassPointers -XX:G1HeapRegionSize=8M -XX:+SegmentedCodeCache -XX:+PrintCommandLineFlags -XX:+ExplicitGCInvokesConcurrent -jar /Kingbase/ES/V9/ClientTools/guitools/KDts/KDTS-WEB/lib/kdts-app-console-1.0.3.258.jar

kingbase 129931 126746 0 10:52 pts/0 00:00:00 grep --color=auto kdts

验证登录

访问地址： http://localhost:54523/  《远程登录修改成自己的ip》

默认用户名及密码：kingbase / kingbase

三、实施迁移

1、创建数据源

添加源数据库

点击新建，然后输入源数据库信息，点击测试，测试通过后点击保存

添加目标数据库

同源端体检基本一致

2、创建迁移任务

选择新建迁移任务，选择源与目标的数据库连接

选择要迁移的数据库，和目标属主，下一步

选中要迁移的数据库，可以选择迁移范围，还可以字段类型过滤等，结合自己情况可以按需配置

对源库和目标库进行配置

特殊需要提一下的，还可以数据类型映射，不同数据库之间的字段类型长度可能不同，这个就很方便的自定义自己的数据类型映射了

点击保存并启动后就开始了迁移任务，可以再迁移任务里看到迁移任务，点击详情查看任务的详细信息

迁移结果

四、总结

KDTS作为人大金仓数据库管理系统（KingbaseES）的配套工具，为数据库迁移提供了高效、稳定的解决方案。在实际操作中，我KDTS能够顺利迁移表结构和数据，生产上用的oracle迁移，虽然部分游标和自定义存储过程可能需要手动调整，提供了BS版和SHELL版两种使用方式，满足不同用户的需求。BS版通过浏览器以可视化界面方式设置配置项，使得迁移过程更加直观易懂；而SHELL版则通过手动修改配置文件的方式设置配置项，为高级用户提供了更多的灵活性。这种设计使得KDTS既适合初学者，也适合有经验的数据库管理员‌，相信它能够为用户带来更多的便利和价值。