kettle工具练习

一.抽取CSV文件csv.extract.csv中的数据保存至数据库extract中的数据表csv中。

1.打开kettle工具创建一个转换csv_extract,并添加“CSV文件输入”控件，“表输出”控件及Hop跳连接线，用于实现CSV文件数据的抽取功能，具体效果如下图所示：

2.配置CSV文件输入控件，具体操作如下图所示：

获取字段

预览数据

3.配置表输出控件，具体操作如下图示：

设置映射匹配

表输出控件配置效果

4.运行csv_extract

从上图可以看出，CSV文件输入控件输入101条数据并写入该控件100条数据（其中有一条数据为表头数据），而表输出控件读取CSV文件输入控件中的100条数据并写入该控件，最终进行输出。也就是说，表输出控件将从CSV文件输入流中读取的100条数据均写入数据表csv中。

5.查看数据表csv中的数据，通过SQLyog工具，查看数据表是否已经成功插入100行数据，结果如下图所示：

通过上图可看出，数据表csv中已经成功插入数据（这里只展示部分数据），说明成功实现了将CSV文件csv_extract.csv中的数据抽取到数据表csv中。

二.抽取JSON文件json_extract.js中的数据保存至数据库extract中的数据表json中。

1.打开kettle工具创建转换，并添加JSONinput控件。表输出控件以及Hop跳连接线，用于实现抽取JSON文件中的key值为id，field和value的数据，并保存至数据表json中，具体操作如下图所示：

2.配置JSON input 控件，具体操作效果如下图所示：

3.配置表输出控件，具体操作效果如下图所示：

4.运行json_extract转换，实现将JSON文件中的数据抽取到数据表json中，执行结果如下图所示：

从上图看出，JSON input控件输入2条数据并写入该控件中，JSON input2控件读取JSON input控件的2条数据的data字段中并获取6条数据作为输入并写入该控件中，表输出控件读取JSON input控件的2条数据，从这两条数据的data字段共获取6条数据作为输入并写入该控件中，也就是说，表输出控件从JSON input2流中读取6条数据均写入数据表json中。

5.查看数据表json是否已经成功插入6条数据，查看结果如下图所示：

从上图可以看出，数据表json中已经成功插入数据，说明成功实现了将JSON文件json_extract.json中key值为id，field，value的数据抽取到数据表json中。

注：本文所涉及操作详情请查《数据清洗–黑马程序员编著》一书第四章数据抽取。

后记：此次练习数据抽取操作过程中主要面临数据库连接问题，对于我个人而言，刚开始数据库连接与MySQL应用的确无从下手，面对数据库连接失败以及MySQL卸载与重新安装的确耗费了大量时间，尤其MySQL安装与卸载，不过通过求助周围人和网上查找详细资料也解决了这些问题。

版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 举报，一经查实，本站将立刻删除。

发布者：全栈程序员栈长，转载请注明出处：https://javaforall.cn/181086.html原文链接：https://javaforall.cn

未经允许不得转载：木盒主机 » kettle工具练习