百度360必应搜狗淘宝本站头条
linux文件压缩linux用户组查看linux磁盘mysql安装linuxlinux多线程
当前位置：网站首页 > 优雅编程 > 正文

很多人都没用过的轻量级Oracle数据库数据导出工具——性能超赞

sinye56 2024-10-12 10:12 6 浏览 0 评论

SQLLDR2 介绍

每周发表一篇数据库或大数据相关的帖子，敬请关注

1. 工具介绍

Sqluldr2（SQL * UnLoader 第二版）是灵活与强大的 Oracle 文本导出程序，已被大众使 用许多年了，有上千个国内外 DBA 在使用它或使用过它，并在使用的过程中提出了宝贵实 用的改进需求，在完善了众多真实客户的需求后，最终形成了现在的稳定版本。Oracle 有一 个工具叫 SQL*Loader(sqlldr)是用来将文本文件装载到数据库中的，而这个工具是用来将 Oracle 中的数据导出成文本的，因此取名为 SQL*UnLoader(sqluldr)，而最后的 2 是因为第一 版是用 OCI 7 接口写的，而现在发布的是用 OCI 8 接口重写的，是第二代的意思。学会这样 的好工具，在遇到数据迁移需求时，可以让 DBA 轻松自在地完成任务。

1.1. 导出效率:

阿里巴巴（Alibaba）集团的 DBA 几年前就开始用 sqluldr 从生产系统中导出巨量数据给数据仓库分析，并在真实应用环境下 创下了我所见过的文本导出速度的最高记录, 总共用了 595 秒钟导出了 171 135 273 条记录， 平均每秒 287622 条记录。

1.2. 下载地址:

2. 工具安装

2.1. 下载安装包并解压

2.2. 配置环境变量

要运行Sqluldr2必须要安装Oracle的客户端（Oracle客户端的安装方法不在这里讨论）,并配置LD_LIBRARY_PATH环境变量.

export LD_LIBRARY_PATH=/opt/oracle/product/11.2.0/dbhome_1/lib:$LD_LIBRARY_PATH

将其中的/opt/oracle/product/11.2.0/dbhome_1/lib替换成你自己的客户端安装目录.

2.3. 执行实例

2.3.1. 查看帮助

选项 格式 作用

query select 指定一个SQL 语句，通常用双引号括直来。

sql 文件名 指定包括SQL 语句的文本文件名。

field 分隔符 指定字段分隔符，默认为逗号

record 分隔符 指定记录分隔符，默认为回车换行，Windows 下的换行

2.3.2. 导出一个表的全部数据

1258万条数据，导出只需要100秒左右，效率还是可以的。

2.3.3. 导出一个表的部分数据

2.3.4. 导出时指定列分隔符

在上面导出时导出的文件内容如下

可以看出列分隔符为“，”，你也可以手动指定列分隔符.

通过field属性手动指定列分隔符.同理你也可以通过record属性指定行分隔符.

2.3.5. 指定导出文件的风格

通过text属于指定导出文件的风格

可以看出在列类型为varchar2和date的列的导出数据上分别加了双引号.

2.3.6. 优化

array 数字 指定 Array Fetch 的大小

read 数字 Oracle 一次读的最大块数

sort 数字（单位：MB） 指定排序区的大小

hash 数字（单位：MB） 指定 Hash 区的大小

serial yes 指定当全表扫描时用 direct path read

通过指定array的大小为20000后，发现导出的速度相比之前快了很多，1258万条数据只用了17秒.其余的几个属性请自己动手验证.

相关推荐

Linux基础知识之修改root用户密码

现象：Linux修改密码出现：Authenticationtokenmanipulationerror。故障解决办法：进入单用户，执行pwconv，再执行passwdroot。...

Linux如何修改远程访问端口

对于Linux服务器而言，其默认的远程访问端口为22。但是，出于安全方面的考虑，一般都会修改该端口。下面我来简答介绍一下如何修改Linux服务器默认的远程访问端口。对于默认端口而言，其相关的配置位于/...

如何批量更改文件的权限

如果你发觉一个目录结构下的大量文件权限(读、写、可执行)很乱时,可以执行以下两个命令批量修正：批量修改文件夹的权限chmod755-Rdir_name批量修改文件的权限finddir_nam...

CentOS「linux」学习笔记10:修改文件和目录权限

?linux基础操作：主要介绍了修改文件和目录的权限及chown和chgrp高级用法6.chmod修改权限1：字母方式[修改文件或目录的权限]u代表所属者，g代表所属组，o代表其他组的用户，a代表所有...

Linux下更改串口的权限

问题描述我在Ubuntu中使用ArduinoIDE，并且遇到串口问题。它过去一直有效，但由于可能不必要的原因，我觉得有必要将一些文件的所有权从root所有权更改为我的用户所有权。...

Linux chown命令:修改文件和目录的所有者和所属组

chown命令，可以认为是"changeowner"的缩写，主要用于修改文件（或目录）的所有者，除此之外，这个命令也可以修改文件（或目录）的所属组。当只需要修改所有者时，可使用...

chmod修改文件夹及子目录权限的方法

chmod修改文件夹及子目录权限的方法打开终端进入你需要修改的目录然后执行下面这条命令chmod777*-R全部子目录及文件权限改为777查看linux文件的权限：ls-l文件名称查看li...

Android 修改隐藏设置项权限

在Android系统中，修改某些隐藏设置项或权限通常涉及到系统级别的操作，尤其是针对非标准的、未在常规用户界面显示的高级选项。这些隐藏设置往往与隐私保护、安全相关的特殊功能有关，或者涉及开发者选项、权...

完蛋了!我不小心把Linux所有的文件权限修改了!在线等修复!

最近一个客户在群里说他一不小心把某台业务服务器的根目录权限给改了，本来想修改当前目录，结果执行成了根目录。...

linux改变安全性设置-改变所属关系

CentOS7.3学习笔记总结（五十八）-改变安全性设置-改变所属关系在以前的文章里，我介绍过linux文件权限，感兴趣的朋友可以关注我，阅读一下这篇文章。这里我们不在做过的介绍，注重介绍改变文件或者...

Python基础到实战一飞冲天(一)--linux基础(七)修改权限chmod

#07_Python基础到实战一飞冲天（一）--linux基础（七）--修改权限chmod-root-groupadd-groupdel-chgrp-username-passwd...

linux更改用户权限为root权限方法大全

背景在使用linux系统时，经常会遇到需要修改用户权限为root权限。通过修改用户所属群组groupid为root，此操作只能使普通用户实现享有部分root权限，普通用户仍不能像root用户一样享有超...

怎么用ip命令在linux中添加路由表项?

在Linux中添加路由表项，可以使用ip命令的route子命令。添加路由表项的基本语法如下：sudoiprouteadd<network>via<gateway>这...

Linux配置网络

1、网卡名配置相关文件回到顶部网卡名命名规则文件：/etc/udev/rules.d/70-persistent-net.rules#PCIdevice0x8086:0x100f(e1000)...

Linux系列---网络配置文件

1.网卡配置文件在/etc/sysconfig/network-scripts/下:[root@oldboynetwork-scripts]#ls/etc/sysconfig/network-s...

取消回复欢迎 你 发表评论:

一周热门
最近发表
标签列表