百度360必应搜狗淘宝本站头条
linux文件压缩linux用户组查看linux磁盘mysql安装linuxlinux多线程
当前位置：网站首页 > 优雅编程 > 正文

很多人都没用过的轻量级Oracle数据库数据导出工具——性能超赞

sinye56 2024-10-12 10:12 9 浏览 0 评论

SQLLDR2 介绍

每周发表一篇数据库或大数据相关的帖子，敬请关注

1. 工具介绍

Sqluldr2（SQL * UnLoader 第二版）是灵活与强大的 Oracle 文本导出程序，已被大众使 用许多年了，有上千个国内外 DBA 在使用它或使用过它，并在使用的过程中提出了宝贵实 用的改进需求，在完善了众多真实客户的需求后，最终形成了现在的稳定版本。Oracle 有一 个工具叫 SQL*Loader(sqlldr)是用来将文本文件装载到数据库中的，而这个工具是用来将 Oracle 中的数据导出成文本的，因此取名为 SQL*UnLoader(sqluldr)，而最后的 2 是因为第一 版是用 OCI 7 接口写的，而现在发布的是用 OCI 8 接口重写的，是第二代的意思。学会这样 的好工具，在遇到数据迁移需求时，可以让 DBA 轻松自在地完成任务。

1.1. 导出效率:

阿里巴巴（Alibaba）集团的 DBA 几年前就开始用 sqluldr 从生产系统中导出巨量数据给数据仓库分析，并在真实应用环境下 创下了我所见过的文本导出速度的最高记录, 总共用了 595 秒钟导出了 171 135 273 条记录， 平均每秒 287622 条记录。

1.2. 下载地址:

2. 工具安装

2.1. 下载安装包并解压

2.2. 配置环境变量

要运行Sqluldr2必须要安装Oracle的客户端（Oracle客户端的安装方法不在这里讨论）,并配置LD_LIBRARY_PATH环境变量.

export LD_LIBRARY_PATH=/opt/oracle/product/11.2.0/dbhome_1/lib:$LD_LIBRARY_PATH

将其中的/opt/oracle/product/11.2.0/dbhome_1/lib替换成你自己的客户端安装目录.

2.3. 执行实例

2.3.1. 查看帮助

选项 格式 作用

query select 指定一个SQL 语句，通常用双引号括直来。

sql 文件名 指定包括SQL 语句的文本文件名。

field 分隔符 指定字段分隔符，默认为逗号

record 分隔符 指定记录分隔符，默认为回车换行，Windows 下的换行

2.3.2. 导出一个表的全部数据

1258万条数据，导出只需要100秒左右，效率还是可以的。

2.3.3. 导出一个表的部分数据

2.3.4. 导出时指定列分隔符

在上面导出时导出的文件内容如下

可以看出列分隔符为“，”，你也可以手动指定列分隔符.

通过field属性手动指定列分隔符.同理你也可以通过record属性指定行分隔符.

2.3.5. 指定导出文件的风格

通过text属于指定导出文件的风格

可以看出在列类型为varchar2和date的列的导出数据上分别加了双引号.

2.3.6. 优化

array 数字 指定 Array Fetch 的大小

read 数字 Oracle 一次读的最大块数

sort 数字（单位：MB） 指定排序区的大小

hash 数字（单位：MB） 指定 Hash 区的大小

serial yes 指定当全表扫描时用 direct path read

通过指定array的大小为20000后，发现导出的速度相比之前快了很多，1258万条数据只用了17秒.其余的几个属性请自己动手验证.

相关推荐

CTO偷偷传我的系统性能优化十大绝招(万字干货)

上篇引言：取与舍软件设计开发某种意义上是“取”与“舍”的艺术。关于性能方面，就像建筑设计成抗震9度需要额外的成本一样，高性能软件系统也意味着更高的实现成本，有时候与其他质量属性甚至会冲突，比如安全性、...

提升效率!VMware虚拟机性能优化十大实用技巧

我40岁，干跨境婚恋中介的。为服务各国用户，常得弄英语、日语、俄语系统环境，VMware虚拟机帮了不少忙。用久了发现优化下性能，效率能更高。今儿就来聊聊优化技巧和同类软件。一、VMware虚拟...

低延迟场景下的性能优化实践

本文摘录自「全球C++及系统软件技术大会」ScottMeyers曾说到过，如果你不在乎性能，为什么要在C++这里，而不去隔壁的Pythonroom呢？今天我们就从“低延迟的概述”、“低延迟系...

Linux性能调优之内存负载调优的一些笔记

写在前面整理一些Linux内存调优的笔记，分享给小伙伴博文没有涉及的Demo,理论方法偏多，可以用作内存调优入门博文内容涉及:Linux内存管理的基本理论寻找内存泄露的进程内存交换空间调优不同方式的...

优化性能套路:带你战胜这只后段程序员的拦路虎

来源｜极客时间《卖桃者说》作者｜池建强编辑｜成敏你好，这里是卖桃者说。今天给大家推荐一篇文章，来自倪朋飞老师的专栏《Linux性能优化实战》，文章主要讲的是优化性能的套路，这几乎是每个后端程序员...

SK海力士CXL优化解决方案已成功搭载于Linux:带宽提升30%，性能提升12%以上

SK海力士宣布，已将用于优化CXL（ComputeExpressLink）存储器运行的自研软件异构存储器软件开发套件（HMSDK）中主要功能成功搭载于全球最大的开源操作系统Linux上，不但提升了...

Linux内核优化:提升系统性能的秘诀

Linux内核优化：提升系统性能的艺术在深入Linux内核优化的世界之前，让我们先来理解一下内核优化的重要性。Linux内核是操作系统的核心，负责管理系统资源和控制硬件。一个经过精心优化的内核可以显著...

Linux系统性能优化:七个实战经验

Linux系统的性能是指操作系统完成任务的有效性、稳定性和响应速度。Linux系统管理员可能经常会遇到系统不稳定、响应速度慢等问题，例如在Linux上搭建了一个web服务，经常出现网页无法打开、打开速...

腾讯面试:linux内存性能优化总结

【1】内存映射Linux内核给每个进程都提供了一个独立且连续的虚拟地址空间，以便进程可以方便地访问虚拟内存；虚拟地址空间的内部又被分为内核空间和用户空间两部分，不同字长的处理器，地址空间的范围也不同...

Linux文件系统性能调优《参数优化详解》

由于各种的I/O负载情形各异,Linux系统中文件系统的缺省配置一般来说都比较中庸,强调普遍适用性。然而在特定应用下,这种配置往往在I/O性能方面不能达到最优。因此,如果应用对I/O性能要求较高,除...

Nginx 性能优化(吐血总结)

一、性能优化考虑点当我需要进行性能优化时，说明我们服务器无法满足日益增长的业务。性能优化是一个比较大的课题，需要从以下几个方面进行探讨当前系统结构瓶颈了解业务模式性能与安全1、当前系统结构瓶颈首先需要...

Linux问题分析与性能优化

排查顺序整体情况：top/htop/atop命令查看进程/线程、CPU、内存使用情况，CPU使用情况；dstat2查看CPU、磁盘IO、网络IO、换页、中断、切换，系统I/O状态;vmstat2查...

大神级产品:手机装 Linux 运行 Docker 如此简单

本内容来源于@什么值得买APP，观点仅代表作者本人｜作者：灵昱Termux作为一个强大的Android终端模拟器，能够运行多种Linux环境。然而，直接在Termux上运行Docker并不可行，需要...

新手必须掌握的Linux命令

Shell就是终端程序的统称，它充当了人与内核（硬件）之间的翻译官，用户把一些命令“告诉”终端程序，它就会调用相应的程序服务去完成某些工作。现在包括红帽系统在内的许多主流Linux系统默认使用的终端是...

Linux 系统常用的 30 个系统环境变量全解析

在Linux系统中，环境变量起着至关重要的作用，它们犹如隐藏在系统背后的“魔法指令”，掌控着诸多程序的运行路径、配置信息等关键要素。尤其在shell脚本编写时，巧妙运用环境变量，能让脚本如虎...

取消回复欢迎 你 发表评论:

一周热门
最近发表
标签列表