百度360必应搜狗淘宝本站头条
linux文件压缩linux用户组查看linux磁盘mysql安装linuxlinux多线程
当前位置：网站首页 > 优雅编程 > 正文

Linux 命令行如何使用Spark连接MySql数据库并读取数据

sinye56 2024-11-18 16:41 2 浏览 0 评论

一、MySql创建数据

在MySql中创建一个数据库stud和一个表stu，并插入三条数据。

二、Spark连接MySql数据库并读写数据

1、下载mysql的jdbc驱动。

https://dev.mysql.com/downloads/connector/j/

选择操作系统：Red Hat Enterprise Linux/Oracle Linux

选择版本：Red Hat Enterprise Linux 7/Oracle Linux 7 (Architecture Independent)

2、将安装包上传至Linux系统，这里上传至/root

3、解压安装包

$ rpm2cpio mysql-connector-java-8.0.21-1.el7.noarch.rpm | cpio -div

4、将解压后的文件夹移到spark的安装目录下

$ mv usr /root/spark-3.0.1-bin-hadoop2.7

这时就可以在/root/spark-3.0.1-bin-hadoop2.7/usr/share/java目录下看到驱动程序文件mysql-connector-java.jar。

5、启动Spark Shell

进入spark的bin目录下启动spark-shell，而且启动的时候要附加一些参数。启动Spark Shell时，必须指定mysql连接驱动jar包。

$ cd /root/spark-3.0.1-bin-hadoop2.7/bin

$ spark-shell \

$ --jars /root/spark-3.0.1-bin-hadoop2.7/usr/share/java/mysql-connector-java.jar \

$ --driver-class-path /root/spark-3.0.1-bin-hadoop2.7/usr/share/java/mysql-connector-java.jar

上面命令中，在一行的末尾加入斜杠\，是为了告诉spark-shell，命令还没有结束。

6、执行命令连接数据库，读取数据并显示

scala > import org.apache.spark.sql.SQLContext

scala > val sqlContext = new SQLContext(sc)

scala > val jdbcDF = sqlContext.read.format("jdbc").options(Map("url" -> "jdbc:mysql://localhost:10085/stud", "driver" -> "com.mysql.jdbc.Driver", "dbtable" -> "stu", "user" -> "root", "password" -> "root")).load()

其中，10085为mysql端口号，stud为数据库名，stu为表名。

连接成功后，读取数据。

scala > jdbcDF.show()

相关推荐

Linux两种光驱自动挂载的方法

环境：CentOS6.4西昆云服务器方式一修改fstab文件/etc/fstab是系统保存文件系统信息?静态文件，每一行描述一个文件系统；系统每次启动会读取此文件信息以确定需要挂载哪些文件系统。参...

linux系统运维，挂载和分区概念太难?在虚机下操作一次全掌握

虚拟机的好处就是可以模拟和学习生产环境的一切操作，假如我们还不熟悉磁盘操作，那先在虚机环境下多操作几次。这次来练习下硬盘扩容操作。虚拟机环境：centos8vm11linux设备命名规则在linux中...

Linux 挂载 NFS 外部存储 (mount 和 /etc/fstab)

mount:手工挂载，下次重启需再重新挂载，操作命令：mount-tnfs-ooptionsserver:/remote/export/local/directory上面命令中，本地目录...

在Linux中如何设置自动挂载特定文件系统(示例)

Linux...

Linux环境中的绑定挂载(bind mount)

简介：Linux中的mount命令是一个特殊的指令，主要用于挂载文件目录。而绑定挂载（bindmount）命令更为特别。mount的bind选项将第一个目录克隆到第二个。一个目录中的改变将会在...

Linux挂载CIFS共享 临时挂载 1. 首先

如何解决服务器存储空间不足的问题？大家好，欢迎回来。在上一期视频中，我为大家介绍了如何利用Linux挂载来扩容服务器存储空间。这一期视频，我将以Linux为例，教大家如何进行扩容。群辉使用的是Linu...

Linux 硬盘挂载(服务器重启自动挂载)

1、先查看目前机器上有几块硬盘，及已挂载磁盘：fdisk-l能够查看到当前主机上已连接上的磁盘，以及已经分割的磁盘分区。（下面以/dev/vdb磁盘进行分区、挂载为例，挂载点设置为/data）df...

linux 挂载磁盘

在Linux中挂载硬盘的步骤如下：...

笨小猪教您Linux磁盘挂载

本教程针对Linux系统比较熟悉或者想学习Linux基础的用户朋友，本教程操作起来比较傻瓜式，跟着步骤就会操作，本文使用的工具是XShell同时多多注意空格（文中会有提示）。【问答】什么是磁盘挂载？答...

Linux 磁盘挂载和docker安装命令

本篇给大家介绍Linux磁盘挂载和docker安装的相关内容，Linux服务器的操作是一个手熟的过程，一些不常用的命令隔断时间就忘记了，熟话说好记性不如烂笔头，还需在平时的工作中多练习记录。...

Linux设置开机自动挂载分区

有时候，我们在安装完Linux系统之后，可能在使用过程中添加硬盘或者分区进行使用，这时候就需要手动把磁盘分区挂载到某个路径，但是开机之后就会消失，需要重新挂载，非常麻烦，那么我们应该如何设置开机自动挂...

在linux挂载一个新硬盘的完整步骤

以下是在Linux中挂载新原始磁盘的完整步骤，包括分区、创建文件系统以及使用UUID在/etc/fstab中启动时挂载磁盘：将新的原始磁盘连接到Linux系统并打开电源。运行以下命令，...

Linux系统如何挂载exFAT分区

简介：Linux系统中不能像Windows系统那样自动识别加载新设备，需要手动识别，手动加载。Linux中一切皆文件。文件通过一个很大的文件树来组织，文件树的根目录是：/，从根目开始录逐级展开。这些文...

Linux系统挂载硬盘

fdisk-l查看可挂载的磁盘都有哪些df-h查看已经挂载的磁盘...

WSL2发布，如何在Win10中挂载Linux文件系统

WSL2是最新版本的架构，它为Windows子系统提供支持，使其能够在Windows上运行ELF64Linux二进制文件。通过最近的更新，它允许使用Linux文件系统访问存储在硬盘中的文件。如果你...

取消回复欢迎 你 发表评论:

一周热门
最近发表
标签列表