百度360必应搜狗淘宝本站头条
linux文件压缩linux用户组查看linux磁盘mysql安装linuxlinux多线程
当前位置：网站首页 > 优雅编程 > 正文

Python操作文本文件、json、数据库和web数据

sinye56 2024-10-18 12:55 4 浏览 0 评论

我们需要处理的数据常常以几种形式存在着，包括文本文件、数据库、网页。那么如果无法将这些数据读取到Python中，我们就无法对他们进行处理。大家常见的许多数据分析问题都是IO密集型工作，而不是CPU密集型工作，这就是因为大量的工作是将不同的数据进行读取、选择、写入。因此，本文将总结，针对这些类型的数据，利用python的哪些函数可以高效的进行读写工作：

1、读取文本文件

函数说明
Pd.read_csv从文件、URL、文件型文件中加载带分隔符的数据，默认分隔符为逗号
Pd.read_talbe从文件、URL、文件型文件中加载带分隔符的数据，默认分隔符为制表符
Pd.read_fwf读取定宽列格式数据，没有分隔符
Pd.read_clipboard读取剪贴板数据，
To_csvDataFrame和Series的方法，写入csv文件
From_csvDataFrame和Series的方法，读取csv文件
Csv.reader接收打开的csv文件，可手工读取csv文件
Csv.writer接收打开的可写入的csv文件，可手工写入csv文件

2、json

Json已经成为通过http请求在web浏览器和其它应用程序之间传送数据的标准格式之一。很多库都能读写json，例如json可以通过json.loads()读取json，通过json.dumps()将Python对象转换成json。

Pandas中也有pd.read_json()读取json，返回DataFrame和pd.to_json()将DataFrame写入json。

3、EXCEL

Pandas的ExcelFile类支持读取存储在excel中的表格型数据。ExcelFile依赖xlrd和openpyxl，读取EXCEL: xls_file= pd.ExcelFile(‘data.xls’)，将某一个工作表读取为DataFrame：df= xls_file.parse(‘sheet1’)。另外，pd.read_excel()也可以进行excel的读取，如Df= pd.read_excel(‘data.xls’)。

虽然我们也可以使用xlrd进行简单的EXCEL写入，但是我还是习惯于写入csv，这样更方便。

4、数据库

Python内置了sqlite数据库，还有我们常常使用的mysql数据库，使用起来较为方便。

sqlite

mysql

还有其它一些数据库，例如MongoDB可以使用pymongo，连接Oracle数据库需要使用cx_Oracle等。

5、web API

很多网站通过API提供json数据或其它类型的数据，我们可以使用urllib.request或者requests进行访问和获取数据。下面是两个示例：

urllib.request

requests

这是我们获取数据和读写数据常常遇到的几种情况，也欢迎大家补充。

相关推荐

Linux在线安装JDK1.8

首先在服务器pingwww.baidu.com查看是否可以连网然后就可以在线下载一、下载安装JDK1.81、在下载安装的同时做好一些准备工作...

Linux安装JDK，超详细

1、了解RPMRPM是Red-HatPackageManager（RPM软件包管理器）的缩写，这一文件格式名称虽然打上了RedHat的标志，但是其原始设计理念是开放式的，现在包括OpenLinux...

Linux安装jdk1.8(超级详细)

前言最近刚购买了一台阿里云的服务器准备要搭建一个网站，正好将网站的一个完整搭建过程分享给大家！#一、下载jdk1.8首先我们需要去下载linux版本的jdk1.8安装包，我们有两种方式去下载安装...

Linux系统安装JDK教程

下载jdk-8u151-linux-x64.tar.gz下载地址：https://www.oracle.com/technetwork/java/javase/downloads/index.ht...

干货|JDK下载安装与环境变量配置图文教程「超详细」

1.JDK介绍1.1什么是JDK?SUN公司提供了一套Java开发环境，简称JDK(JavaDevelopmentKit)，它是整个Java的核心，其中包括Java编译器、Java运行工具、Jav...

Linux下安装jdk1.8

一、安装环境操作系统：CentOSLinuxrelease7.6.1810(Core)JDK版本：1.8二、安装步骤1.下载安装包...

Linux上安装JDK

以CentOS为例。检查是否已安装过jdk。yumlist--installed|grepjdk或者...

Linux系统的一些常用目录以及介绍

根目录（／）：“／”目录也称为根目录，位于Linux文件系统目录结构的顶层。在很多系统中，“／”目录是系统中的唯一分区。如果还有其他分区，必须挂载到“／”目录下某个位置。整个目录结构呈树形结构，因此也...

Linux系统目录结构

一、系统目录结构几乎所有的计算机操作系统都是使用目录结构组织文件。具体来说就是在一个目录中存放子目录和文件，而在子目录中又会进一步存放子目录和文件，以此类推形成一个树状的文件结构，由于其结构很像一棵树...

Linux文件查找

在Linux下通常find不很常用的，因为速度慢（find是直接查找硬盘），通常我们都是先使用whereis或者是locate来检查，如果真的找不到了，才以find来搜寻。为什么...

嵌入式linux基本操作之查找文件

对于很多初学者来说都习惯用windows操作系统，对于这个系统来说查找一个文件简直不在话下。而学习嵌入式开发行业之后，发现所用到的是嵌入式Linux操作系统，本想着跟windows类似，结果在操作的时...

linux系统查看软件安装目录的方法

linux系统下怎么查看软件安装的目录？方法1：whereis软件名以查询nginx为例子...

Linux下如何对目录中的文件进行统计

统计目录中的文件数量...

Linux常见文件目录管理命令

touch用于创建空白文件touch文件名称mkdir用于创建空白目录还可以通过参数-p创建递归的目录...

Linux常用查找文件方法总结

一、前言Linux系统提供了多种查找文件的命令，而且每种查找命令都具有其独特的优势，下面详细总结一下常用的几个Linux查找命令。二、which命令查找类型：二进制文件；...

取消回复欢迎 你 发表评论:

一周热门
最近发表
标签列表