数联行数V3.2上线，对数据采集、数据加工能力进行了升级
sinye56 2024-10-16 14:49 7 浏览 0 评论
数联行数V3.2（以下简称行数V3.2）版本上线啦，本次更新对数据采集、数据加工能力进行了升级，并对多个板块进行了优化迭代，保证了平台的可用性、易用性，让行数V3.2覆盖更多的项目交付。
更新速递：1、数据管理2、数据规划3、数据采集4、数据加工
数联行数DI是数之联推出的全链路数据治理服务平台，该平台专为IT与数据管理人员设计，提供智能、敏捷的数据全生命周期管理，是大数据管理及使用的基础。平台涵盖数据管理、数据规划、数据采集、数据加工、元数据管理、数据标准管理等功能模块，帮助各行各业实现大数据开发、加工、共享服务与治理。
01 数据管理
将数据连接、接口、消息队列、FTP菜单统一放在数据源管理菜单进行统一管理，提升了用户操作体验；
消息队列可对多topic字段进行管理，覆盖多topic消息队列的接入和应用；
接口管理可进行转代理服务，支持代理地址加密、代理服务开启/关闭、代理服务记录功能，提升外部接口的接入能力；
文件管理功能在上传文件时可查看文件上传进度和上传状态，让文件上传进度全掌控，提升操作体验。
02 数据规划
自定义数仓构建：支持MySQL、Doris、HIVE数据连接构建为数仓能力，支持三种类型数仓的分层划域和建模建表，覆盖多种数仓构建场景。
03 数据采集
多策略的数据采集：适配Doris数据连接，支持JDBC数据库采集。在原有“数据连接”目标端基础上，新增“内部数仓”和“消息队列”类型，满足多样化数据采集需求。同时，增加采集方式，如全量或增量采集；增加入库方式，可选择插入、更新插入或删除插入。此外，新增采集作业运行策略设置，支持运行模式、并行度、checkpoint、日志级别和taskmanager等参数设置。
接口采集新增手动建表选项。此功能能够根据接口信息，自动捕获并创建对应目标表的数据结构，从而适配PG、MySQL和Oracle等多种数据库。这一改进将极大提升数据采集的效率和准确性。
新增本地结构化文件的解析采集，包括文件的上传、解析、入库，支持对相同数据结构文件的复用上传；
04 数据加工
数据加工能力提升：处理算子新增3个数据加工算子组件，即“类型转换”、“四则运算”、“时间窗口”。
此外，还有这些细节的迭代：
- 调度平台批量便捷操作，支持批量启动、批量停止、批量上下线等功能。
- 数据安全策略管控，新增“安全中心”功能，对数据进行自上而下的授权管控，让数据管理更加安全有序。
- 系统标识元素可替换，满足不同项目的定制化需要，降低定开成本。
- 菜单页面多页签切换，用户可切换页签页面，避免重新加载，提升用户操作体验。
相关推荐
- 程序员:JDK的安装与配置(完整版)_jdk的安装方法
-
对于Java程序员来说，jdk是必不陌生的一个词。但怎么安装配置jdk，对新手来说确实头疼的一件事情。我这里以jdk10为例，详细的说明讲解了jdk的安装和配置，如果有不明白的小伙伴可以评论区留言哦下...
- Linux中安装jdk并配置环境变量_linux jdk安装教程及环境变量配置
-
一、通过连接工具登录到Linux(我这里使用的Centos7.6版本)服务器连接工具有很多我就不一一介绍了今天使用比较常用的XShell工具登录成功如下：二、上传jdk安装包到Linux服务器jdk...
- 麒麟系统安装JAVA JDK教程_麒麟系统配置jdk
-
检查检查系统是否自带java在麒麟系统桌面空白处，右键“在终端打开”，打开shell对话框输入：java–version查看是否自带java及版本如图所示，系统自带OpenJDK，要先卸载自带JDK...
- 学习笔记-Linux JDK - 安装&配置
-
前提条件#检查是否存在JDKrpm-qa|grepjava#删除现存JDKyum-yremovejava*安装OracleJDK不分系统#进入安装文件目...
- Linux新手入门系列:Linux下jdk安装配置
-
本系列文章是把作者刚接触和学习Linux时候的实操记录分享出来，内容主要包括Linux入门的一些理论概念知识、Web程序、mysql数据库的简单安装部署，希望能够帮到一些初学者，少走一些弯路。注意：L...
- 测试员必备:Linux下安装JDK 1.8你必须知道的那些事
-
1.简介在Oracle收购Sun后，Java的一系列产品就被整合到Oracle官网中，打开官网乍眼一看也不知道去哪里下载，还得一个一个的摸索尝试，而且网上大多数都是一些Oracle收购Sun前，或者就...
- Linux 下安装JDK17_linux 安装jdk1.8 yum
-
一、安装环境操作系统：JDK版本：17二、安装步骤第一步：下载安装包下载Linux环境下的jdk1.8，请去官网（https://www.oracle.com/java/technologies/do...
- 在Ubuntu系统中安装JDK 17并配置环境变量教程
-
在Ubuntu系统上安装JDK17并配置环境变量是Java开发环境搭建的重要步骤。JDK17是Oracle提供的长期支持版本，广泛用于开发Java应用程序。以下是详细的步骤，帮助你在Ubuntu系...
- 如何在 Linux 上安装 Java_linux安装java的步骤
-
在桌面上拥抱Java应用程序，然后在所有桌面上运行它们。--SethKenlon（作者）无论你运行的是哪种操作系统，通常都有几种安装应用程序的方法。有时你可能会在应用程序商店中找到一个应用程序...
- Windows和Linux环境下的JDK安装教程
-
JavaDevelopmentKit（简称JDK），是Java开发的核心工具包，提供了Java应用程序的编译、运行和开发所需的各类工具和类库。它包括了JRE（JavaRuntimeEnviro...
- linux安装jdk_linux安装jdk软连接
-
JDK是啥就不用多介绍了哈，外行的人也不会进来看我的博文。依然记得读大学那会，第一次实验课就是在机房安装jdk，编写HelloWorld程序。时光飞逝啊，一下过了十多年了，挣了不少钱，买了跑车，娶了富...
- linux安装jdk,全局配置，不同用户不同jdk
-
jdk1.8安装包链接：https://pan.baidu.com/s/14qBrh6ZpLK04QS8ogCepwg提取码：09zs上传文件解压tar-zxvfjdk-8u152-linux-...
- 运维大神教你在linux下安装jdk8_linux安装jdk1.7
-
1.到官网下载适合自己机器的版本。楼主下载的是jdk-8u66-linux-i586.tar.gzhttp://www.oracle.com/technetwork/java/javase/downl...
- window和linux安装JDK1.8_linux 安装jdk1.8.tar
-
Windows安装JDK1.8的步骤：步骤1：下载JDK打开浏览器，找到JDK下载页面https://d.injdk.cn/download/oraclejdk/8在页面中找到并点击“下载...
- 最全的linux下安装JavaJDK的教程(图文详解)不会安装你来打我?
-
默认已经有了linux服务器，且有root账号首先检查一下是否已经安装过java的jdk任意位置输入命令：whichjava像我这个已经安装过了，就会提示在哪个位置，你的肯定是找不到。一般我们在...
欢迎 你 发表评论:
- 一周热门
- 最近发表
- 标签列表
-
- oracle忘记用户名密码 (59)
- oracle11gr2安装教程 (55)
- mybatis调用oracle存储过程 (67)
- oracle spool的用法 (57)
- oracle asm 磁盘管理 (67)
- 前端 设计模式 (64)
- 前端面试vue (56)
- linux格式化 (55)
- linux图形界面 (62)
- linux文件压缩 (75)
- Linux设置权限 (53)
- linux服务器配置 (62)
- mysql安装linux (71)
- linux启动命令 (59)
- 查看linux磁盘 (72)
- linux用户组 (74)
- linux多线程 (70)
- linux设备驱动 (53)
- linux自启动 (59)
- linux网络命令 (55)
- linux传文件 (60)
- linux打包文件 (58)
- linux查看数据库 (61)
- linux获取ip (64)
- linux进程通信 (63)