最新 最热 官方 加精

RestCloud

获奖公告|RestCloud应用场景分享征稿大赛

<div align=center <img src="https://photo.restcloud.cn/cd422b0a169b4b4989996d584e6b75b6" width = "480" <img src="https://photo.restcloud.cn/d6eb617dce9a4b71a497548ee9b569b0" width = "480" </div

 64    |     5    |     0 其他

RestCloud

Restcloud ETL 社区版V1.6.0升级公告

一、更新日志 <small 问题修复 </small 1. 修复字段值计算组件 除0异常问题. 2. 修复字段值计算组件 字段值计算类型为int,long都会以double输出问题. 3. 修复Greenplum Copy输出组件 特殊字符串导致写入异常问题. 4. 修复运行监控数据量过多导致超出界限问题. 5. 修复应用数据概览-等待运行数据显示错误问题. 6. 修复依赖上级流程-子流程设置了默认参数后,子流程无法调度的问题. 7. 修复库表输入-断言结果为失败,却走了成功的路由问题. 8. 修复库表输出-主键含特殊字段值" and "导致主键冲突更新失败问题. 9. 修复Excel输出-选择全部输出不配置字段导致没有数据问题. 10. 修复系统无法自动创文件多级目录问题. 11. 修复不同操作系统下载日志异常问题. 12. 修复job排他计划配置404无法保存问题. 13. 修复流程属性中,自动调度的非工作时间配置无法获取数据问题. 14. 修复Sybase自动创建表语句出现错误的问题. 15. 修复Sybase批量迁移表时报错问题. 16. 修复Sybase无法获取表字段问题. 17. 修复定时任务设置中,定时策略管理--修改定时策略后无法正常保存的问题. 18. 修复初始化规则唯一Id长度描述问题. 19. 修复初始化cdc数据库列表不显示问题. 20. 修复sqlserver载入表异常问题. 21. 修复优化链接器选择ui联动问题 <small 优化 </small 1. 优化多流Join合并 增加null是否参与合并选项 2. 优化流程画板界面 3. 优化cdc监控 4. 优化kafka链接器支持自定义数据 二、更新方法 1、左侧菜单【平台配置】,点击【一键备份升级】进入平台升级页面,点击【版本更新】,自动完成产品升级操作。 ![3fda266813214c5b80150f69c20ae3bc](https://photo.restcloud.cn/3fda266813214c5b80150f69c20ae3bc) <br 2、关闭Tomcat,到 tomcat/webapps/ROOT/WEB-INF/classes/下将static文件删除。 3、重新启动Tomcat <br <p ali

 145    |     3    |     0

RestCloud

RestCloud ETL 社区版背后的故事

一、背景 数据价值的挖掘应用为当今社会的数字化进程开辟出了一个新的发展方向,未来更多的企业将逐渐进行数字化转型,以便于参与到数据产业体系当中,从而获得更强的创新能力和可持续发展能力。数据集成作为数据产业体系中其中一个基础环节,也是最底层的环节。因此、数据集成效果的优劣很大程度造成数据产业链的影响。 从贝哲斯信息咨询发布的2022-2028年中国数据集成工具市场数据分析与行业洞察报告中所列举的数据集成工具主要市场参与者有Informatica、FieveTran、Talend、Oracle、Denodo、IBM、Microsoft、SAP、Tibco、Matillion、SAS、Kettle等,国内企业无一上榜。 Restcloud作为一家数据集成自动化创新企业,致力于成为世界级的数据集成平台研发型企业,我们聚集了一批致力于用代码改变数据集成行业的研发工程师、为了实现这一目标,Restcloud 结合多年的数据集成项目建设经验及对数据集成应用的探索和研究,从零开始研发了这款真正完成国产化的数据集成工具、我们致力于打破国外企业在数据集成领域的垄断地位,同时为了进一步推进数据集成工具快速国产化,我们决定推出数据集成工具社区版,以满足国内众多数据集成工程师的广泛需求,让国内数据集成工程师摆脱数据集成的痛苦,同时我们通过快速的产品迭代不断为用户带来更好的使用体验,我们相信山再高,往上攀,总能登顶。 ![24d02a44abf54b39bb429b0d97861a9e](https://photo.restcloud.cn/24d02a44abf54b39bb429b0d97861a9e) 二、产品亮点 1、易用性 工具采用全Web可视化配置开箱即用,拖拽式“零”代码配置操作,大幅度降低数据采集任务构建的工作量及复杂性,相比于同类数据集成工具效率提升60%以上。 3、适用性 我们除提供SaaS版本外,充分考虑到国内众多企业数据还没有上云的情况下,特别提供了私有化单机部署、集群部署,容器部署等模式,企业可根据自身需求选择不同的部署架构,全方位助力企业数字化转型。 3、扩展性 在数据处理层面,工具不仅提供近100+数据处理组件(不断迭代推出更多组件中),同时创新的提供了数据规则处理插件,通过规则插...

 1689    |     37    |     14

RestCloud

RestCloud ETL社区积分商城重磅上线

<div align=center <img src="https://photo.restcloud.cn/498a9bb305d241799bd2be93d3a62c3f" width = "500" </div

 41    |     3    |     1 其他

苛子

使用Java脚本节点实现MongoDB的聚合查询及统计数据并传入后继节点

目前MongoDB的输入节点只能读取集合中的行列数据,而不能对集合中的数据进行聚合运算再传入后续节点,通过脚本节点可以快速实现这一需求。 ![e7d945b51bd14f7bab339f8b83d2e288](https://photo.restcloud.cn/e7d945b51bd14f7bab339f8b83d2e288) 从Mongodb中读数据并分组然后输出到日志中脚本代码如下: js package cn.restcloud.etl.rule.ext; import org.apache.commons.lang3.StringUtils; import org.bson.Document; import java.sql.Connection; import cn.restcloud.framework.core.context. ; import cn.restcloud.etl.base.IETLBaseEvent; import cn.restcloud.etl.base.IETLBaseProcessEngine; import cn.restcloud.framework.core.util. ; import cn.restcloud.framework.core.util.db.rdb. ; import java.util. ; import java.util.ArrayList; import java.util.List; import org.bson.BsonDocument; import org.bson.Document; import org.bson.conversions.Bson; import com.mongodb.client.AggregateIterable; import cn.restcloud.etl.base.IETLBaseProcessEngine; import cn.restcloud.framework.core.util.db.mongo.MongoUtil; / indoc为流数据 执行成功必须返回字符1,返回0表示终止流程 / public class ETL_T00002_1EJ0RJSV8LZ implements IETLBaseEvent {

 66    |     3    |     0 其他

RestCloud

《隐私政策》

<small 谷云科技(广州)有限责任公司(下文简称“RestCloud”、“我们”和“我们的”)深知隐私对您的重要性,并会尊重您的隐私以及保障您的隐私数据的安全。在使用RestCloud服务平台各项服务前,请您务必仔细阅读并透彻理解本《RestCloud服务平台隐私保护政策》(下称“本声明”)。如对本声明内容有任何疑问,您可通过RestCloud服务平台客服与我们联系。阅读本声明的过程中,如果您不同意本声明或其中任何内容,您应立即停止使用RestCloud服务平台服务。如果您使用RestCloud服务平台服务的,您的使用行为将被视为对本声明全部内容的认可。 RestCloud服务平台(下称“我们”)尊重并保护用户隐私,在您使用RestCloud服务平台提供的服务时,我们将按照本隐私权政策收集、使用及共享您的个人信息。本隐私权政策包含了我们收集、存储、使用、共享和保护您的个人信息的条款,我们希望通过本隐私权政策向您清晰地介绍我们对您个人信息的处理方式,因此我们建议您完整地阅读本隐私权政策,以帮助您了解维护自己隐私权的方式。 我们制定本政策的目的在于帮助您了解以下内容: 1.我们如何收集和使用您的个人数据 2.我们如何使用 Cookie 和同类技术 3.我们如何披露您的个人数据 4.我们如何访问或修改您的个人数据 5.我们如何保护您的个人数据 6.我们如何处理儿童的个人数据 7.第三方提供商及其服务 8.本政策如何更新 9.如何联系RestCloud </small <br 1. 我们如何收集和使用您的个人数据 <small 个人数据是指单独使用或结合其他信息使用时能够识别个人身份的信息。此类数据会在您使用我们的网站、产品或服务,以及与我们互动时由您直接提交给我们。例如,当您创建我们的账户或联系我们获得支持时;或者我们通过记录您如何与我们的网站、产品或服务交互而获得,例如,通过Cookie等技术,或者从您设备上运行的软件接收使用数据。在法律允许的情况下,我们还会从公用和商用第三方来源获取有关数据,例如,我们通过从其他公司购买统计数据来支持我们的服务。我们收集的数据取决于您与RestCloud互动的方式,包括访问的网站或者使用的产品和服务等,包括姓名、性别、企业名称、职位、地址、电子邮箱、电话号码、登录信息(帐号

 46    |     2    |     0 其他

RestCloud

《RestCloud用户服务协议》

<small 本协议是您与服务、产品及网站本身等的经营者谷云科技(广州)有限公司,就相关服务等事宜订立的契约。请您认真阅读并充分理解本服务协议,本协议构成对双方有约束力的法律文件。 </small <small 当您按照注册页面提示填写信息、阅读并同意本协议且完成全部注册程序后,即表示您已充分阅读、理解并接受本协议的全部内容,并与RestCloud服务平台达成一致,成为RestCloud服务平台用户。阅读本协议的过程中,如果您不同意本协议或其中任何条款约定,您应立即停止注册程序。</small <br 一、 定义 &nbsp;&nbsp; &nbsp;&nbsp;&nbsp;&nbsp;<small RestCloud用户注册协议: 简称为“本协议”。</small &nbsp;&nbsp; &nbsp;&nbsp;&nbsp;&nbsp;<small RestCloud服务平台所有者: RestCloud服务平台经营者指“谷云科技(广州)有限公司”。</small &nbsp;&nbsp; &nbsp;&nbsp;&nbsp;&nbsp;<small RestCloud服务平台服务: RestCloud服务平台基于互联网,以包含RestCloud服务平台网站(club.restcloud.cn)、客户端等在内的各种形态(包括未来技术发展出现的新的服务形态)向您提供的各项服务。</small &nbsp;&nbsp; &nbsp;&nbsp;&nbsp;&nbsp;<small RestCloud服务平台规则: 包括在所有RestCloud服务平台规则频道内已经发布及后续发布的全部规则、解读、公告等内容以及各平台在论坛、帮助中心内发布的各类规则、实施细则、产品流程说明、公告等。 </small <br 二、 协议范围 <small 2.1签约主体 </small <small 本协议由您与RestCloud服务平台经营者共同缔结,本协议对您与RestCloud服务平台经营者均具有合同效力。RestCloud服务平台经营者是指经营RestCloud服务平台的各法律主体谷云科技(广州)有限公司。</small <small 本协议项下,R

 50    |     0    |     0 其他

ID:Han

WIN10下安装Restcloud V1.5

安装了半天,终于把系统搭建起来了。 查了些资料,发现官网上WINDOWS安装手册不够详细,还有LINUX组件安装步骤。 我这里简单写下安装部署操作: 1.还是要参考官方手册 https://club.restcloud.cn/wiki/1040012/1040071 2.JDK安装 ![b4bb4dba7d9e4407bfd79f2889b136c9](https://photo.restcloud.cn/b4bb4dba7d9e4407bfd79f2889b136c9) 这里写的是LINUX安装,其实链接打开是WINDOWS安装步骤,可以参照这个步骤,这里就不详细说明了。 https://club.restcloud.cn/wiki/1039977/1039991 3.安装tomcat 我安装的是WINDOWS V1.5版本的 ![f9ba66d0ac7a463db0b16f23231757ae](https://photo.restcloud.cn/f9ba66d0ac7a463db0b16f23231757ae) 其实下载下来是自带tomcat环境的,不用单独下载安装。下载的直接解压就可以了。 4. 安装mongodb 参照官方文档安装即可,注意需要点击左边目录查看。 https://club.restcloud.cn/wiki/1039862 能够通过命令行下运行 MongoDB 服务器即可 5.创建mongodb用户 安装并运行mongodb,并通过命令窗口中运行 mongo.exe 命令即可连接上 MongoDB,在mongodb目录下执行命令:mongo.exe,显示如下即可。 ![093fc01138934b98a02bc7baf4ba39e2](https://photo.restcloud.cn/093fc01138934b98a02bc7baf4ba39e2) 6.创建mongodb管理员 restcloud应该是使用admin库,需要在该库下创建用户,可以通过以下命令创建 切换到admin库,显示“switched to db admin”即切换成功 use admin 创建管理员(可以自定义用户明和密码) db.createUser( { user:"user", pwd:"password", roles:[{r...

 111    |     6    |     0 其他

林老师

关于 多流join,group by 分组提供利用磁盘来进行分批统计,而不是将全部数据加载到内存中运算

现有的join,分组组件数据不能分页读取,否则结果会不准确。 但采用全表读取在内存中进行统计对内存消耗非常大,建议可以参考kettle的对大数据量的可以采用基于磁盘来完成统计。

 64    |     3    |     2 其他

RestCloud

Restcloud ETL 社区版V1.5.0升级公告

一、更新日志 <small 增加模块 </small 1.新增CDC实时数据采集功能(支持采集数据库:MySQL、SQL server、Oracle、PostgreSQL) 2.新增kafka实时消费功能。 <small 组件增加功能 </small 1.新增组件Greenplum Copy输出。 <small 问题修复 </small 1.修复kettle组件没有自动获取kettle插件的问题。 2.修复kettle组件缺少资源库的用户名和密码的填写项的问题。 3.修复DBF文件读取读目录下所有文件只能读取最后一个文件的问题。 4.修复邮件发送组件在选择 “前继节点读取到的文件列表“的发送附件模式时,发送的附件是xxx.bin的问题。 二、更新方法 左侧菜单【平台配置】,点击【一键备份升级】进入平台升级页面,点击【版本更新】,自动完成产品升级操作。 ![3fda266813214c5b80150f69c20ae3bc](https://photo.restcloud.cn/3fda266813214c5b80150f69c20ae3bc) <br <p align="center" <a href="https://club.restcloud.cn/wiki/1056241/1056245" target="_blank" 点击查看更多更新日志 </a </p <br ------------------------------------------------------------------ <br <p align="center" 产品在线支持交流群: </p <div align=center <img src="https://photo.restcloud.cn/cb1613dadcfb4fa5ada791dd0379becf" width = "130" height = "130" </div <br <p align="center" <a href="https://club.restcloud.cn/download" target="_blank" 立即免费下载 </a </p <br

 232    |     3    |     0

小梁小梁国家栋梁

Rest-Cloud从“暧昧”到“热恋”之旅

(一)我们的相遇是如何发生的? 1.背景 估计大家都会遇到,随着企业内部数据需求、跨系统数据抽取任务不断增加,对数据而言会带来前所未有的困难,此时此刻亟需一个工具出现,解决我们数据加载、转换和抽取的燃眉之急。 2.痛点 由于内部对于数据的规划没有思考大而全,对于数据加载、转换和抽取更多使用开源的Kettle等免费工具,而kettle部署的架构是C/S,需要每天登录服务监控任务,缺乏有效的自动化监控,且无法知道哪些任务成功的,哪些任务是失败的;外加上系统单独做了台账的记录,没有与kettle绑定在一起,缺乏联动;数据源的链接只能单独创建,重复的工作深深影响企业内部数据的发展;各业务数据孤岛、业务爆发增加和数据共享事务越来越多,急需要一个工具整合联通,发挥数据应用价值; 另外在《DAMA》数据管理知识体系指南提过一点,数据集成和互操作的度量指标是数据可用性、数据量和速度、解决方案成本和复杂度,这些因素若不重视起来,到时候任务越来越繁杂,原方法没法支撑,到时问题解决解决不到位,得不偿失。 3.需求 数据源管理,一键配置,多方引用 数据转换,支持多场景使用,包括格式变化、结构变化、语义转换、数据加解密等等 数据编排,兼顾任务并行和串行 日常监控,任务状态快速了解、支持多场景日志结构推送 等等...... 4.用户画像 我是一名数据产品经理,致力于解决数据爆发增加、业务发展迅速引申的数据管理问题,懂工具、懂技术、又懂需求。 5.她的特点 特点:易用性、适用性、扩展性、协同开发等等 当初在百度搜索“数据集成工具”发现有篇文章介绍,觉得挺不错,能解决我的大部分痛点,后面安装部署慢慢接触下来,自己操作上手,发现确实能提升工作效率,所以那一刻我就觉得我遇到对的“她(Rest-Cloud ETL 社区版)” <div align=center <img src="https://photo.restcloud.cn/9193193a522f4cdd9b74ca42ce388a1d" width="650" / <br </div (二)情窦初开--暧昧期 刚一开始,自己从部署到使用,慢慢发现她的优点,挺吸引人的,符合我的需求,又能解决实际业务问题,何以解忧,唯有Restcloud。以下是我的使用感受: 1.数据...

 342    |     16    |     5

RestCloud

六月【精选问答】

![949267b216454df28b991bc0d527c634](https://photo.restcloud.cn/949267b216454df28b991bc0d527c634) <div align=center <img src="https://photo.restcloud.cn/7c8a5e5eccb54448b2c96f80d604f0f7" </div

 138    |     10    |     0 其他

HITER

链接失败(驱动程序无法通过使用安全套接字层(SSL)加密与 SQL Server 建立安全连接

关于报错操作提示 链接失败(驱动程序无法通过使用安全套接字层(SSL)加密与 SQL Server 建立安全连接。错误:“The server selected protocol version TLS10 is not accepted by client preferences [TLS12]”。 ClientConnectionId:70e0fa77-3ae4-452b-8f82-01c98c34b203) 解决思路:因为Java包做了限制,注释 C:\Program Files\Java\jre1.8.0_333\lib\security\java.security的如下代码即可 jdk.tls.disabledAlgorithms=MD5, SSLv3, DSA, RSA keySize < 2048, \ rsa_pkcs1_sha1 jdk.tls.disabledAlgorithms=SSLv3, TLSv1, TLSv1.1, RC4, DES, MD5withRSA, \ DH keySize < 1024, EC keySize < 224, 3DES_EDE_CBC, anon, NULL, \ include jdk.disabled.namedCurves

 51    |     4    |     0 其他

RestCloud

【第二届】征稿比赛 火热来袭,投稿赢奖金,心动不如行动!

![9d9a8d6e006e41f9aac2360314b823ab](https://photo.restcloud.cn/9d9a8d6e006e41f9aac2360314b823ab) ![b6e34e2f806e4f6aac3b4e9d54872e11](https://photo.restcloud.cn/b6e34e2f806e4f6aac3b4e9d54872e11)

 192    |     11    |     5 其他

RestCloud

Restcloud ETL 社区版V1.4.3升级日志及方法

一、更新日志 <small 问题修复 </small 1.修复单组件下多个字段使用同一规则时会出现配置同步的问题。 2.修复java规则调用params无法获取输入的规则变量的问题。 3.修复sm4当密钥超过16位时不会自动截取的问题。 4.修复phoenix数据源连接时端口和IP获取错误的问题。 5.修复应用概览中应用运行数据显示错误的问题。 二、更新方法 左侧菜单【平台配置】,点击【一键备份升级】进入平台升级页面,点击【版本更新】,自动完成产品升级操作。 ![3fda266813214c5b80150f69c20ae3bc](https://photo.restcloud.cn/3fda266813214c5b80150f69c20ae3bc) <br <p align="center" <a href="https://club.restcloud.cn/wiki/1056241/1056245" target="_blank" 点击查看更多更新日志 </a </p <br ------------------------------------------------------------------ <br <p align="center" 产品在线支持交流群: </p <div align=center <img src="https://photo.restcloud.cn/cb1613dadcfb4fa5ada791dd0379becf" width = "130" height = "130" </div <br <p align="center" <a href="https://club.restcloud.cn/download" target="_blank" 立即免费下载 </a </p <br

 184    |     4    |     1

RestCloud

Restcloud ETL实践之数据行列转换

RestCloud ETL社区版是一款数据集成工具,提供可视化多数据管道构建、数据源管理、运行监控及权限管理功能。 本篇将使用多行转多列的方式把下方图中的表数据进行简化。 ![5f375b68af104e5b8adc5db56fe5784e](https://photo.restcloud.cn/5f375b68af104e5b8adc5db56fe5784e) 简化思路:把相同姓名中不同的学科成绩转成列名,将数据库中三行数据转变成一行数据显示。 首先是流程设计 ![f2321eb84beb4f8aa087336699bb1f8a](https://photo.restcloud.cn/f2321eb84beb4f8aa087336699bb1f8a) 这里使用了三个组件,分别是库表输入、多行转换为多列、库表输出,库表输入获取表数据,再由多行转多列将数据结构重新分配,再借由库表输出将数据输出成一个新的数据库表。 组件配置 1.库表输入 ![225b54656b894474adc573c35a3c1a5a](https://photo.restcloud.cn/225b54656b894474adc573c35a3c1a5a) 这里主要是用于获取数据,只需要配置数据源以及数据库表,确保能够输入数据即可,其它采用自动生成的就行了。 2.多行转多列 ![01e8791d534543fb938793167581e3e4](https://photo.restcloud.cn/01e8791d534543fb938793167581e3e4) 在数据所在的节点中选中源数据所在的节点,获取需要进行转换的数据。 分组字段中选中要进行分组的字段,比如根据上面的数据库,同一名字下有三个学科的成绩,那就可以选中XM这个字段。 关键字段id这里就是要选择将值转为列的字段。 ![51f2a44635d84e979a5d3e3ae2baf632](https://photo.restcloud.cn/51f2a44635d84e979a5d3e3ae2baf632) 这里根据基本属性中选中的关键字段id,获取关键字段id里的值,再根据这个值去获取数据字段里对应的数据放到对应的新的目标字段中。 3.库表输出 ![1c13b49ae104438b83e...

 154    |     5    |     1 其他

RestCloud

RestCloud ETL WebService数据同步到本地

企业里面有很多业务系统只能提供WebService接口如SAP等,还有一些SaaS系统也只提供WebService的接口如Workday等,对于这些系统的数据我们可以使用ETL工具进行调用然后把XML中的数据进行解析后存储到数据库中或者同步到本地的其他业务系统中,使用RestCloud ETL工具只需简单两步即可完成上述数据的同步而且无需编码,现在来看下实现过程。 首先登录RestCloud ETL平台 ![11e03969166c47919787486e7b10b122](https://photo.restcloud.cn/11e03969166c47919787486e7b10b122) 使用ETL调用WebService接口实时拉取数据到本地数库中 打开一个应用或者新建一个应用均可,然后进入到流程列表中 ![a1dbf90b3fd94b2491f06ea4f74916c8](https://photo.restcloud.cn/a1dbf90b3fd94b2491f06ea4f74916c8) 使用ETL调用WebService接口实时拉取数据到本地数库中 创建一个WebService同步任务 ![700af7fa42f74d9a97e47d1572b0d094](https://photo.restcloud.cn/700af7fa42f74d9a97e47d1572b0d094) 使用ETL调用WebService接口实时拉取数据到本地数库中 从左则分别拉取一个WebSerivce节点和库表输出节点,目标节点我们选择mysql数据源 ![1ec5bfbf020a4788b0e8556351a83f93](https://photo.restcloud.cn/1ec5bfbf020a4788b0e8556351a83f93) 使用ETL调用WebService接口实时拉取数据到本地数库中 输入WebService的WSDL地址并指定我们要读取XML中返回的那个数据字段,这里我们将获取公网上的一个WebService接口服务地址如下: http://ws.webxml.com.cn/WebServices/WeatherWS.asmx,注意这个WebService有好几个方法我们需要在节点的Header中的SoapAction中指定具体调...

 129    |     2    |     0 其他

RestCloud

抽取动态库表数据实践

RestCloud ETL社区版是一款数据集成工具,提供可视化多数据管道构建、数据源管理、运行监控及权限管理功能。 1.场景说明: 对于一些业务系统每天运行自动产生一张新数据表,希望通过1条数据流程每天自动读取当天的数据表。如2022年6月1日产生表名称为“table_20220601”,2022年6月2日产生表名称为“table_20220602”,以此类推;对于这样的动态表,如何使用RestCloud ETL简单、便捷实现数据抽取。 2.实现原理: 首先我们需要根据日期自动生成对于的表名称,并做将该参数传输给库表输入组件。实现流程图如下: ![7a6b34656d264cab99e5cd1387888381](https://photo.restcloud.cn/7a6b34656d264cab99e5cd1387888381) 实现该业务的前提条件是库表输入组件支持接收变量传输,这个RestCloud ETL无与伦比的优势。 3.实现步骤: 3.1配置"执行Java脚本" 右键"执行Java脚本",点击“节点属性”打开配置编辑页面,点击下一步,编辑Java代码。代码中加入生成表名称代码,输出参数为: p_tablename ,如下图: ![010cdfb03ae947f2905832eeb7142161](https://photo.restcloud.cn/010cdfb03ae947f2905832eeb7142161) 代码如下: js package cn.restcloud.etl.rule.ext; import org.apache.commons.lang3.StringUtils; import org.bson.Document; import java.sql.Connection; import cn.restcloud.framework.core.context. ; import cn.restcloud.etl.base.IETLBaseEvent; import cn.restcloud.etl.base.IETLBaseProcessEngine; import cn.restcloud.framework.core.util. ; import cn.restclo

 176    |     5    |     1

RestCloud

Restcloud ETL解决shell脚本参数化

RestCloud平台中如何将变量传入shell脚本中使用,平台中有两种方式运行shell脚本,分别是组件内编写脚本代码和调用脚本文件,轻松解决获取变量的方式。 1. 组件内编写脚本 组件内编写脚本的变量获取方式与其它组件获取变量的方式相同,使用${变量id}就可以获取到变量数据。如下图所示: ![7f604bf5f5b64b69a8fbf2e574a9d60a](https://photo.restcloud.cn/7f604bf5f5b64b69a8fbf2e574a9d60a) 这里做个简单的流程,把数据库表中的某个字段数据作为变量逐条输入到shell脚本当中。 ![79a25c8567494159849cc13a881e6903](https://photo.restcloud.cn/79a25c8567494159849cc13a881e6903) 这里是数据库数据,流程中会将姓名作为变量。 库表输入组件的配置这边略过,简单的能够成功读取输出数据就行。 ![d3d2cce49f2a477fbc593875326182bf](https://photo.restcloud.cn/d3d2cce49f2a477fbc593875326182bf) 逐行输出这里需要将字段数据转成为变量数据输出到下一个节点。 ![ffa8473c983a4ac7a5647c3a8d48a2e6](https://photo.restcloud.cn/ffa8473c983a4ac7a5647c3a8d48a2e6) 这里是shell脚本配置,写个简单的脚本,使用${变量id}调用上个节点传入的变量数据。 ![dc1809d425054105a00b8faaf77da66e](https://photo.restcloud.cn/dc1809d425054105a00b8faaf77da66e) 运行之后可以看见已经成功通过${姓名}获取到了数据库输出的数据。 2. 调用脚本文件 这个是调用已经写好的shell脚本文件,脚本文件中不用定义变量的名字,直接使用 $变量id 这种方式调用就可以成功调用流程中传入的变量。如下图: 这里同样采用上面的流程和数据库,只是稍微修改了一下shell组件的脚本内容。 ![aeba1a1f70014f3da...

 95    |     4    |     1 其他

RestCloud

使用Shell组件实现定时调度DataX离线任务

RestCloud ETL社区版是一款数据集成工具,提供可视化多数据管道构建、数据源管理、运行监控及权限管理功能。 1.场景说明: 对于一些已经在使用阿里的离线数据同步工具DataX的用户,想实现每天定时运行(或手动运行)job任务是非常困难的,都需要进入控制界面敲命令行,有没有更简单、快捷的方法呢?有!使用RestCloud ETL Shell组件构建流程,实现定时/手动运行任务。 2.整体流程图: ![0bd248b1bf944f2d86462a6771716b02](https://photo.restcloud.cn/0bd248b1bf944f2d86462a6771716b02) 3.实现步骤: 3.1创建流程 在脚本执行组件分类中拉取一个执行Shell脚本组件 ![92c529945d0f4d978f34c9deda358917](https://photo.restcloud.cn/92c529945d0f4d978f34c9deda358917) 3.2 配置Shell脚本内容 ![ee42473c940e431a86e4f515f93c032d](https://photo.restcloud.cn/ee42473c940e431a86e4f515f93c032d) 这里使用调用远程服务器的方式调用,填写好远程服务器的IP、登录用户ID、密码以及需要执行的shell脚本。 Shell脚本这里可以使用变量的方式,动态获取到流程里的数据或者是http请求传进来的数据。 Shell脚本示例代码如下: js !/bin/bash !/usr/bin/env python source /etc/profile python /usr/wgx/datax/bin/datax.py -p "-DlastSuccessEndTime='2022-05-12 18:37:27'" \ /usr/wgx/datax/job/mysql-job3.json DataX的Job示例代码如下: ![4cd5ffe9d0034ebe9d63785ca9e1cab8](https://photo.restcloud.cn/4cd5ffe9d0034ebe9d63785ca9e1cab8) 3.3

 126    |     3    |     0