谷云科技一次性通过CMMI3级认定（软件能力成熟度模型集成3级）并取得证书。这标志着谷云科技在软件研发能力、实施服务交付以及项目管理水平等方面得到国际权威机构认可，是RestCloud研发管理体系规范化过程中的一个重要里程碑。谷云科技的软件能力得到了全世界软件专家高度肯定，谷云科技的软件研发能力将再上一层。 谷云科技斩获CMMI 3级认证，正是对其软件过程改进和软件开发管理的高度认可。以实现世界级的iPaaS集成平台为愿景，谷云科技未来将继续以用户需求为创新原点，继续为企业提供服务集成、数据集成、API全生命周期管理解决方案，不断助力谷云科技的发展，夯实谷云科技在iPaaS行业的领导地位。 　  CMMI认证被誉为软件国际市场通行证 CMMI全称是Capability Maturity Model Integration，即软件能力成熟度模型集成，是国际上用于评价软件企业能力成熟度和工程开发能力的重要标准。除了是世界公认的软件产品进入国际市场的通行证，CMMI还是对产品质量的认证，更是一种软件过程改善的途径，推动软件企业在产品的研发、生产、服务和管理上不断成熟和进步。据统计，通过评估的软件公司对项目的估计与控制能力约提升40%到50%；生产率提高10%到20%，软件产品出错率下降超过1/3。 谷云科技通过认证的CMMI3属于定义级级别。在这个级别上，企业不仅对项目的实施有一整套的管理措施，保障项目的完成；而且能够根据自身的特殊情况以及自己的标准流程，将这套管理体系与流程予以制度化。 CMMI之所以被誉为软件国际市场通行证: ...

 

一、背景 数据价值的挖掘应用为当今社会的数字化进程开辟出了一个新的发展方向，未来更多的企业将逐渐进行数字化转型，以便于参与到数据产业体系当中，从而获得更强的创新能力和可持续发展能力。数据集成作为数据产业体系中其中一个基础环节，也是最底层的环节。因此、数据集成效果的优劣很大程度造成数据产业链的影响。 从贝哲斯信息咨询发布的2022-2028年中国数据集成工具市场数据分析与行业洞察报告中所列举的数据集成工具主要市场参与者有Informatica、FieveTran、Talend、Oracle、Denodo、IBM、Microsoft、SAP、Tibco、Matillion、SAS、Kettle等，国内企业无一上榜。 Restcloud作为一家数据集成自动化创新企业，致力于成为世界级的数据集成平台研发型企业，我们聚集了一批致力于用代码改变数据集成行业的研发工程师、为了实现这一目标，Restcloud 结合多年的数据集成项目建设经验及对数据集成应用的探索和研究，从零开始研发了这款真正完成国产化的数据集成工具、我们致力于打破国外企业在数据集成领域的垄断地位，同时为了进一步推进数据集成工具快速国产化，我们决定推出数据集成工具社区版，以满足国内众多数据集成工程师的广泛需求，让国内数据集成工程师摆脱数据集成的痛苦,同时我们通过快速的产品迭代不断为用户带来更好的使用体验，我们相信山再高，往上攀，总能登顶。  二、产品亮点 1、易用性 工具采用全Web可视化配置开箱即用，拖拽式“零”代码配置操作，大幅度降低数据采集任务构建的工作量及复杂性，相比于同类数据集成工具效率提升60%以上。 3、适用性 我们除提供SaaS版本外，充分考虑到国内众多企业数据还没有上云的情况下，特别提供了私有化单机部署、集群部署，容器部署等模式，企业可根据自身需求选择不同的部署架构，全方位助力企业数字化转型。 3、扩展性 在数据处理层面，工具不仅提供近100+数据处理组件(不断迭代推出更多组件中)，同时创新的提供了数据规则处理插件，通过规则插...

使用ETL中的shell组件执行windows系统命令可以做一些操作系统方面的事情，windows的shell配置如下：  执行上面的程序将让windows打开控制面板，注意 cmd 后面要换行 /c 再换行

在ETL流程中如果读取数据数据很快如一次读取到30W条数据而写入时又很慢是否可以把数据切成3份然后开启3个线程去同时写入数据呢？ 按如下方法操作即可实现：  要到达本流程的交果关键在于三条路由线要进行异步执行并同时对数据行进行切分   R00002异步执行并输出0-100000行的数据  R00003设置为输出100001-200000条数据，同样也要设置异步线程  R00004表示从200001到最后一行 后面的聚合节点只是为了等三个子线程全部结束才执行后面的结束节点  选择三个输出节点，合并逻辑无需指定.

如果某两个节点的字段配置是一样的，又不想在另一个节点重复再手动配置一次，可以使用节点字段的复制功能，复制功能如下方法使用：  点击“导入或拷贝字段配置”出现一个JSON框的配置值  只需要把这个JSON全部copy起来然后去其他字段中同样的按扭把JSON粘贴上去再点“设置到当前字段中”即可完成copy 

如果数据库的字段名含有特殊字符如 / 符号，或者字段id为 key order group 等数据库的保留字段时在库表输入或输出组件时均会报错，因为ETL本身在处理这些字段时是没有增加转义符的，所以我们只需要给数据库表输入以及输出组件加上转义符号后就正常了如库表输入组件中mysql对 / 符号的处理：  只要在SQL语句中加上转义符号后就正常了 如果是库表输出组件也需要配置转义符号：  mysql输入 , ，sql server输入 [,] 注意中间有一个逗号来隔开.

很多情况下外部系统可能想调用一个ETL流程发布的API，并把ETL流程执行的结果数据返回给外部业务系统，通过ETL流程的API发布功能就可以实现 第一步：在流程中增加一个sql节点或其任意节点都是可以的  第二步：把这个流程发布成为API服务  第三步：发布API选中需要返回结果  第四步：测试API即可看到SQL节点select返回的数据集合

 

 etl中indoc数据流的结束如下： { "变量id":"123456", "data":[{"a":1},{"a":2}] } 取indoc中的变量用: ${变量id} 可以取到 123456 变data中的数据变量用: ${data[0].a} 可以取到 1 取最后一行 ${data[-1].a} 可以取到 2

流程中发送消息提醒的组件有邮件、企业微信以及钉钉这三个，本篇主要讲讲如何使用发送邮件组件来发送流程警告提醒。  在配置邮件提醒之前，需要配置一些前置参数。先在首页的平台配置中配置邮件发送方的参数。  在弹出的修改窗口中根据提示去填写对应参数。  邮箱的授权码则可以在邮箱设置中获取，如163邮箱就可以在设置中进入 POPS/SMTP/IMAP 设置界面，开启对应的服务就可以获取。  服务器地址可以参考下图，端口使用 25 或者 465 。  在流程中需要进行判断的节点中添加一条分支如下图所示  T00002需要配置断言失败后继续执行  两条分支分别右键进入属性窗口配置执行条件,设置 失败执行 或者 成功执行 ![...

进入ETL的运行监控模块，找到内存和线程监控界面如下：  如果内存是你tomcat中设置的内存数就说明配置是正确的，如果显示512M则说明没有配置对. 配置方法可以参考 https://blog.csdn.net/weixin_27722377/article/details/114184291

读取到的数据结构如下： js {data:[ {a:1,b:2,v:[{x:1,y:2},{x:2,y:5}]} ]} 目标要把v字段中的x,y把data变成多行如下： js {data:[ {a:1,b:2,x1,y2}, {a:1,b:2,x2,y5}, ]} 变换以上数据需要增加一个java脚本节点，代码如下： public class ETL_T00003_175637TVG96 implements IETLBaseEvent { @Override public String execute(IETLBaseProcessEngine engine, Document modelNodeDoc, Document indoc,String fieldId,String params) throws Exception { List<Document docs=engine.getData(indoc); List<Document newDocs=new ArrayList<Document (); for(Document doc:docs) { List<Document subDocs=doc.getList("v",Document.class); for(Document subDoc:subDocs) { Document newDoc=new Document(); doc.remove("v"); newDoc.putAll(doc); newDoc.putAll(subDoc); newDocs.add(newDoc); } } indoc.put("data", newDocs); return "1"; } }

 

&emsp;&emsp; 首选感谢微信群里RC的各位老师，一早上都在问问题，感谢他们耐心回复！ &emsp;&emsp;RC的实时数据传输平台（CDC）前段时间就发布了，但是因为忙其他事，就没去研究学习，最近正好有一个小需求，erp出库单某个字段修改后同步到低代码平台中对应的单据字段中。一开始想通过写代码实现的。但是本着能不写代码的原则，我又打开了rc etl平台（简称平台），正好平台也升级到了全新的1.6版本，修复了不少bug，给RC点赞！我就升级到了1.6版本，开始了漫长的学习之路。 &emsp;&emsp; 一、先介绍一下CDC、ETL流程、KAFKA之间的关系吧，在CDC里面有2中数据消费方式： &emsp;&emsp;1、CDC读取过来的数据转成数据流直接交给ETL流程消费。 &emsp;&emsp;2、CDC读出来过来的数据存到KAFKA里面，KAFKA建立数据连接器，然后在交给ETL流程消费。 &emsp;&emsp;注意：不管是CDC直接给ETL流程，还是KAFKA给ETL流程，在ETL流程里面都是不需要输入组件的，这点一定要注意，CDC数据流直接给到ETL流程了。不需要您在配置任何输入组件去读取数据在操作。 &emsp;&emsp; 二、接下来我介绍下具体的配置过程 &emsp;&emsp;1、配置CDC数据连接器 &emsp;&emsp;按照表单字段录入就可以，一定要注意连接器存储这里，如果选择kafka，CDC会把所有记录写到kafka中，想要消费就需要配置KAFKA连接器了，这里我们选择不存储，配置完成后点击保存就好了。吐槽一个地方，数据库表选择这块，如果数据库表太多会卡死，下拉搜索也很慢，这块可以优化下。  &emsp;&emsp;接下来我们配置消费者，这块就比较简单，选择一个流程然后点击保存就可以了。  &emsp;...

在登录平台时,有时会出现这样的错误 {state:false,msg:"The system has not been initialized yet. API is not allowed to be invoked"} 如下图  出现这种情况是因为系统没能成功启动，一般情况下都是与 MonogDB 有关，通常会有两种情况，对应的报错也可以在Tomcat启动日志中，找到系统进行初始化的那一部分查看 1.没有成功启动MongoDB 以Linux为例 查看tomcat的启动日志可以发现，在初始化的时候就已经提示了拒绝连接  \ 这时，可以 Ctrl+c 退出日志，在命令窗口中用 ps aux | grep mongo 查看Mongo是否有启动(下图就是没有启动)  \ 然后启动mongo后再重新启动Tomcat就可以了 注意:启动tomcat前要把之前启动失败的进程关掉 2.MongoDB开启了认证，在启动的时候认证失败了 可以在下图中看见，在系统初始化的下方，会有一个MongoDB认证失败的提示  这个问题的解决办法有两个 1. 在 /apache-tomcat-8.5.57/webapps/ROOT/WEB-INF/classes 路径下修改 application.properties 文件，在下图的位置中添加上MongoDB认证的账号信息 ![9d68406c5c7a4965...

首先,使用钉钉组件需要进行一下前置参数配置 在首页的左侧菜单栏中,选择平台配置= 平台参数配置= 消息配置= 配置钉钉消息。  \ 点击配置后会弹出一个窗口,需要在这个窗口中配置钉钉机器人的WebHook地址和加签密钥。  \ 打开钉钉，右键一个群聊天点击群设置。  \ 在弹出的群设置中点击智能群助手  \ 在只能群助手中添加一个自定义机器人。     \ 点击添加后在弹出的窗口中勾选加签，点击复制，将密钥粘贴在平台参数配置中的...

<div align=center <img src="https://photo.restcloud.cn/cd422b0a169b4b4989996d584e6b75b6" width = "480" <img src="https://photo.restcloud.cn/d6eb617dce9a4b71a497548ee9b569b0" width = "480" </div

<div align=center <img src="https://photo.restcloud.cn/498a9bb305d241799bd2be93d3a62c3f" width = "500" </div