备案 控制台
文档
产品文档

通用开发流程

更新时间:
一键部署
产品详情
相关技术圈
我的收藏

DataWorks将不同类型引擎任务封装为不同节点,通过创建节点来生成数据开发任务。同时,数据开发(DataStudio)支持使用资源、函数、以及不同的逻辑处理节点开发复杂任务。本文将为您介绍数据开发任务的通用开发流程。

前提条件

  • 已绑定所需数据源。详情请参见 开发前准备:绑定数据源或集群。

  • 已拥有开发角色权限。授权详情请参见 添加空间成员并管理成员角色权限。

进入数据开发

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的数据建模与开发 > 数据开发,在下拉框中选择对应工作空间后单击进入数据开发

进入数据开发后,您可根据下文流程创建所需任务。

开发流程

数据开发任务的通用开发流程如下。脚本开发流程

步骤

描述

相关文档

步骤一:新建业务流程

DataWorks数据开发基于业务流程组织与开发代码,您需先新建业务流程,才可进行后续的开发工作。

创建业务流程

步骤二:新建数据表

DataWorks支持使用可视化方式创建表,并以目录结构在界面展示。同时,支持对创建的表执行相关管理操作。

进行数据开发前,您需先在引擎创建用于存放原始数据的表、接收数据清洗结果的表。具体创建哪种类型的表,请以实际使用为准。

创建及使用表:

  • 创建并使用MaxCompute表

  • 创建Hologres内部表

  • 创建Hologres外部表

  • 创建EMR表

  • 创建AnalyticDB for PostgreSQL表

查看及管理表:

  • 查看公共表

  • 管理外部表

  • 表管理操作

步骤三:新建并上传资源(可选)

DataWorks支持将文本文件、JAR压缩包等,作为不同类型的资源上传至指定计算引擎,在开发过程中读取使用。若开发过程需使用资源,您可通过DataWorks可视化方式上传资源,并进行后续资源管理操作。

说明

在DataWorks中支持新建资源的引擎,以及支持的资源类型,请以实际使用界面为准。

  • 创建并使用MaxCompute资源

  • 创建和使用EMR资源

步骤四:新建调度节点

DataWorks基于节点进行任务开发,不同类型的引擎任务在DataWorks上被封装为不同类型的节点。您可根据业务需要,选择合适的节点开发引擎任务。

同时,支持便捷的节点管理操作。例如,使用节点组批量克隆节点;通过回收站快速恢复已删除节点。

DataWorks支持如下多类引擎:

  • MaxCompute

  • Hologres

  • E-MapReduce

  • ……

各类引擎的不同任务可选用不同类型的节点,各引擎的节点详细列表请参见 DataWorks节点合集。

节点管理操作请参见:

  • 发布任务

  • 下线任务

  • 周期任务基本运维操作

步骤五:节点引用资源(可选)

在DataWorks中使用资源,需先将资源加载至节点的运行环境,加载后才可在节点中使用。

  • 创建并使用MaxCompute资源

  • 创建和使用EMR资源

步骤六:注册函数(可选)

若开发过程需使用函数,您可通过DataWorks可视化方式注册函数。注册函数前,请先将注册函数需使用的资源上传至DataWorks。

说明

在DataWorks中支持注册函数的引擎,请以实际使用界面为准。

  • 创建并使用MaxCompute资源

  • 创建并使用自定义函数

  • 创建和使用EMR资源

  • 创建EMR函数

步骤七:编辑节点代码

根据节点类型,在节点编辑页面通过对应引擎与数据库语法编写业务代码。不同节点所使用的语法可能存在差异,具体请以实际使用为准。

说明

代码编辑完成后,请尽快保存(保存),避免代码丢失。

DataWorks支持的节点列表详情请参见 DataWorks节点合集。

常用引擎的使用说明:

  • MaxCompute

  • Hologres

  • E-MapReduce

后续:调试代码及配置调度

任务代码开发完成后,您可根据需要执行如下操作:

  • 调试代码:根据业务需求调试运行单个任务,或调试运行整个业务流程,并在调试完成后查看运行结果,详情请参见 任务调试流程。

  • 配置调度:进行节点的调度配置,后续节点将按照该配置周期性调度执行。详情请参见 任务调度配置。

  • 提交发布任务:任务开发完成后,需提交至对应环境调度执行。如果您使用的是 标准模式的工作空间,提交成功后,需单击右上方的发布,发布任务,操作详情请参见 发布任务。

  • 运维任务:任务发布完成后将默认展示在生产环境运维中心,您可前往生产环境运维中心查看生产环境任务的运行情况,并对生产任务执行相关运维操作。详情请参见 运维中心概述。

上一篇:任务开发 下一篇:创建业务流程
  • 本页导读 (1)

深圳SEO优化公司松岗网站开发那曲如何制作网站价格庆阳模板网站建设哪家好天门seo排名推荐韶关企业网站制作公司咸宁百姓网标王报价黑河百度竞价包年推广报价郑州seo网站推广台州关键词按天扣费推荐天津关键词按天收费报价丽江百度爱采购多少钱东莞优化多少钱贵港网站seo优化迁安网站排名优化舟山seo网站推广多少钱迪庆网页设计报价眉山网站推广哪家好山南百度竞价包年推广哪家好伊春百度网站优化排名报价大连网站制作公司潍坊模板推广公司鹤壁百搜标王推荐兰州关键词按天收费推荐鹰潭网络推广多少钱绥化网站优化按天计费价格达州建站阿坝seo网站推广推荐昌吉百度关键词包年推广哪家好林芝模板制作报价运城网页设计多少钱歼20紧急升空逼退外机英媒称团队夜以继日筹划王妃复出草木蔓发 春山在望成都发生巨响 当地回应60岁老人炒菠菜未焯水致肾病恶化男子涉嫌走私被判11年却一天牢没坐劳斯莱斯右转逼停直行车网传落水者说“没让你救”系谣言广东通报13岁男孩性侵女童不予立案贵州小伙回应在美国卖三蹦子火了淀粉肠小王子日销售额涨超10倍有个姐真把千机伞做出来了近3万元金手镯仅含足金十克呼北高速交通事故已致14人死亡杨洋拄拐现身医院国产伟哥去年销售近13亿男子给前妻转账 现任妻子起诉要回新基金只募集到26元还是员工自购男孩疑遭霸凌 家长讨说法被踢出群充个话费竟沦为间接洗钱工具新的一天从800个哈欠开始单亲妈妈陷入热恋 14岁儿子报警#春分立蛋大挑战#中国投资客涌入日本东京买房两大学生合买彩票中奖一人不认账新加坡主帅:唯一目标击败中国队月嫂回应掌掴婴儿是在赶虫子19岁小伙救下5人后溺亡 多方发声清明节放假3天调休1天张家界的山上“长”满了韩国人?开封王婆为何火了主播靠辱骂母亲走红被批捕封号代拍被何赛飞拿着魔杖追着打阿根廷将发行1万与2万面值的纸币库克现身上海为江西彩礼“减负”的“试婚人”因自嘲式简历走红的教授更新简介殡仪馆花卉高于市场价3倍还重复用网友称在豆瓣酱里吃出老鼠头315晚会后胖东来又人满为患了网友建议重庆地铁不准乘客携带菜筐特朗普谈“凯特王妃P图照”罗斯否认插足凯特王妃婚姻青海通报栏杆断裂小学生跌落住进ICU恒大被罚41.75亿到底怎么缴湖南一县政协主席疑涉刑案被控制茶百道就改标签日期致歉王树国3次鞠躬告别西交大师生张立群任西安交通大学校长杨倩无缘巴黎奥运

深圳SEO优化公司 XML地图 TXT地图 虚拟主机 SEO 网站制作 网站优化