ETLJobNode

印刷する
共有
PDF

ETLJobNode

印刷する
共有
PDF

記事の要約

この要約は役に立ちましたか?

ご意見ありがとうございます

説明

使用可能な ETLジョブノード
ソース、変換、ターゲットタイプがあります。

共通

構文

class ETLJobNode {
    private id: Long;
    private name: String;
    private JobNodeType type;
    private List<Long> parentNodeIds;

    enum Operator { EQ, NE, GT, LT, GTE, LTE }
    enum ConditionOperator { HEAD, AND, OR }
}

enum JobNodeType(JobNodeCategory category) {
    SOURCE_CATALOG(JobNodeCategory.SOURCE),
    SOURCE_CDB_MYSQL(JobNodeCategory.SOURCE),
    SOURCE_CDB_POSTGRESQL(JobNodeCategory.SOURCE),
    SOURCE_OBS(JobNodeCategory.SOURCE),
    TRANSFORM_DEFINE(JobNodeCategory.TRANSFORM),
    TRANSFORM_SELECT(JobNodeCategory.TRANSFORM),
    TRANSFORM_JOIN(JobNodeCategory.TRANSFORM),
    TRANSFORM_FILTER(JobNodeCategory.TRANSFORM),
    TRANSFORM_UNION(JobNodeCategory.TRANSFORM),
    TRANSFORM_AGGREGATE(JobNodeCategory.TRANSFORM),
    TRANSFORM_RENAME(JobNodeCategory.TRANSFORM),
    TRANSFORM_DROP_NULL(JobNodeCategory.TRANSFORM),
    TRANSFORM_DROP_DUPLICATION(JobNodeCategory.TRANSFORM),
    TRANSFORM_FILL_MISSING_VALUES(JobNodeCategory.TRANSFORM),
    TRANSFORM_SPLIT_FIELD(JobNodeCategory.TRANSFORM),
    TRANSFORM_SQL(JobNodeCategory.TRANSFORM),
    TARGET_CDB_MYSQL(JobNodeCategory.TARGET),
    TARGET_CDB_POSTGRESQL(JobNodeCategory.TARGET),
    TARGET_OBS(JobNodeCategory.TARGET),
    TARGET_CATALOG(JobNodeCategory.TARGET)
}

enum JobNodeCategory {
    SOURCE, TRANSFORM, TARGET
}

class Field {
    private String name;
    private Type type;
    private List<Field> properties;

    enum Type {
       Void, Boolean, Tinyint, Smallint, Int, Bigint, Float, Double, String, Char, Varchar, Date, Datetime, Timestamp, Decimal,
       Binary, TimestampWithTimeZone, Array, Map, Struct, Uniontype;
    }
}

フィールド

フィールド名	必須の有無	タイプ	制限事項	説明
id	Yes	Long		ID
name	Yes	String	- 先頭文字は英字まはたアンダースコア「」 - 英数字、アンダースコア「」、ハイフン「-」を使用可能 - 3~20文字以内で入力	ジョブ名
type	Yes	JobNodeType	構文を参照	ノードタイプ
parentNodeIds	Yes	List		上位ノード ID

Source / DataCatalog

構文

private String database;
private String table;
private String schemaVersion;
private List<Field> fieldList;

フィールド

フィールド名	必須の有無	タイプ	説明
database	Yes	String	データベースの名前
table	Yes	String	テーブル名
schemaVersion	Yes	String	スキーマのバージョン
fieldList	Yes	List	フィールドリスト

Source / ObjectStorage

構文

private String regionNo;
private String bucketName;
private String prefix;
private String dataType;
private List<Field> fieldList;

フィールド

フィールド名	必須の有無	タイプ	制限事項	説明
regionNo	Yes	String		リージョン番号
bucketName	Yes	String		バケット名
prefix	Yes	String		接頭辞
dataType	Yes	String	JSON, CSV, PARQUET, NDJSON	データタイプ
fieldList	Yes	List		フィールドリスト

Source / Cloud DB for MySQL

構文

private String connectionId;
private String table;
private List<Field> fieldList;

フィールド

フィールド名	必須の有無	タイプ	説明
connectionId	Yes	String	コネクション ID
table	Yes	String	テーブル名
fieldList	Yes	List	フィールドリスト

Source / Cloud DB for POSTGRESQL

構文

private String connectionId;
private String table;
private List<Field> fieldList;

フィールド

フィールド名	必須の有無	タイプ	説明
connectionId	Yes	String	コネクション ID
table	Yes	String	テーブル名
fieldList	Yes	List	フィールドリスト

Transform / Define

構文

private List<DefineField> defineFieldList;

フィールド

フィールド名	必須の有無	タイプ	説明
defineFieldList[].name	Yes	String	既存のフィールド名
defineFieldList[].newType	Yes	String	変更後のタイプ
defineFieldList[].newName	Yes	String	変更後のフィールド名

Transform / Select

構文

private List<Field> fieldList;

フィールド

フィールド名	必須の有無	タイプ	制限事項	説明
fieldList	Yes	List		フィールドリスト

Transform / Join

構文

private String joinType;
private long leftNodeId;
private long rightNodeId;
private List<JoinCondition> joinConditionList;
private String prefix;

フィールド

フィールド名	必須の有無	タイプ	制限事項	説明
joinType	Yes	String	INNER, LEFT_OUTER, RIGHT_OUTER, FULL_OUTER	ジョインタイプ
leftNodeId	Yes	long		左側ノード ID
rightNodeId	Yes	long		右側ノード ID
joinConditionList[].leftField	Yes	String		左側フィールド
joinConditionList[].leftField	Yes	String		右側フィールド
joinConditionList[].joinOperator	Yes	Operator		演算子
joinConditionList[].conditionOperator	Yes	ConditionOperator		条件
prefix	No	String		ジョイン時に変更されるフィールド接頭辞

Transform / Filter

構文

private String filterType;
private List<FilterCondition> filterConditionList;

フィールド

フィールド名	必須の有無	タイプ	制限事項	説明
filterType	Yes	String	AND, OR	フィルタタイプ
filterCondtionList[].name	Yes	String		フィルタ条件名
filterCondtionList[].operator	Yes	String		フィルタ条件演算子
filterCondtionList[].value	Yes	String		フィルタ条件値

Transform / Union

構文

private String unionType;

フィールド

フィールド名	必須の有無	タイプ	制限事項	説明
unionType	Yes	String	ALL, DISTINCT	Unionタイプ

Transform / Aggregate

構文

private List<String> groupByList;
private List<AggregateField> aggregateFieldList;

フィールド

フィールド名	必須の有無	タイプ	制限事項	説明
groupByList	Yes	List		フィールド名
aggregateFieldList[].name	Yes	String		集計条件名
aggregateFieldList[].ResultName	Yes	String		集計されたフィールド名
aggregateFieldList[].function	Yes	String	SUM, AVG, MAX, MIN	集計関数

Transform / Rename

構文

private List<RenameField> renameFieldList;

フィールド

フィールド名	必須の有無	タイプ	制限事項	説明
renameFieldList[].name	Yes	String		既存のフィールド名
renameFieldList[].newName	Yes	String		変更後のフィールド名

Transform / Drop duplication

構文

private List<String> dropFieldList;

フィールド

フィールド名	必須の有無	タイプ	制限事項	説明
dropFieldList	Yes	List		重複チェック対象のフィールド名

Transform / Fill missing value

構文

private List<MissingValueField> missingValueFieldList;

フィールド

フィールド名	必須の有無	タイプ	制限事項	説明
missingValueFieldList[].name	Yes	String		空の状態を埋めるフィールド名
missingValueFieldList[].defaultValue	Yes	String		空の状態を埋めるフィールド値

Target / Data Catalog

構文

private String database;
private String table;
private String schemaVersion;
private List<Field> fieldList;
private UpdateMode updateType;
private Integer coalesce;

フィールド

フィールド名	必須の有無	タイプ	制限事項	説明
database	Yes	String		データベースの名前
table	Yes	String		テーブル名
schemaVersion	Yes	String		スキーマのバージョン
fieldList	Yes	List		フィールドリスト
updateType	No	String	OVERWRITE, APPEND, IGNORE	アップデートオプション
coalesce	No	Int		出力ファイル数

Target / Object Storage

構文

private String regionNo;
private String bucketName;
private String prefix;
private String dataType;
private List<Field> fieldList;
private UpdateMode updateType;
private Integer coalesce;

フィールド

フィールド名	必須の有無	タイプ	制限事項	説明
regionNo	Yes	String		リージョン番号
bucketName	Yes	String		バケット名
prefix	Yes	String		ターゲットのパス
dataType	Yes	String	JSON, CSV, PARQUET	データタイプ
fieldList	Yes	List		フィールドリスト
updateType	No	String	OVERWRITE, APPEND, IGNORE	アップデートオプション
coalesce	No	Int		出力ファイル数

Target / Cloud DB for MySQL

構文

private String connectionId;
private String table;
private List<Field> fieldList;
private UpdateMode updateType;

フィールド

フィールド名	必須の有無	タイプ	制限事項	説明
connectionId	Yes	String		コネクション ID
table	Yes	String		テーブル名
fieldList	Yes	List		フィールドリスト
updateType	No	String	OVERWRITE, APPEND, IGNORE	アップデートオプション

Target / Cloud DB for POSTGRESQL

構文

private String connectionId;
private String table;
private List<Field> fieldList;
private UpdateMode updateType;

フィールド

フィールド名	必須の有無	タイプ	制限事項	説明
connectionId	Yes	String		コネクション ID
table	Yes	String		テーブル名
fieldList	Yes	List		フィールドリスト
updateType	No	String	OVERWRITE, APPEND, IGNORE	アップデートオプション

この記事は役に立ちましたか?

What's Next

Cloud Data Box の概要

説明
共通
Source / DataCatalog
Source / ObjectStorage
Source / Cloud DB for MySQL
Source / Cloud DB for POSTGRESQL
Transform / Define
Transform / Select
Transform / Join
Transform / Filter
Transform / Union
Transform / Aggregate
Transform / Rename
Transform / Drop duplication
Transform / Fill missing value
Target / Data Catalog
Target / Object Storage
Target / Cloud DB for MySQL
Target / Cloud DB for POSTGRESQL