动手实验架构概览

本次动手训练营将引导您逐步使用Apache Hudi在S3 Data Lake中对Parquet格式化的数据执行插入,加插和删除操作。我们将使用Amazon Aurora MySQL模拟业务数据库,它将作为源数据库;使用AWS DMS作为增量和全量的数据同步工具;使用Amazon MSK作为消息队列并使用Amazon EMR上的spark streaming消费数据,您将会尝试这些数据增量的被处理到Hudi表中… 具体步骤及其说明请您查看以下内容: