AWSのAuroraからGCPのBigQueryにデータを転送する必要があり、最終的にEmbulkを使うことに落ち着いた話です。 最初は、AWS Data Pipelineを使ってAuroraからS3にエクスポートしてBigQuery Data Transfer Serviceを使ってS3からBigQueryにインポートするフロ…

はじめに とある理由からメッセージングの機能を使いたく、最終的にGCP で提供されているCloud Pub/Subを選んだため、何か書こうと思います。 cloud.google.com AmazonのKinesis、ApacheのKafka、RedisのPub/Subなどと同じような、メッセージング（キューイ…