データ分析を行うためには、分析対象となるデータをデータソース（データの生成元）からDWH（Data Ware House：データウェアハウス “データの倉庫”データを保管しておくDBのことを意味します。)などのデータ分析基盤に移すことが必要になります。

このような、データソースからデータ分析基盤にデータを移す作業をETLといいます。


ETLとは「Extract（抽出）」「Transform（変換）」「Load（書き出し）」の略語で、具体的にはデータベースやデータレイクからデータをExtract（抽出）し、Transform（変換）して、DWHへLoad（書き出し）する作業を意味します。


AWS GlueはAWS（Amazon Web Services）で提供されているサーバーレスのETLサービスです。

データ分析、機械学習、アプリケーション開発のためのデータ検出、準備、結合をシンプルでスケーラブルに行うための機能が備わっています。

また、データがどこにあるのか、どのようなデータなのかを記述し、データを管理しやすくする機能も備わっています。

AWSが提供する専用接続サービスであり、ユーザーのネットワーク環境からAWSまでインターネットを経由せずプライベートな接続を確立することができます。

AWSに接続するといっても、直接AWSのデータセンターに接続するというわけではありません。

ユーザーがAWSのパートナーの設備に用意された相互接続ポイント（AWS Direct Connectロケーション）、つまりアクセスの中継地を介してAWSと間接的に接続する、という仕組みになっています。

日本国内の場合、エクイニクス社の「TY2（東京）」、「OS1（大阪）」およびアット東京社の「CC1(東京)」のAWS Direct Connectロケーションを利用できます。

AWS Direct Connectのメリット

Direct Connectのメリットを理解するために重要になってくるポイントは、「どのように」AWSに繋げるか、ということです。

Direct ConnectはAWSへ接続する手段であり、Direct Connect以外にもAWSへの接続手段はあります。

大きく2つに分類すると、（ 1 ）インターネット回線を利用して接続する（ 2 ）インターネット回線を利用しないで接続するのどちらかです。

(1)インターネット回線を利用して接続する方法

インターネット回線を利用して接続する代表的な方法としては、「VPN」があります。

VPNとは、インターネット回線に設けた仮想的な専用線接続であり、比較的容易に利用できるというメリットがありますが、その反面、回線状況に依存するため接続が安定しないというデメリットもあります。

(2)インターネット回線を利用しないで接続する方法

AWS Direct Connectはインターネット回線を利用しないで接続する方法になります。

最大のメリットは「安定性」、「セキュリティ」および「コスト」です。

AWS Direct Connectは、独立した専用ネットワークなので、回線状況の影響を受けない安定したネットワークと言えます。

つまり、複数のユーザーが同時に接続することで発生しうるトラフィック状況の不安定性が解消されます。

また、不特定多数のユーザーが利用することがないため、当然セキュリティ強化にもつながり、秘匿性の高い重要なデータなどのやり取りをすることもできます。


コストは、基本料金額の違いもあるため一概には言えませんが、通信量が多く従量課金額の割合が高い場合に差が出てきます。

参考までにVPNのデータ転送コストが0.14$／GBに対して、AWS Direct Connectでのデータ転送コストは、0.041$／GBと約1／4にコストを抑えることができます。

（2018年9月時点）

AWS Direct Connectのデメリットとは

そもそも、AWS Direct Connectとは、あくまでAWSのデータセンターとAWS Direct Connectロケーションまでを接続するサービスであり、お客様拠点からロケーションまでの回線やセキュリティに関しては、サービス範囲外となるため、お客様自身で用意する必要があります。

ネットワーク機器の設定後すぐに利用可能であるVPNに比べ、契約と初期設定に手間や時間がかかる点が、AWS Direct Connectのデメリットと言えるでしょう。

また、単一回線の構成の場合、AWSのメンテナンスの際に通信できなくなる点も注意しなければならないポイントです。

こちらは、副回線を用意し冗長化することで解決することができます。

AWS CloudTrail は、AWS アカウントの運用とリスクの監査、ガバナンス、コンプライアンスを行えるように支援する AWS のサービスです。

ユーザー、ロール、または AWS のサービスによって実行されたアクションは、CloudTrail にイベントとして記録されます。


AWS CloudTrailを利用することで、AWSアカウントのガバナンス、コンプライアンス、リスク監査などを行うことができます。

そのため「いつ」「誰が」「何を」したのかをすぐさま確認することが可能です。


AWS CloudTrailで記録できるものは、「セキュリティグループの設定やデバイスの登録などのアクティビティ（管理イベント）」と「S3バケットのデータ操作やLambda関数の実行などアクティビティ（データイベント）」の2種類です。

こうしたアクティビティをログに記録することにより、運用を継続して監視することが可能です。


AWS マネジメントコンソール、AWSのSDKなどのAWSサービスを実行することなど履歴の把握が可能となります。

また過去90日間は履歴の保管を無料で行えます。

長期的なデータ保管を行うのであれば、Amazon S3のデータストレージなどを有料で活用していくことも可能です。

その際は記録したイベント数に応じて、料金が変わってきますので、じゅうぶんに確認することが大事です。


さらにこのデータは「いつ」「誰が」「何を」したのかを確認できるため、セキュリティ分析からデータの不正引き出し、トラブルシューティングなどに対応ができます。

そのため自社のセキュリティ対策の強化、コンプライアンスの強化につながります。

Amazon Simple Notification Service (Amazon SNS)とは、モバイルプッシュ通知やSMS送信など様々なメディアに対応した分散型フルマネージド通知サービスのことをいいます。

またA2A（リクエストに応えての回答）やA2P（API、プログラム、またはアプリケーションを使用して自動化）に対応しているので、個人とアプリ両方に対応しています。


近年SMSやEメールなど配信方法が増えているのですが、これらを対応した配信サービスを構築するには多額なコストが必要になります。

さらにシステムスケーラビリティに対する対応も必要になることもあるでしょう。

しかしSNSを利用することにより、構築がスピーディーで尚且つコストを大幅に下げることが可能となり、費用対効果が高いのです。


Amazonなどで商品を購入した際に、商品が発送された時に発送完了通知がくるのですが、SNSを使ってこの通知をすることができます。

Amazon Simple Email Service の略で、メール配信サービスです。

独自ドメインの利用でも利用することができます。

また、他のメールサーバと違うのがAWSの他のサービスと連携することができます。

クライアントに通知をするサービスは、SNSの他にSESがあります。

SESがEメールの送信のみ利用できることに対して、SNSはプッシュ型の通知が利用可能でEメールだけでなく、AWS Lambdaなど他のAWSサービスに送ることができます。

ただしSNSは通知をするためのサービスなので、HTMLなども使用することはできません。

また長文には対応しておらず、長文対応が必要な時はSESがおすすめです。

メールでの設定を多くできるのがSESなのです。

AWS Acceptable Use Policy（利用規約）は、Amazon Web Services, Inc. およびその関連会社が提供するウェブサービス（「本サービス」）およびhttp://aws.amazon.com にあるウェブサイト「AWS サイト」）の利用に関して、禁止される事項を記載したものです。

AWSサービスを利用する上で、禁止された利用方法を確認するときに利用されます。

AWSリソースの監視を行うCloudWatchは、CloudWatch/CloudWatch Logs/CloudWatch Eventsという３つのサービスで構成されています。

CloudWatchは、AWS上で稼働するAWSサービスのメトリクスを収集し、死活監視.性能監視/キャパシティ監視を行います。

CloudWatch LogsはAWSのログ監視サービスで、AWSマネージドサービスのログやEC2インスタンス上のOS/アプリケーションのログを取得します。

CloudWatch Eventsは、AWS上にあるリソースの状態の変更をトリガーとしてアクションを実行する機能を提供します。

CloudWatch Logsとはログ収集サービスです。

対応しているAWSサービスのログを収集し、保存します。

ログの保存期間を指定でき、1日から10年間の保持期間を指定するか、または保持期間を無制限とするか選択します。

AWSサービスでCloudWatch Logsと連携できる主要サービスは、以下の通りです。


CloudTrail、Route 53、Lambda、VPC、SNS、EC2、RDS

CloudWatch Eventsは、AWSリソースの変化をトリガーとしてアクションを実行できるサービスです。

CloudWatch Eventsのコンポーネントは、イベント/ターゲット/ルールです。

イベントは、対象となるAWSリソースの変化を示します。

イベントのソースは、EC2/AutoScaling/CloudTrail/AWSマネジメントコンソールへのログイン/スケジュールイベントなどがあります。

ターゲットとは実行する処理です。

ルールは、定義したイベントソースとターゲットへのアクションの組み合わせを示します。

ターゲットには、Lambda関数、SNS、SQSなどが設定できます。