AWS Glue・Athena入門｜S3のデータをSQL分析するサーバーレスデータ基盤の構築

1. S3→Glue→Athenaの全体アーキテクチャ

2. Athenaでよく使うクエリ例

-- ALBアクセスログからエラー率を時間帯別に集計
SELECT
  date_trunc('hour', from_iso8601_timestamp(time)) AS hour,
  COUNT(*) AS total_requests,
  COUNT(CASE WHEN elb_status_code >= 500 THEN 1 END) AS error_5xx,
  ROUND(COUNT(CASE WHEN elb_status_code >= 500 THEN 1 END) * 100.0 / COUNT(*), 2) AS error_rate_pct
FROM alb_access_logs
WHERE year = '2026' AND month = '04'
GROUP BY 1
ORDER BY 1;

3. Glue ETLジョブで変換処理

生データの形式変換・クレンジング・集計処理はGlue ETLジョブ（PythonまたはSpark）で行います。「JSON形式のログをParquet形式に変換してS3に書き戻す」という処理でAthenaのクエリコストを大幅に削減できます（ParquetはJSONの10〜100倍クエリ効率が高い）。

4. Athenaのコスト最適化

• Parquet形式への変換：JSON/CSVをParquetに変換するだけでスキャン量が削減されてコストが1/10以下になるケースがある
• パーティションの活用：WHERE句でパーティションキー（年/月/日）を指定することでスキャン対象を限定してコストを削減する
• ワークグループでコスト管理：部門別のワークグループを作成してクエリごとのスキャン量上限を設定する