月別アーカイブ 4月 19, 2022

今後はDB系について触ってみようと思います。RDS,Aurona,ElastiCache,DynamoDBなどありますが、普通に触ってもおもしろくないかなーと思い、今回はAmazon Athenaにしようと思います。

AthenaはS3に保存されているCSV/JSONなどのファイルをそのままAthenaで読み込んでDBとして利用できるものです。

S3をデータレイクとしていろいろデータをため込んでおいて、後からAthenaで分析してみるという使い方ができるなと思いました。

また、AWS GlueはETL機能があり、S3に保存されているデータを加工できるサービスなのでこれと組み合わせることで分析しやすくできるという理解です。

私的には以下サイトが参考にできそうです。

---

【初心者向け】AWS Athena の 使い方

https://qiita.com/yoshiyama_hana/items/9b2f26b214de92a0f36c

---

【初心者向け】AthenaからクエリしてS3上のデータを取得してみた

https://dev.classmethod.jp/articles/get_s3data_by_athena/

---

Amazon AthenaでSQLクエリを実行してみた

---

S3に置いたCSVをAthena (+Glue) で検索したい

https://dev.classmethod.jp/articles/athena-s3-csv/

---

実機操作は日を改めて実施してみようと思います。

実機を使いboto3でS3操作を実施してみました。

端末はubuntuで行いました。

IAMでboto3用にユーザを作成。そのユーザのアクセスキーとセキュリティーキーを控える。

これが外部に誤って漏れてしまうと、IAMのアクセス権限次第ではありますがAWSをコントロールできてしまうので要注意ではある。

よってAWS CLI（aws config）でキーを登録する形とした。pythonコードへキーを直接書き込まない形。

あとは、以下サイトの通りpythonを実行して問題なく操作できた。

/https://qiita.com/is_ryo/items/e16527db5800854cd95f

・S3バケットリストを表示

・S3バケットへファイルアップロード

・S3バケットからファイルダウンロード

特に問題なく10分程度で実装できた。

端末をwindows10でやろうとしたが、pipおよびboto3をインストールするところでうまくいかなかった。こちらはまた時間あるときにトライしてみようと思う。


boto3のメーカードキュメントは以下にあるので、必要に応じて確認する。
https://docs.aws.amazon.com/ja_jp/pythonsdk/?id=docs_gateway

今日はこれぐらいにしておきます。

今週末はboto3を試してみようと思います。

先週末はlambdaを使ってS3,API Gateway,dynamodbと連携させたりしてましたが、今週末はpythonでboto3ライブラリを使ってコントロールしてみたいと思います。

私のレベル的にはまずは以下を参考にさせていただこうと思います。

---

---

コードでAWSをさわってみよう！プログラミング初心者向けAWS SDK（Boto3）の使い方

https://dev.classmethod.jp/articles/how-to-use-awssdk-boto3-for-beginners/

---

Python boto3 でAWSを自在に操ろう ~入門編~

https://qiita.com/kimihiro_n/items/f3ce86472152b2676004

---

boto3を使ってS3をごにょごにょする

https://qiita.com/is_ryo/items/e16527db5800854cd95f

---

これまでマネジメントコンソールはMFA化してセキュアに使ってましたが、boto3の場合はクレデンシャルの扱いなどセキュリティ面は今まで以上に注意したいと思います。

あわせて、自動化・省力化についても検討したいと思います。

今日はこれぐらいにしておきます。

先日はS3イベントトリガーからLambdaを起動することを試したので、今回はAPI GatewayとLambdaを連携させてみたいと思います。

私的には以下サイトが参考にできそうです。

---

https://qiita.com/baikichiz/items/2de7c4c0dcf9b051037a

【API Gateway】AWS Lambda統合のPythonでHello, world

---

【AWS】HTTP API+Lambda+DynamoDBのチュートリアルをやってみた

---

上記”【API Gateway】AWS Lambda統合のPythonでHello, world”を参考にして実行したところ、特に問題なく動作できました。初めてAPI Gatewayを設定しましたが賞味15分程度でできました。

APIに認証が何もないのもよくないので、今度は以下を参考にAPIキーの設定を追加してテストしました。

---

https://qiita.com/baikichiz/items/ed787c5c79059213401e

【API Gateway】API呼び出しにAPIキーを設定する

---

こちらも特に問題なく賞味10分ほどで完了できました。

私が少しつまった部分として、windows端末からcurlでテストしたのですが、–headerオプションで付ける”x-api-key:********************”と部分がダブルクォーテーションだと動きますが、シングルクォーテーションではエラーになりました。

なお、

developer associate試験については以下本を読んで勉強中です。

ポケットスタディ AWS認定 デベロッパーアソシエイト [ 山下光洋 ] 価格：2310円（税込、送料無料) (2022/4/12時点)楽天で購入

わかりやすくて良い本だと思いますが、やはり実機触りながらでないとなかなか頭に入らないですね。

読んでるだけだとよくわからないことが、実際にさわってみると結構簡単に動いて理解も早いです。

なんとか4月中に試験申し込みしたいと頑張っています。

今日はこれぐらいにしておきます。

さきの投稿に続いて、週末に動作確認を行いました。

結論としては問題なく動作できました。

具体的な内容は下記サイトを参考にさせてもらいました。

https://atmarkit.itmedia.co.jp/ait/articles/2109/24/news008.html

「Amazon S3」にアップロードしたCSVファイルを「Amazon DynamoDB」に自動登録する「AWS Lambda」関数の作り方

S3,Dynamodbについてはサイトの案内の通り操作するだけなので悩ましいところはなかった。

私が少し詰まったのは、以下2点。

・lamdaに割り当てるユーザー管理ポリシー。

　新規ポリシーとしてdynamodb-put-batchwriteを作成した後で、ロールlambda-import-csv-into-dynamodbへポリシーを割り当てる。

・S3へアップロードするemployee.csv1の形式でエラー。

　最初メモ帳でcsvファイルを作成しs3へアップロードしたらcp932関連でエラー発生。

　 UnicodeDecodeError: ‘cp932’ codec can’t decode

作成したCSVファイル形式がよくなかったのが原因。改めてterapadで”文字コード指定再読込”を”SHIFT-JIS”として、CSVデータを保存したところ、エラーはなくなりました（cp932=SHIFT-JISな認識）。

その他は特に止まるところもなく、賞味30分程度で一通り試せました。

S3にファイルアップロードすることで、dynamodbへデータ書き込みおよび更新までできました。cloudwatch logsへもデフォルトのままでlambdaログが記録されました。

肝心なlamdaコードについてもサイト情報そのままで動作できました。

個人的にはpythonスクリプトの部分が一番キモと思いますが、この程度のコード量なら読めば理解できますし、多少の作り変えでいろいろ試せそうに思いました。

今回はS3イベントでキックする形ですが、それ以外にもlambda起動できる条件はいろいろあるので、改めてアイデア考えて別条件でサーバレスを試してみたいと思いました。

今日はこれぐらいにしておきます。

先日AWS DAの資格取得について書きましたが、本だけ読んでいてもだめなので実機触って理解を深めようと思います。

ネットで検索しているとS3+lambda+dynamodbの組み合わせでサーバレスを実現している例を見かけますので、まずはそれにならって試してみようと思います。

私的には以下が参考にできそうです。

「Amazon S3」にアップロードしたCSVファイルを「Amazon DynamoDB」に自動登録する「AWS Lambda」関数の作り方：AWSチートシート – ＠IT (itmedia.co.jp)

Lambdaを使ってS3に上げたログをDynamoDBに自動登録 – Qiita

S3をトリガーとするLambdaの冪等性をDynamoDBで実現してみた | DevelopersIO (classmethod.jp)

lambdaのランタイムはpythonにしようと思います。

上記を参考に見る限り簡単にできそうではありますが、週末に試してみてはまりポイントなどを後日記載しようと思います。

今回はS3からのイベントトリガーでlambda起動させる流れで考えていますが、ほかにもいろいろ連携できるようです。

https://docs.aws.amazon.com/ja_jp/lambda/latest/dg/lambda-services.html

一つ連携できればそれ以外もある程度イメージできるようになるかなと思うのでまずは試してみます。

今日はこれぐらいにしておきます。

wordpressを動作させているlightsailインスタンスへcloudwatch agentをインストールし、リソース監視・ログ監視できるようにしました。

参考にしたサイトは以下。

https://gattino.jp/cloudwatch-agentlightsail/

ほぼこのサイトの通りで設定・動作確認ができました。賞味15分ほどで完了。

一部異なった点としては、

sudo /opt/aws/amazon-cloudwatch-agent/bin/amazon-cloudwatch-agent-config-wizard

でcloudwatch agentの設定ウィザードでいろいろ質問されますが、内容が少しだけ追加されていました。

あと、cloudwatch上でアラートおよびトピックの設定をした際に、通知先のメールアドレスを登録する場合は、以下のようなメールが届くので、承認処理が必要ですね。

—————————–

AWS Notification – Subscription ConfirmationYou have chosen to subscribe to the topic:
arn:aws:sns:ap-northeast-1:**********:cloudwatch_alarms_topic

To confirm this subscription, click or visit the link below (If this was in error no action is necessary):
Confirm subscription

—————————–

Disk使用率・CPU使用率・ネットワーク使用率などのカスタム属性がCloudWatch上でグラフ表示できました。Lightsailのダッシュボード上ではDisk使用率は見えないのでこの辺りの設定は必要だと思います。

wordpressのログとして、/opt/bitnami/apache/logs/access_logをcloudwatch logsへ飛ばすようにしました。とりあえずログ参照できるところまで。

cloudwatch logs insightでログ分析できるようなので、後日試してみようと思います。

今日はこれくらいにしておきます。