TL;DR
- アウトオブコア、かつマルチコアでデータ処理を行えるVaexの紹介です。
- string関係のメソッドで平均して100倍以上の高速化が確認できました。(作者のベンチマークだと最大1000倍)
- 文字列処理以外でも数倍~数十倍の高速化が行えそうです。
- この記事では性能の比較のみ行い、解説記事は別で書こうと思います。
つくばPythonもくもく会(tsukuba.py)No.5を開催しました🐍 / 次回開催のお知らせ
5回目になりました！
- 本日「つくばPythonもくもく会No.5」を開催しました。
- 最近開催報告を書いていなかったのですが、ありがたいことにブログを見て来てくれる方もいらっしゃるようなので、久々に書いてみました。
Lambda Layerを使ってデプロイを高速化する
TL;DR
- Lambda Layerを使ってLambdaのデプロイを高速化します。
- ServerlessとServerless Pluginを使うことで簡単に実現することができます。
- 今回試した一例ですが、252.47秒->45.49秒で5倍高速化しました。
はじめに
Serverlessを用いたLambda Layerの活用については以前、Lambda LayerでHeadless Chromeを使う方法についてまとめたときに書いたのですが、Serverless Pluginなどを使うことで、より簡単にできることがわかったのでここにまとめたいと思います。
続きを読むAWS Secrets Managerを使って安全で簡単にGCPの秘密鍵JSONファイルなどの秘匿情報を取り扱う
TL;DR
- AWS Secrets Managerで秘密鍵JSONファイルなどを簡単に扱うことができます。
- 1つのユースケースとしてこの記事ではGCPの秘密鍵を扱います。
- GCPのSDKに読み込む方法も解説します。
はじめに
CI/CDでアクセスキー/シークレットキーなどの秘匿情報を扱う際に環境変数を使っている方も多いと思います。しかし、GCPの認証キーはjson形式で環境変数として扱うのが大変です。
そういった場合、AWS Secrets Managerを使うことで簡単に様々なデータ形式の秘匿情報を扱うことができます。また暗号化も行ってくれるので環境変数を用いるより安全に管理できます。
この記事ではAWS Secrets Managerの設定方法とPythonのSDKから呼び出し、GCPのSDKに設定する方法を紹介します。GCPのSDKにどう読み込ませたらいいのか、迷ったのでそのメモでもあります 😅
続きを読む眠っているログを活用しよう / Rails Developer Meetup 2019で発表しました
RailsDM2019(https://railsdm.github.io/) で発表させていただきました。
タイトルは少し長いのですが、 「ログを解析し続けてわかった、 会社で眠っているアクセスログを活用する5つのプラクティス」 です。
ログを解析し続けてわかった、 会社で眠っているアクセスログを活用する5つのプラクティス/practices-to-utilize-access-logs - Speaker Deck
3/23(土)にRails Developers Meetup 2019で発表します
今回は技術記事ではなく、告知です！
再来週に迫った3/22(金)・23(土)に外苑前の日本オラクルさんで開催されるRails Developers Meetup 2019にスピーカーとして参加させていただきます。
もうチケットは完売しているようなのですが、参加予定の方いたら是非会場でお話しましょう🙌
いつも記事やPodcastなどのメディアで見ている方々ばかりで恐れ多いのと同時に、そういった人たちにお会いできるのがとても楽しみです。
続きを読むレコメンドアルゴリズム入門(非個人化推薦/コンテントベースフィルタリング/協調フィルタリング)
現在受講中のCourseraのRecommender Systemsコースの中で自社のサービスなどにレコメンド機能の導入を検討している方に有用だと思われる情報があったのでまとめてみました！
「レコメンドアルゴリズムって協調フィルタリングのこと？」というくらいの知識の方にオススメです。
続きを読む