フリーランチ食べたい

機械学習/データ解析/フロントエンド/バックエンド/インフラ

AWS BatchとServerlessを組み合わせて高速に定期実行バッチやバッチAPIを作る

AWS Lambdaで行えないような重い処理はAWS Batchを使うと簡単に行うことができますが、定期実行したりエンドポイントを作る仕組みはAWS BatchにはまだなくCloudWatchやAPI Gatewayと組み合わせる必要がありますがServerlessと組み合わせることで簡単に実現できるので紹介します。

f:id:ikedaosushi:20190427105206p:plain

続きを読む

Nuxt/VuexでFirebase Authenticationを使ってユーザー認証機能を作る

Nuxt/VuexでFirebase Authenticationを使ったユーザー認証機能を作るにあたって、基本的なやり方はFirebaseドキュメントに書いてあるのですが、「どこに何を書けばいいのか」がよくわからなかったので調べながらまとめてみました。

f:id:ikedaosushi:20190417172517p:plain

続きを読む

Pandasで行うデータ処理を100倍高速にするOut-of-CoreフレームワークVaex

TL;DR

  • アウトオブコア、かつマルチコアでデータ処理を行えるVaexの紹介です。
  • string関係のメソッドで平均して100倍以上の高速化が確認できました。(作者のベンチマークだと最大1000倍)
  • 文字列処理以外でも数倍~数十倍の高速化が行えそうです。
  • この記事では性能の比較のみ行い、解説記事は別で書こうと思います。

f:id:ikedaosushi:20190414003238p:plain

続きを読む

つくばPythonもくもく会(tsukuba.py)No.5を開催しました🐍 / 次回開催のお知らせ

5回目になりました!

  • 本日「つくばPythonもくもく会No.5」を開催しました。
  • 最近開催報告を書いていなかったのですが、ありがたいことにブログを見て来てくれる方もいらっしゃるようなので、久々に書いてみました。

f:id:ikedaosushi:20190407181401j:plain
開催中の風景

続きを読む

Lambda Layerを使ってデプロイを高速化する

TL;DR

  • Lambda Layerを使ってLambdaのデプロイを高速化します。
  • ServerlessとServerless Pluginを使うことで簡単に実現することができます。
  • 今回試した一例ですが、252.47秒->45.49秒で5倍高速化しました。

f:id:ikedaosushi:20190407012509p:plain

はじめに

Serverlessを用いたLambda Layerの活用については以前、Lambda LayerでHeadless Chromeを使う方法についてまとめたときに書いたのですが、Serverless Pluginなどを使うことで、より簡単にできることがわかったのでここにまとめたいと思います。

blog.ikedaosushi.com

続きを読む