SageMakerとServerlessを組み合わせて、お手軽にscikit-learnの機械学習APIを作る

SageMakerとServerlessを使ってscikit-learnの機械学習APIを作る方法を紹介します。

公式ドキュメントやその他の記事の多くはコンソール操作やnotebook上での操作が多く含んでいて、そのコードのまま本番運用に使うのは難しいと感じたので、この記事では コンソール操作やnotebook上での操作なしでスクリプトだけで完結 できるようにしています。カスタマイズすれば本番運用で使えるはずです。

また公式ドキュメントにもExampleがいくつかあるのですが、色々な処理を含んでいて、自分には理解し辛い部分がありました。今回、SageMakerを理解するためにもっとシンプルなToy Exampleを作ってみました。

【Python】もうprintデバッグはいらない？ / PySnooperで楽々デバッキング

Hacker NewsとRedditでバズっていたPythonのデバッグツールが便利だったので紹介です！ PySnooperというライブラリです。

• Hacker News - PySnooper: Never use print for debugging again
• Reddit - PySnooper: Never use print for debugging again

※追記

想像以上にたくさんの方に読んでいただき、printデバッグなど他のデバッグ方法との比較について追記として文末に補足しました。釣りタイトルですみませんでした…🙇

AWS BatchとServerlessを組み合わせて高速に定期実行バッチやバッチAPIを作る

AWS Lambdaで行えないような重い処理はAWS Batchを使うと簡単に行うことができますが、定期実行したりエンドポイントを作る仕組みはAWS BatchにはまだなくCloudWatchやAPI Gatewayと組み合わせる必要がありますがServerlessと組み合わせることで簡単に実現できるので紹介します。

Nuxtで@nuxtjs/dotenvを使って環境変数を環境ごとに読み分ける

Nuxt開発の小ネタです。環境変数を開発環境/本番環境で切り分けたいときにどうすればよいか、わからなかったのでメモしておきます。

Nuxt/VuexでFirebase Authenticationを使ってユーザー認証機能を作る

Nuxt/VuexでFirebase Authenticationを使ったユーザー認証機能を作るにあたって、基本的なやり方はFirebaseドキュメントに書いてあるのですが、「どこに何を書けばいいのか」がよくわからなかったので調べながらまとめてみました。

Vaex入門 / 可視化もXGBoostも

はじめに

• 昨日Vaexの性能評価の記事を書きました。
• その記事では長くなってしまうので基本的な使い方などを省略しました。
• なので今回は入門記事として使い方を紹介します。

blog.ikedaosushi.com

Pandasで行うデータ処理を100倍高速にするOut-of-CoreフレームワークVaex

TL;DR

• アウトオブコア、かつマルチコアでデータ処理を行えるVaexの紹介です。
• string関係のメソッドで平均して100倍以上の高速化が確認できました。(作者のベンチマークだと最大1000倍)
• 文字列処理以外でも数倍~数十倍の高速化が行えそうです。
• この記事では性能の比較のみ行い、解説記事は別で書こうと思います。