フリーランチ食べたい

No Free Lunch in ML and Life. Pythonや機械学習のことを書きます。

【Python】もうprintデバッグはいらない? / PySnooperで楽々デバッキング

Hacker NewsとRedditでバズっていたPythonのデバッグツールが便利だったので紹介です! PySnooperというライブラリです。

※追記

想像以上にたくさんの方に読んでいただき、printデバッグなど他のデバッグ方法との比較について追記として文末に補足しました。釣りタイトルですみませんでした…🙇

f:id:ikedaosushi:20190428000712p:plain

続きを読む

AWS BatchとServerlessを組み合わせて高速に定期実行バッチやバッチAPIを作る

AWS Lambdaで行えないような重い処理はAWS Batchを使うと簡単に行うことができますが、定期実行したりエンドポイントを作る仕組みはAWS BatchにはまだなくCloudWatchやAPI Gatewayと組み合わせる必要がありますがServerlessと組み合わせることで簡単に実現できるので紹介します。

f:id:ikedaosushi:20190427105206p:plain

続きを読む

Pandasで行うデータ処理を100倍高速にするOut-of-CoreフレームワークVaex

TL;DR

  • アウトオブコア、かつマルチコアでデータ処理を行えるVaexの紹介です。
  • string関係のメソッドで平均して100倍以上の高速化が確認できました。(作者のベンチマークだと最大1000倍)
  • 文字列処理以外でも数倍~数十倍の高速化が行えそうです。
  • この記事では性能の比較のみ行い、解説記事は別で書こうと思います。

f:id:ikedaosushi:20190414003238p:plain

続きを読む

つくばPythonもくもく会(tsukuba.py)No.5を開催しました🐍 / 次回開催のお知らせ

5回目になりました!

  • 本日「つくばPythonもくもく会No.5」を開催しました。
  • 最近開催報告を書いていなかったのですが、ありがたいことにブログを見て来てくれる方もいらっしゃるようなので、久々に書いてみました。

f:id:ikedaosushi:20190407181401j:plain
開催中の風景

続きを読む