フリーランチ食べたい

機械学習/データ解析/フロントエンド/バックエンド/インフラ

【参加レポート】Data Platform Meetup vol.2の発表内容まとめ&最近のDP界隈の話題

本日、開催されたData Platform Meetup vol.2に参加してきました。発表の内容や関連するリンクをまとめました。

f:id:mergyi:20191202200949p:plain

data-platform-meetup.connpass.com

  • 開催日時: 2019年12月2日
  • 会場: Pixivさんオフィス
続きを読む

PyCon JP 2019でスタッフとしてWebサイトの開発運用をして得た知見と反省

今回PyCon JP 2019にスタッフとして参加し、Webサイトの運用(と最適化アルゴリズムを用いたタイムテーブルの提案)を行いました。そこで得られた知見と反省をまとめて、今後他のカンファレンスなどでWebサイトの開発運用をする方の参考になれば幸いです。

本当はポスター参加記とまとめたかったのですが、ポスターの記事が長めになったので分けました。

blog.ikedaosushi.com

セッションへの感想はこちら。

blog.ikedaosushi.com

続きを読む

PyCon JP 2019でポスター発表をして得た知見と反省

PyCon JP 2019が終了しました。聴講者としてセッションを見た感想は1つ前のエントリにまとめました。 このエントリでは、自分が行った「ポスター発表」について書きます。今後カンファレンスでポスター発表をする方の参考になれば幸いです。

blog.ikedaosushi.com

続きを読む

PyCon JP 2019で見たセッションの聴講記録20個分 / 資料・動画・関連リンクなど

2019年9月16日/17日に開催されたPyCon JP 2019で自分が直接/YouTubeで聴講したセッションについてのまとめです。主に下記の内容を書いています。

  • スピーカーURL
  • 配信動画
  • スライド
  • 発表内で出てきたライブラリなどのURL
  • 自分の感想

「あのセッションで話していたライブラリなんだっけ」と思い出したい方やざっくり内容が知りたい方に読んでいただければ幸いです。PyCon JPに自分も発表者としても参加し、スタッフとして参加し、Webサイトの開発もしたので、それについては改めて書きたいと思います。

f:id:ikedaosushi:20190917173649p:plain

pycon.jp

続きを読む

人間のためのHTML Parseライブラリ『Requests-HTML』で楽しくデータクローリング

f:id:ikedaosushi:20190915164708p:plain

Pythonを使ったデータクローリング・スクレイピングは、エンジニア・非エンジニアを問わず非常に人気や需要のある分野です。しかし、いざデータクローリングしようとすると、複数ライブラリのAPIや、ライブラリそれぞれの関連性に混乱してしまうことがよくあります。

昨年公開された「Requests-HTML」はそういった問題を解決する「オールインワンでデータクローリングが行える」ライブラリです。ユーザーは「Requests-HTML」のAPIのみを学習するだけで、サイトへのリクエスト、HTMLのパース、要素の取得を行うことができます。またHeadless Chromeを使うこともできます。

このブログでは「Requests-HTML」が生まれた背景と使い方、そして興味深いポイントについて書きます。

続きを読む

PythonでGitHub Starのトレンドを取得してBokehでプロットしはてなブログに埋め込む

最初に結果です。下のようにGitHub StarのトレンドをBokehで可視化してはてなブログに埋め込む方法を解説します。マウスオーバーしてもらうとtooltipが表示される(=画像埋め込みでない)ことが確認していただけると思います。

既存のサイトでもリポジトリ名を入れると可視化してくれるサイトがいくつかあるのですが、細かい見た目を調整したかったため自分でスクリプトを書いてみました。コード全体はGitHubに上がっています。

github.com

続きを読む