ATND アテンド β PRODUCED BY RECRUIT

ログイン or 無料登録

Presto ソースコードリーディング #1

Operaじゃないよ

Default latent
日時 :
2014/02/10 (月) 19:30 ~ 21:30
定員 :
40人
会場 :
LINEの一室(東京都渋谷区渋谷2-21-1 渋谷ヒカリエ 27階)
URL :
http://prestodb.io/
主催者 :
ハッシュタグ :
#prestodb_scr

FacebookがOSSとして公開した分散クエリエンジンであるPrestoのソースコードリーディングです.

Javaとか分散クエリエンジンシステムの基本(ImpalaとかGreenplumみたいなのの基本構成)みたいなのは知ってる前提で話は進むと思います.

当日の担当区分

この人がメインでやるというだけで,皆でもくもく読みます.

1. repeatedly (Overview)
2. tagomoris (HTTP API)
3. oza_x86 (Worker / Executor)

当日の注意事項

  • 受付開始は19:00です.19:30を越えると受付は取っ払われて入ることは出来ませんので,気をつけてください.
  • 11Fオフィスフロアロビーの受付脇に専用の受付を設置するのでそこを通ってください
  • あと飲み物必要な人は11Fローソンで買ってくること
  • 懇親会は会場ではありません
  • ホワイトボードがあるので,その場で図とかは書けます
  • このコメントは全員が閲覧、すべてのログインユーザーが投稿することができます
repeatedly
repeatedly - (2014/01/21 (火) 11:44)
どういう風な流れでやるかアイデアをください.1回で全部読むのは無理なので,おそらく分割して読んでいくことになると思います.
個人的なソースコードリーディングな経験としては

- 誰かメインとなる人がいて(簡単な流れを発表などする人),その人を中心にじっくり読む
- 対象だけ決めて,皆で読み始めてあれやこれやとやる

の二つがあります.どちらも一長一短なのですが,他に何かアイデアありますか?
hayamiz
hayamiz - (2014/01/27 (月) 19:35)
いきなり黙々とやるよりも、Prestoのアーキテクチャとか、全体観を最初に誰か話してくれると取っ掛かりとして良さそうな気がします。

あとは、動いてるPrestoをデバッガでトレースできたりすると便利なので、だれか立ち上げたら全部揃ってるVMイメージ作ってくれないかなー(チラッチラッ
ryu_kobayashi
ryu_kobayashi - (2014/01/27 (月) 21:37)
CDH4+HiveとPrestoが既に動く状態のVMはある。がっ、デカいので上げるのは嫌だw
frsyuki
frsyuki - (2014/01/28 (火) 07:25)
Prestoの作者からコメントです:
--
This sounds great! Let us know if you come up with any questions? Also, if there are confusing parts of the codebase, let us know.

Thanks,
-dain
repeatedly
repeatedly - (2014/01/28 (火) 10:48)
基本的に興味の対象は人それぞれだと思うので(クエリプラン周りに興味ある人とか,分散部分どうやっているのかとか),そこを上手く分けられるといいなと思います.

全体の概要に関しては,多分俺が最初にソースコードの構成見ながら喋ると思うので,その後クエリ実行部分とかクエリプラン作るところとかを,主導してくれる誰かに任せたい所です.
repeatedly
repeatedly - (2014/01/28 (火) 10:52)
VMはどうなんでしょう?Presto自体は立ち上げるのは楽なんだけど,バックエンドのHDFSとかCassandraとかが非常に面倒くさい.
EC2にスナップショットみたいなのがあれば良いのだろうか?コスト掛かりそうだけども
repeatedly
repeatedly - (2014/01/28 (火) 10:56)
@frsyuki Cool!
repeatedly
repeatedly - (2014/01/28 (火) 10:57)
個人の負担が増えるのは面倒くさいので,VMは暇な人があげてくれたらラッキーという感じにしましょう.ソースコードリーディングなのでなくても困らないし,こういうのに参加する人は自分で立ち上げるくらいは出来るでしょう.
tagomoris
tagomoris - (2014/01/28 (火) 11:08)
メイン枠(?)的なのとは別に HTTP API まわりをとっかかりに処理を追う時間を少し作りたいです。
できそうなら /v1/execute へのリクエストをどう受けて何がどう動くのか、から。
repeatedly
repeatedly - (2014/01/28 (火) 16:59)
じゃあ,流れとしては

1. repeatedly (全体)
2. tagomoris (HTTP API)
3. ?? (??)

みたいな感じで最初は行きますか.3は誰か「ここ読みたい!」という中心になってくれる人を募集する感じで.
oza_x86
oza_x86 - (2014/02/07 (金) 18:47)
Executor を読むことになりました.宜しくお願いします.

コメントを投稿するには、ログインしてください。

掲載されるイベント情報は、利用者の皆様によりご提供いただくものであり、株式会社リクルートは本情報の正確性や内容について、一切保証するものではございません。詳しくは利用規約をご参照ください。