Advanced Tech Night No.1「クラウドのさきっちょ」へ行ってきました

エスエムジーさんの中の人が主催されているAdvanced Tech Nightという勉強会へ参加してきました。

以下、そのメモです。

MapReduceだけでない!? Hadoopとその仲間たち(束野さん)

Hadoopとその周辺プロダクトの概要についての紹介でした。

Hadoopだけが注目されがちだけど、Hadoop群を使いこなすと、MapReduceだけでなく面白いことができるよ、というお話でした。

RDBからkey-valueデータストアにデータをコピーできるSqoopとか、データ収集インフラのFlumeとかも、ご紹介いただきました。

たくさんあって追いきれませんが、個人で最初に触るなら、やっぱりHadoopからのようです。(チュートリアルを読んで)スタンドアロンで動かすのが最初の一歩かと思っていましたが、その前にワンプロセスで動かす方法もあると今回知りました。見てみます。

AWS Elastic Beanstalk で気軽にクラウド化しよう!(村田さん)

びーんずとーく、じゃなくて、びーんすとーく、らしい。(知らなかった・・・

自分はBeanstaklをまだ使い切っていないので、ただのJavaアプリのデプロイ先くらいに捉えていました。が、発表を聴いて、これまで意識していなかった構成要素を知ることができました。ログを保存してくれるとか、勝手にロードバランシングしてくれるとか、よく考えたら便利なもんだなぁ・・・と。AutoScaling、S3、SNS等々、裏で色々使われているんですね。

下記のようなtipsも公開してくださり、参考になりました。

EclipseからアップロードするとURL末尾にナゾの文字列がつく件

マネジメントコンソールからwarをアップすれば、URIを確認しながら決定できる。だから、Eclipseからお試し版のアプリをアップロードしておいて、本番用としてS3にあらかじめ保存されたwarを選ぶとよい。

Beanstalkのヘルスチェックに正常応答を返す必要がある

Basic Java Web Application(=AWSSDK付属のサンプルアプリ)のindex.jspを参考にしましょう、とのこと。

ローカルと本番環境でのパスの違い

URI中のコンテキスト名の位置が、ローカルのTomcatで実行する場合と、Beanstalkで実行する場合とで異なる。そのため、アプリの中で、(たとえばJavaScriptで)ローカル環境向けのURIをフルパスで指定していると、本番環境で正しく動かないので注意する。ページアドレスを取得するようにしておく。

また、サンプルアプリのTravel Log Applicationが面白いので、眺めてみるのオススメだそうです。

Amazon Elastic MapReduce VS Hadoop MapReduce(橋本さん)

自作マシンを並べて素のHadoopを使うことと、AWSでEMRを使うこととのメリット・デメリット(好き・嫌い?)を比較された発表でした。橋本さんのHadoopと自作への愛がひしひしと伝わり、とても面白かったです。漢なら自作でHadoop! マシンが壊れるのも悦び! という凄い世界があるようです。世界は広い…。EC2上でHadoop環境を構築することについてお聞きしたかったなぁと、後から思いました。

ざっくりまとめると、

素のHadoop
  • インストールで苦労するかも(橋本さんいわく「経験値が上がる悦びを味わえます」)
  • 構成は懐が許す限り自由。IOボトルネックも自分でSSD導入すれば解決できる
  • 扱うデータをクラウドに置けない/置きたくない人向き
  • 処理結果を高頻度でDBに反映させる必要がある場合、物理的に近くに配置できるから強い
  • 既存システムとMapReduceの処理を組み合わせたい人にも向く(EMRでは、ネットワークの遅延がきびしい場合も)。
EMR
  • AWSのアカウントさえあれば簡単に始められる
  • 構成は制限されるが、NVIDIA TeslaやCluster GPU Instanceが選べるのはアツイ
  • クックパッドさんやDeNAさんがログ解析で使っているように、少々時間かかってもよい処理は得意
  • リアルタイムデータ更新を短いスパンでやるのはきびしい
  • 定常的に重い処理をする場合は、使えば使うだけお金がかかるのが効いてくる(素のHadoopなら電気代で済む)

…とのことです。

というわけで

発表してくださった方、主催の方、懇親会でお話ししてくださった皆さん、ありがとうございました。次回以降のテーマと発表者を募集されていましたが、またAWSをテーマに開催される時があれば、自分も何か発表できたらいいなぁ(そうなれるように研鑽しないとなぁ…)と思いました。

あと、さくらばさんとkimukouさんが参加されていて、初めてご挨拶できたので、うれしかったです :-)