Sparkとブレインパッドのここ数年の歩み

「詳解 Apache Spark」の発売

詳解 Apache Spark

• 作者:下田 倫大,師岡 一成,今井 雄太,石川 有,田中 裕一,小宮 篤史,加嵜 長門
• 技術評論社

Amazon

去る4/29に発売された「詳解 Apache Spark」には、ありがたいことに、私を含めてブレインパッドのメンバー2名が共著者として名前を連ねさせていただきました。ブレインパッドはデータ分析の企業として比較的知名度は高いかと思いますが、Hadoop/Sparkを使っている会社だという認識はほとんどないかと思います。しかし、実はひっそりとここ2年ほどSparkとは何かと関わりがあり、結果今回の書籍出版に至りましたので、この機会にこれまでの歩みをご紹介したいと思います。

2014年

ブレインパッドは、2014年にSkytreeという機械学習ソフトウェアの販売代理店となりました。 本格的に販売代理店として活動を始めるにあたり、ブレインパッドのメンバー数名がSkytree, Incの本社があるサンノゼへ研修出張に行きました。 Skytreeは、スケーラブルな機械学習ソフトウェアで、Hadoop上でも動くというのが触れ込みのため、たまたま前職でHadoopを触っていた経験のあった私もメンバーとして入れていただいたわけです。

この出張がアメリカの大規模データ分析のトレンドなどに触れるきっかけとなり、Sparkがすごく注目を集め始めていることを知ったわけです。 実際にSparkについて調べてみると、確かに良さそうかも、でもこれからどうなるかなー、という印象でした。

その後、Sparkとの積極的なお付き合いはなく、徐々に盛り上がってきているな、と横目で見ている感じでしたが、転機は同じ年の12月に訪れます。

とあるきっかけにより、Sparkを中心に据えたプロダクト開発を行っているインドの企業への視察出張の話があがったのです。 出張自体はかなりヘビーで、インド滞在正味24時間で、トランジットを含めた往復の移動時間の方が長かった（！）という弾丸出張でしたが、出張するにあたり、Spark周辺の状況を一気に調べる必要があったため、 ここで少しSparkについての知識を体系的に仕入れることができました。

出張先では、Sparkの実用例などを聞くことができ、Sparkのメリットなどをかなり具体的にイメージすることができました。 恐らく、この視察出張が、ブレインパッドとSparkがぐっと近くなったキッカケだと思います。

2015年

前述のインド企業と少しお付き合いができたこともあり、Sparkをはじめとする最新の大規模データ処理まわりの情報収集のために、アメリカ・カリフォルニア州のサンノゼで行われたStrata + Hadoop World 2015へ参加することとなりました。ここが第2の転機となった気がします。

Spark関連のセッションが大盛況で、「これは来るな」と確信し、同行した人たちと盛り上がったことを、今でも覚えています。

日本に帰国後に同イベントの社内報告会を実施し、プロダクト開発が少し落ち着いているメンバーに声を掛けて、隙間時間でSparkの評価も実施しました。

この時のメンバーが中心となって、弊社の自社開発製品「DeltaCube」の裏側では、一部Sparkが利用されています。

というような感じで、徐々にSparkとの距離が近づいたタイミングで、共著者の石川有さんよりお声がけいただき、執筆メンバーに加えていただきました。

また、Sparkでの露出を少し増やした結果、@ITさんにお声がけいただき、IBMさんとの対談も実施させていただきました。

https://atmarkit.itmedia.co.jp/ait/articles/1511/18/news015.html

2016年

ムック本執筆の経験はあったので「大丈夫だろう」くらいで引き受けましたが、「書籍」かつ「共著」となると思った以上に執筆は大変でした。1、2、3章という比較的ライトな部分を担当したので、「まあ、何とかなったかな」というのが正直なところです。共著なので、テイストや文体、年末年始にかかる作業進行の取りまとめなど、技術評論社の高屋さんには終始大変なご迷惑をおかけしっぱなしで、頭があがりません。

実は書籍出版がいよいよ、というタイミングでSpark 2.0のアナウンスがあり、1.6をターゲットとして書かれていた本書をどうするか、というゴタゴタもあったのですが、その辺りの裏話はきっと出版記念イベントで共著者の誰かが話す気がします。この手の変化の激しいプロダクトにはありがちな話ですが、いざ直面するとなかなか難しい話だな、と思いました。

https://connpass.com/event/30375/

おわりに

ブレインパッドは、Sparkをはじめとするビッグデータ処理系の技術に積極的に取り組んでいます。 ですが、ビジネスモデル的にはSparkがもっと普及してこないと、自社プロダクト以外でSparkを触る機会は持ちにくいな、と感じています。 ぜひぜひSparkがもっと普及し、さまざまな企業で積極的な導入が進むことを、個人的には願っています。