今のところグループの自社関連サービスだけで100台程度運用しています。厳密には、もう少しあるかもしれません。では、どんなサーバーで運用しているのか、今回はハードウェア面について軽く紹介したいと思います。基本的には、社内でサーバーのシャーシーから設計し、ほぼすべて自作サーバーで、メンテナンス性重視の設計になっています。
■ ストレージ
- 重要なサーバーは、HDDのハードウェアミラーリングのRAID1
- ストレージのスピード重視のサーバーはIntel SSD
- メモリ重視のサーバーは、2.5インチHDD
この3種類で、用途にわけて使い分けています。今回下記で紹介するのは、2と3で使用している構成のものです。
まず、
■ 運用場所
- 渋谷区富ヶ谷
- 目黒区上目黒
- 目黒区中目黒
- 世田谷区上馬
以前、富ヶ谷データセンターでの障害対応の際に、タクシーで行く際に道が混んでて大変だったことがあるので、そこ以外はすべて自転車で行ける範囲で目黒区と世田谷区の合計4カ所にラックを作って分散しつつ自社の24時間有人監視しています。ネットワークの契約も4社とも別々でしています。データに関しては、4拠点でレプリケーションとっています。一部のデータに関しては、2006年の首都圏大停電が、また起きるとも限らないので大阪でも同期をとっています。
■ 電源系統
だいたい1台400W程度の電源を積んでいます。2台のサーバーごとに1台のUPSで電源バックアップを行っています。
瞬断切り替え装置は、市販品買うと1台2万円以上するので、そこは秋葉で買ってきたパーツで電子工作して1,000円くらいで作って1台づつ配置しています。ちなみに電源が一番故障します。国内製造のコンデンサ使用の価格の高い電源でも、安い電源でもあまり関係なく故障しています。
■ ケース
サーバーのシャーシーは、自分たちでCADを書き、金型屋さんに発注して作ってもらっています。サイズは、1Uサイズではなく独自サイズです。
凄くシンプルなシャーシーなんですが、HDDの放熱性や故障時の部品交換の時間短縮が目的です。厚さは1.6mmで、3方向の縁を折り曲げ加工してあるので強度はかなりあります。重いケースを抱えて、ドライバをもって、いちいちケースをあけて、パーツを一つづつとっていくのは、大変ですし、ねじは一切使っていません。交換頻度の高いパーツは、マジックテープで固定してあります(Googleのコレと同じ発想です)。ストレージ、電源などはマジックテープで、マザーボードは結束帯で固定しています。マザーボードと、シャーシーの間には、通常は六角ナットが入っていますが、これ自体取り付けに時間がかかるため、ゴムホースを1cm程度ごとに切断しクッションとしています。HDDの熱は、サーバーシャーシーに伝わって、サーバー全体がヒートシンク代わりになって放熱するようになっています。一見、マジックテープだと固定が弱いように見えますが、振り回しても、逆さまにしても落ちません。ちなみに、すべてのパーツを1分以内に交換可能ですので、無駄な仕事をしなくてすみます。
自前で設計したサーバーシャーシー
サーバーシャーシーに各パーツを配置した様子
2.5インチSSD/HDD×2台装着可能
■ マザーボード
フォームファクタは、MicroATXで、メモリがMAX16GB詰めるものを選んでいます。実際には1台あたり4GBor8GBです。ATOMオンボードのマザーも試験的に何台か作っていますが、こっちがメインです。
■ CPU
CPUの処理速度が必要なアプリケーションサーバーなどは、消費電力高めのCPUを使用し、そうでない場合は、一律Celeron E3200、E3300などを使用しています。1CPUで、実売6000円以下ですし、同程度の性能のCPUと比較しても、半額以下でしたのでこれにしています。
このような構成になっています。