TRY AND ERROR

自宅NOCオペレータの運用備忘録。

AS59105堂島POP構築の話 -ICTSC6への接続提供-

 少し前の話になりますが、8月末に大阪で開催されたICTトラブルシューティングコンテスト6にAS59105より第5回に引き続いて接続の提供を行いました。ICTSC6への接続提供に向けて大阪にNOCを立ち上げました。今回はその背景などについて簡単に書いてみようと思います。

1.堂島って何?

 「堂島」とは、大阪府北区にある「NTTテレパーク堂島」というビル群で、1ビル~3ビルとデータ堂島ビルの4つのビルから構成されており、オフィスやデータセンターとして利用されています。ネットワーク系の仕事(特にサービス事業者)をされている方なら「堂島」という地名を一度は聞いたことがあるかもしれません。

 関西にも複数のデータセンターがありますが、他のデータセンターと堂島が異なっている部分は主要ISPの接続ポイントや主要インターネットエクスチェンジが集まっており、他の組織への接続性が非常に良く、西日本の最大拠点になっています。東京では大手町近辺のデータセンターが該当します。

 AS59105ではとある事業者にご協力頂き、この堂島ビルの一角に小さなラックをお借りして設備を置いています。(具体的なビル名や事業者名は、ラックをお借りしている事業者様が積極的にデータセンターの所在地を公開しない方針のため公開を控えさせていただきます)

2.何故大阪に拠点を作ったのか

 AS59105のバックボーンネットワークにはフレッツのNGN折り返しを利用した、Ether over IPを利用しています。Ether over IPを利用していることにより、遅延が発生します(環境にもよるが東京大阪間では50ms程度の遅延が発生)。特に東京はNTT東日本の管内、大阪はNTT西日本の管内となるため、厳密にはNGN折り返し通信ではなく、インターネット経由の通信となります。これにより、遅延が増大するとともに、安定性に影響が出てくる可能性があります。そのため下図のように、可能な限り東京のユーザは東京を、大阪のユーザは大阪をインターネットへの出入り口とし、東阪の通信は安定している上流のトランジット事業者に可能な限り任せるような構成がベストと考えました。

【図1:大阪に拠点が無い場合】

大阪のユーザがインターネットに出る場合は東京大阪間を必ず往復する通信が発生する。
通信は遅延の大きく安定性の低いNTT東西またぎのEther over IP経由となる。

f:id:kt-yamaguchi:20161008194351p:plain

【図2:大阪に拠点とトランジットがある場合(あるべき姿)】

大阪のユーザは大阪を出入り口、東京のユーザは東京を出入り口として通信。
東京大阪間の通信は安定し遅延の少ないトランジット事業者などに任せる。

f:id:kt-yamaguchi:20161008194403p:plain

 また、ピアリングを受けてくれる組織との調整が難しい問題があります。接続先の組織の多くは商用のネットワークを運用している組織であり、AS59105との接続のためだけに、Ether over IP 用のトンネルルータを用意して頂いたり、イレギュラーな構成を取ることに難色を示されるケースもあり、多くのISPや事業者の集まる堂島にPOPを持つことにより構内接続により対外接続を拡大したいと考えています

 最後に、全国規模で展開するISPみたいに東阪のトラフィック制御とかやってみたい!という運営メンバーの熱い思いがあったことも理由の一つです。

3.関西のネットワーク構成

 現在AS59105ではバックボーンネットワークのMPLS化を進めており、大阪はその最初のステップとして立ち上げ、東京とはMPLSネットワークを通じて接続しています。具体的には下図のような構成となっております。RouteReflectorは東京と大阪でそれぞれ別のクラスタを組むことにより、東京と大阪で異なる経路制御を実現しています。

f:id:kt-yamaguchi:20161008190246p:plain

 大阪にはもう1ヶ所、運営メンバーの実家にPOPを置いており現在構築中となります。最終的には大阪2ヵ所より接続が可能になる予定です。

4.終わりに

 具体的に東京大阪間でどのようにトラフィック制御しているのかや、MPLSネットワークの技術的な解説はまた別の機会に書きたいと思います。

 最後になりましたが、今回の接続にあたりご協力を頂きました各事業者の皆さまに改めましてお礼を申し上げます。また、今後ともよろしくお願いいたします。