2014年3月21日金曜日

Clipper Cardの罠・終幕

すっかり確認するのを忘れてましたが10ドル払い戻しされてました。払い戻しされる1週間くらい前にそれまでやり取りしてたところとは違う部署の担当者から「お前のカードに1ドルキャッシュバックすっから後で確認しろや」的なメールが来てて何で10分の1になってんねん!って突っ込みのメールを送るとかしてたんですが、先方の単純なミスだったようで最終的にはちゃんと戻ってまいりました。

今度は西海岸に行く2週間前くらいにValue Addするようにしよう。これと比べると日本のSuicaとかは遥か先を行ってるよね。

Cloudera Manager 5でNFSを有効にしてみる

分散ファイルシステムにアクセスする口としてのNFSはクライアントが分散環境の恩恵を受けることができない(NFSクライアントからのサーバコールが1箇所に集約されるので簡単にボトルネックになる)のでそんなにメリットはないんだけど、HDFSの中身を適当にのぞいて回るくらいの用途ならそれなりに便利ではあるので動作確認がてらCloudera Manager 5でHDFS NFS Gatewayを有効にする手順を確認してみます。

まずサービスの一覧からHDFSを選択します:

HDFSサービス画面からインスタンスのタブを選択します:

ここで "Add" ボタンをクリックしてロールの追加を行ないます:

NFS Gatewayを選択します:

Quickstart VMなのでロールを配置するホストに選択肢はありません:

NFS Gatewayが追加されました:


状態が "Stopped" になっているので nfsgateway にチェックを入れて Actions for Selected から開始してやればOKです。これだけでHDFSの / がまるっとexportされます:


Hueで見えてるのとNFSマウントしてファインダから見てるのが同じだということが確認できますね:


ドラッグ&ドロップでHDFSにファイルを放り込んでみようと思ったんですがユーザIDの対応関係が適当だったんで書き込めませんでした。これはセキュリティ的に正しい姿ですね。


別のLinuxホストにHDFSに書き込む権限を持つユーザと同じユーザID, グループIDを持つユーザを作成してNFS Gateway経由でアクセスしたら問題なく書き込むことができました。

今回はCloudera Manager 5を利用して取り敢えず試してみただけのお知らせでした。@kernel023のブログ記事 CDH5ベータ1のNFSv3ゲートウェイを試してみました と比較してみるとコマンドラインを一切書いてないのに気付くと思います。コマンドプロンプトとかシェルが嫌いな人には絶賛Cloudera Managerをお勧めします。そうでない人も使うべきというか、これなしで大規模クラスタの運用管理ってムリですよね実際...