HadoopのデフォルトのスケジューラはFIFO(First In First Out)なので、MapReduceジョブは投入順に実行されます。 そのため長時間かかるMapReduce処理を流していると、他のMapReduce処理は長時間またされることになります。この場合、先に実行したい処理の優…

パワーポイントで図形を半透明にすることができますが、印刷時に縞模様になってしまいます。 Microsoftのサポートページ（http://support.microsoft.com/kb/815001/ja）によるとこれは仕様だから、あきらめて印刷用途では半透明を使わないようにするか、ある…

Hadoopではブラウザ上で以下のようにファイル内容を表示させることができ、ファイルをダウンロードすることが可能です。 しかしながら、私の環境のHadoop-0.21.0では Download this file を押すと以下のようなエラーがでてしまい、ダウンロードできません。 …

大容量データ処理といえば Hadoop!! と大いに流行っていることもあって、最近は Hadoop でいろいろテストしています。少し前に複数ディスクを使うとどれだけ HDFS 読込処理パフォーマンスが向上するか測定したので、その結果を簡単にまとめておきます。 （ht…

最近は大容量データ処理の必要性に迫られて、分散処理についていろいろ調べてますので、それに関連することをまとめていこうと思います。