Google snappyの試行：時間計測

Mac OSXの処理時間と乱数データではそもそも圧縮がかえってサイズが増えてしまう結果がでたため、Linux PCを使って詳細なデータを取ってみました。（snappyのパッケージ内の試験用のデータ、21個を使いました）

結果を以下の表にまとました。

１．Linuxでの結果

ファイル名	ファイルサイズ[B]	圧縮サイズ[B]	圧縮率[%]	圧縮時間[msec]	圧縮レート[MB/s]	伸長時間[msec]	伸長レート[MB/s]	圧縮時間[sec]	伸長時間[sec]
alice29.txt	152089	88017	172.8%	1.446	100.306	0.368	394.013	0.001446	0.000368
asyoulik.txt	125179	77525	161.47%	1.246	95.812	0.285	419.01	0.001246	0.000285
baddata1.snappy	27512	26675	103.14%	0.157	167.247	0.016	1618.349	0.000157	0.000016
baddata2.snappy	27483	26724	102.84%	0.143	183.22	0.015	1744.949	0.000143	0.000015
baddata3.snappy	28384	27476	103.3%	0.169	160.135	0.019	1419.199	0.000169	0.000019
cp.html	24603	11838	207.83%	0.213	110.204	0.039	603.755	0.000213	0.000039
fields.c	11150	4728	235.83%	0.113	94.093	0.02	537.351	0.000113	0.00002
geo.protodata	118588	23295	509.07%	0.537	210.636	0.105	1078.075	0.000537	0.000105
grammar.lsp	3721	1800	206.72%	0.049	72.605	0.008	437.765	0.000049	0.000008
house.jpg	126958	126797	100.13%	0.133	910.09	0.013	9404.299	0.000133	0.000013
html	102400	22842	448.3%	0.529	184.588	0.103	948.147	0.000529	0.000103
html_x_4	409600	92221	444.15%	2.021	193.276	0.56	697.489	0.002021	0.00056
kennedy.xls	1029744	424519	242.57%	6.284	156.276	2.373	413.843	0.006284	0.002373
kppkn.gtb	184320	69526	265.11%	1.364	128.873	0.403	436.261	0.001364	0.000403
lcet10.txt	426754	234392	182.07%	3.854	105.599	1.001	406.529	0.003854	0.001001
mapreduce-osdi-1.pdf	94330	77421	121.84%	0.259	347.44	0.042	2143.862	0.000259	0.000042
plrabn12.txt	481861	319097	151.01%	4.914	93.515	1.321	347.851	0.004914	0.001321
ptt5	513216	92963	552.06%	2.244	218.111	0.714	685.43	0.002244	0.000714
sum	38240	18722	204.25%	0.313	116.496	0.065	562.353	0.000313	0.000065
urls.10K	702087	335387	209.34%	4.933	135.728	1.221	548.399	0.004933	0.001221
xargs.1	4227	2509	168.47%	0.057	70.745	0.009	444.947	0.000057	0.000009

参考までにMac OSXの結果ものせときます。

２．Macでの結果

ファイル名	ファイルサイズ[B]	圧縮サイズ[B]	圧縮率[%]	圧縮時間[msec]	圧縮レート[MB/s]	伸長時間[msec]	伸長レート[MB/s]	圧縮時間[sec]	伸長時間[sec]
alice29.txt	152089	88017	172.8%	2.107	68.842	0.542	267.645	0.002107	0.000542
asyoulik.txt	125179	77525	161.47%	1.848	64.6	0.477	250.358	0.001848	0.000477
baddata1.snappy	27512	26675	103.14%	0.256	102.465	0.029	909.489	0.000256	0.000029
baddata2.snappy	27483	26724	102.84%	0.241	108.736	0.027	972.85	0.000241	0.000027
baddata3.snappy	28384	27476	103.3%	0.287	94.299	0.033	822.724	0.000287	0.000033
cp.html	24603	11838	207.83%	0.333	70.496	0.07	335.877	0.000333	0.00007
fields.c	11150	4728	235.83%	0.18	59.073	0.032	332.836	0.00018	0.000032
geo.protodata	118588	23295	509.07%	0.642	176.143	0.176	642.753	0.000642	0.000176
grammar.lsp	3721	1800	206.72%	0.09	39.376	0.012	297.681	0.00009	0.000012
house.jpg	126958	126797	100.13%	0.262	462.086	0.026	4659.014	0.000262	0.000026
html	102400	22842	448.3%	0.658	148.406	0.175	558.039	0.000658	0.000175
html_x_4	409600	92221	444.15%	2.465	158.468	0.695	562.058	0.002465	0.000695
kennedy.xls	1029744	424519	242.57%	7.409	132.545	2.087	470.524	0.007409	0.002087
kppkn.gtb	184320	69526	265.11%	1.734	101.372	0.556	316.158	0.001734	0.000556
lcet10.txt	426754	234392	182.07%	5.334	76.301	1.234	329.796	0.005334	0.001234
mapreduce-osdi-1.pdf	94330	77421	121.84%	0.393	228.956	0.071	1266.175	0.000393	0.000071
plrabn12.txt	481861	319097	151.01%	6.621	69.407	1.693	271.433	0.006621	0.001693
ptt5	513216	92963	552.06%	2.312	211.701	0.855	572.307	0.002312	0.000855
sum	38240	18722	204.25%	0.441	82.681	0.106	343.731	0.000441	0.000106
urls.10K	702087	335387	209.34%	6.454	103.744	1.417	472.468	0.006454	0.001417
xargs.1	4227	2509	168.47%	0.105	38.427	0.014	286.576	0.000105	0.000014

結果を見て感じたことを箇条書きにしてみます。

1. 圧縮率は確かにあまりよくない。特にbaddata*というファイルは、ほとんど圧縮できていませんが、圧縮レート／伸長レート自体は悪くない。
2. 圧縮レートより伸長レートの方が圧倒的に速い！
3. 圧縮レートも結構速いが、圧縮率が大きいほど圧縮レートが遅いというわけでもなく、関係がよくわからない。（圧縮率が大きいほど圧縮レートが遅くなると予想したが、これははずれた）
4. Macの方はCPUのクロックが遅いのでやはり全体的に処理速度が遅い。全般的な傾向はLinuxと同じだが、圧縮レートを比較すると個々の結果で差があるが、理由がわからない。（Macの方は時間計測において結構バラツキがありました。tickの時間がLinuxと違うのか、単にタイマーの精度が悪いのか・・・

圧縮／伸長時間やレートはCPUの性能が大きく関係するので、判断を一概にできませんが今回使ったCPU（Core2Duo E6850）だとGbit Etherくらいまでは圧縮した方が今回の目的（データを収集して、別のPCにEhterで送りそこでHDDにログする）には使えそうな気がします。（もちろん100Mの昔のEtherなら間違いなくsnappy使った方がいいでしょう）また、複数のPCでデータを収集して、１つのPCで集中してログする場合も有効でしょう。（転送データのサイズが減れば、それだけEtherのパケットがライン上で衝突する確率が減ります）

ただ今回のログを一つのPCで集中的に行いたいという目的だと、伸長レートは別に遅くてもいいんで、本当は圧縮レートの方が早いのがうれしいんだけど。（ログは圧縮したまま行った方がHDDに書き込む量／時間を減らせるし、ログ解析時は多少伸長に時間がかかっても問題ない場合が多いです。）