ビッグデータ時代に対応した新しいロスレスデータ圧縮技術を開発 ~コンパクトにハードウェア実装可能な高速ストリームデータ圧縮・復号化技術~

代表者 : 山際 伸一  

2015/08/21

筑波大学 システム情報系 山際伸一准教授は、九州工業大学 坂本比呂志教授と共同で、ビッグデータ時代を見据えた新しいロスレスデータ圧縮技術LCA-DLT(Lowest Common Ancestor-Dynamic Lookup Table)を開発しました。

本研究では専用ハードウェア(LSIチップ)によるデータ圧縮技術として、データの出現傾向を自動認識する、新しいヒストグラム管理技術を開発しました。さらに、圧縮されたデータに、圧縮の規則を割り当てた変換表を復元する情報を埋め込むことによって、次々と圧縮されたデータが復号側に送られていき、それを受け取ったところから、順次復号化が可能な技術を確立しました。これにより、従来は圧縮データと別々に復号側に送られていたデータ変換規則を送る必要がなく、流れるデータを連続して圧縮・復号できます。

この技術はハードウェアとの親和性が高く、最大50%の圧縮が可能なモジュールを多段接続することができ、4段接続で、最大10%のサイズにまでデータ圧縮が可能です。このように、ハードウェア量によって圧縮率を自由に調整できるため資源コストが選べるという特徴を有し、さらに、ZIP形式などソフトウェアによるデータ圧縮よりも少ない電力で高速処理ができる、といったメリットがあります。

 

 

図 新圧縮技術の特徴。データが圧縮器に入力されると次々に圧縮されたデータが出力され、復号化側に伝搬し、復号化側では圧縮データを1つでも受け取ると、圧縮側で作られた変換テーブルが復元され、復号されていきます。さらに、1段で50%圧縮(2→1シンボル圧縮)可能なモジュールを多段接続することで、ハードウェア量と圧縮率を選択できます。