.parquet とは?
| 読み方 | パーケット |
|---|---|
| 種類 | データ・設定 |
| 開発元 | Apacheソフトウェア財団 |
| クイズ難易度 | プロ級 |
解説
ビッグデータ基盤の標準となっている列指向データフォーマット。CSVと違い「列ごと」に圧縮して格納するため、大量データの集計が桁違いに速い。データエンジニアの主食。
開き方・変換方法
Pythonのpandasやpolars、各種データ基盤(BigQuery等)で読み込む。テキストエディタでは読めない。
lightbulb_2 豆知識
名前は「寄木細工の床(parquet)」。データを列ごとに敷き詰める様子を床材に例えた洒落たネーミング。
.parquet、覚えましたか?
クイズで復習しよう。