sqliteによる擬似FS - PyDumpFS Wiki - PyDumpFS

意図

ハードリンクを使えないFileSystemやOSでPyDumpFSを動作させるために独自のFileSystemを持たせる

試案

試案1　素直に実装版

1ファイルないしは複数ファイルで構成。 複数ファイルに分ける場合は"root_node"テーブルは必要なく"directory_entry"と"file_entry"を格納するファイルをバックアップするごとに作成して、"data_entry"は使いまわすことで全体的な容量を削減する。

 create table root_node(
  id integer PRIMARY KEY AUTOINCREMENT,
  cdate integer not null default CURRENT_TIMESTAMP,
  root_directory integer not null REFERENCES directory_entry(id)
 );
 create table directory_entry(
  id integer PRIMARY KEY AUTOINCREMENT,
  name text not null,
  uid integer not null,
  gid integer not null,
  atime integer not null,
  mtime integer not null,
  ctime integer not null,
  mode blob not null,
  parent integer DEFAULT -1
 );
 create table file_entry(
  id integer PRIMARY KEY AUTOINCREMENT,
  name text not null,
  uid integer not null,
  gid integer not null,
  atime integer not null,
  mtime integer not null,
  ctime integer not null,
  mode blob not null,
  parent_directory integer not null REFERENCES directory_entry(id),
  data integer not null REFERENCES data_entry(id)
 );
 create table data_entry(
  id integer PRIMARY KEY AUTOINCREMENT,
  hash_md5 blob not null,
  hash_sha1 blob not null,
  size integer not null,
  rdata blob,
  unique (hash_md5,hash_sha1)
 );
 
 create index directory_tree_index on directory_entry(parent);
 create index directory_file_index on file_entry(parent_directory);
 create index directory_name on directory_entry(name);
 create index file_name on file_entry(name);

試案2　ファイルを適当なブロックに分けて格納版

1ファイルないしは複数ファイルで構成。 複数ファイルに分ける場合は"root_node"テーブルは必要なく"directory_entry"と"file_entry"を格納するファイルをバックアップするごとに作成して、"data_list_entry"と"data_blk_entry"は使いまわすことで全体的な容量を削減する。

ブロックに分ける理由は、更なる容量削減のため。 別ファイルであってもブロック単位では一致していればそのブロックは共有することで使用容量を削減する。 ブロックサイズは熟慮の必要あり。

 create table root_node(
  id integer PRIMARY KEY AUTOINCREMENT,
  cdate integer not null default CURRENT_TIMESTAMP,
  root_directory integer not null REFERENCES directory_entry(id)
 );
 create table directory_entry(
  id integer PRIMARY KEY AUTOINCREMENT,
  name text not null,
  uid integer not null,
  gid integer not null,
  atime integer not null,
  mtime integer not null,
  ctime integer not null,
  mode blob not null,
  parent integer DEFAULT -1
 );
 create table file_entry(
  id integer PRIMARY KEY AUTOINCREMENT,
  name text not null,
  uid integer not null,
  gid integer not null,
  atime integer not null,
  mtime integer not null,
  ctime integer not null,
  size integer not null,
  mode blob not null,
  parent_directory integer not null REFERENCES directory_entry(id) default -1,
  data integer not null REFERENCES data_list_entry(id)
 );
 create table data_list_entry(
  id integer PRIMARY KEY AUTOINCREMENT,
  rdata_blk1 integer not null REFERENCES data_blk_entry(id) default -1,
  rdata_blk2 integer not null REFERENCES data_blk_entry(id) default -1,
  rdata_blk3 integer not null REFERENCES data_blk_entry(id) default -1,
  rdata_blk4 integer not null REFERENCES data_blk_entry(id) default -1,
  rdata_blk5 integer not null REFERENCES data_blk_entry(id) default -1,
  next_list integer default -1
 );
 create table data_blk_entry(
  id integer PRIMARY KEY AUTOINCREMENT,
  hash_md5 blob not null,
  hash_sha1 blob not null,
  rdata blob,
  size integer not null,
  unique (hash_md5,hash_sha1)
 );
 
 create index directory_tree_index on directory_entry(parent);
 create index directory_file_index on file_entry(parent_directory);
 create index directory_name on directory_entry(name);
 create index file_name on file_entry(name);
 create index data_list_link on data_list_entry(next_list);

試案3 実データはデータベースの外に格納版

ファイル情報はデータベース内に保持するが、実データは何らかのハッシュをファイル名にして管理。 ファイル数が多くなることが予想されるので適当にディレクトリで分割。 そこにたどり着くパス名全体でハッシュ値を表すようにする。

ex.)ハッシュが"9f6e6800c"で3段のディレクトリに分けるなら"./9f/6e/68/00c"といったパスになる

実データは適当な大きさのブロックで分割。

 create table root_node(
  id integer PRIMARY KEY AUTOINCREMENT,
  cdate integer not null default CURRENT_TIMESTAMP,
  root_directory integer not null REFERENCES directory_entry(id)
 );
 create table directory_entry(
  id integer PRIMARY KEY AUTOINCREMENT,
  name text not null,
  uid integer not null,
  gid integer not null,
  atime integer not null,
  mtime integer not null,
  ctime integer not null,
  mode blob not null,
  parent integer DEFAULT -1
 );
 create table file_entry(
  id integer PRIMARY KEY AUTOINCREMENT,
  name text not null,
  uid integer not null,
  gid integer not null,
  atime integer not null,
  mtime integer not null,
  ctime integer not null,
  size integer not null,
  mode blob not null,
  parent_directory integer not null REFERENCES directory_entry(id) default -1,
  data integer not null REFERENCES data_list_entry(id)
 );
 create table data_list_entry(
  id integer PRIMARY KEY AUTOINCREMENT,
  rdata_hash1 text not null,
  rdata_hash2 text,
  rdata_hash3 text,
  rdata_hash4 text,
  next_list integer default -1
 );
 
 create index directory_tree_index on directory_entry(parent);
 create index directory_file_index on file_entry(parent_directory);
 create index directory_name on directory_entry(name);
 create index file_name on file_entry(name);
 create index data_list_link on data_list_entry(next_list);

試案4 他のFileSystemを参考に版

ディレクトリツリーの有向グラフの向きが上述の3つとは逆。 inode_num==0がルートディレクトリ。 ファイル名はリンクリストで管理。

 create table inode(
  inode_num integer not null,
  rev_id integer not null,
  uid integer not null,
  gid integer not null,
  atime integer not null,
  mtime integer not null,
  ctime integer not null,
  dev_num integer not null,
  nlink integer not null,
  size integer not null,
  mode blob not null,
  data_id integer not null
 );
 
 create table d_data(
  id integer PRIMARY KEY AUTOINCREMENT,
  fname1 text not null,
  inum1 integer not null,
  fname2 text,
  inum2 integer,
  fname3 text,
  inum3 integer,
  fname4 text,
  inum4 integer,
  next_id integer
 );
 
 create table f_data(
  id integer PRIMARY KEY AUTOINCREMENT,
  rdata_hash1 text not null,
  rdata_hash2 text,
  rdata_hash3 text,
  rdata_hash4 text,
  next_id integer default -1
 );
 
 create index inode_num_index on inode(inode_num);