bertos/fs/battfs.c

   1 /**
   2  * \file
   3  * <!--
   4  * This file is part of BeRTOS.
   5  *
   6  * Bertos is free software; you can redistribute it and/or modify
   7  * it under the terms of the GNU General Public License as published by
   8  * the Free Software Foundation; either version 2 of the License, or
   9  * (at your option) any later version.
  10  *
  11  * This program is distributed in the hope that it will be useful,
  12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  14  * GNU General Public License for more details.
  15  *
  16  * You should have received a copy of the GNU General Public License
  17  * along with this program; if not, write to the Free Software
  18  * Foundation, Inc., 51 Franklin St, Fifth Floor, Boston, MA  02110-1301  USA
  19  *
  20  * As a special exception, you may use this file as part of a free software
  21  * library without restriction.  Specifically, if other files instantiate
  22  * templates or use macros or inline functions from this file, or you compile
  23  * this file and link it with other files to produce an executable, this
  24  * file does not by itself cause the resulting executable to be covered by
  25  * the GNU General Public License.  This exception does not however
  26  * invalidate any other reasons why the executable file might be covered by
  27  * the GNU General Public License.
  28  *
  29  * Copyright 2007 Develer S.r.l. (http://www.develer.com/)
  30  *
  31  * -->
  32  *
  33  * \brief BattFS: a filesystem for embedded platforms (implementation).
  34  *
  35  * \version $Id:$
  36  *
  37  * \author Francesco Sacchi <batt@develer.com>
  38  *
  39  */
  40
  41 #include "battfs.h"
  42
  43 #include <cfg/debug.h>
  44 #include <cfg/macros.h> /* MIN, MAX */
  45 #include <cpu/byteorder.h> /* cpu_to_xx */
  46
  47 #define LOG_LEVEL       LOG_LVL_INFO
  48 #define LOG_FORMAT      LOG_FMT_VERBOSE
  49 #include <cfg/log.h>
  50
  51 #include <string.h> /* memset, memmove */
  52
  53
  54 /**
  55  * Convert from memory representation to disk structure.
  56  * \note filesystem is in little-endian format.
  57  */
  58 INLINE void battfs_to_disk(struct BattFsPageHeader *hdr, uint8_t *buf)
  59 {
  60         STATIC_ASSERT(BATTFS_HEADER_LEN == 12);
  61         buf[0] = hdr->inode;
  62
  63         buf[1] = hdr->fill;
  64         buf[2] = hdr->fill >> 8;
  65
  66         buf[3] = hdr->pgoff;
  67         buf[4] = hdr->pgoff >> 8;
  68
  69         /*
  70          * Sequence number is 40 bits long.
  71          * No need to take care of wraparonds: the memory will die first!
  72          */
  73         buf[5] = hdr->seq;
  74         buf[6] = hdr->seq >> 8;
  75         buf[7] = hdr->seq >> 16;
  76         buf[8] = hdr->seq >> 24;
  77         buf[9] = hdr->seq >> 32;
  78
  79         /*
  80          * This field must be the last one!
  81          * This is needed because if the page is only partially
  82          * written, we can use this to detect it.
  83          */
  84         buf[10] = hdr->fcs;
  85         buf[11] = hdr->fcs >> 8;
  86 }
  87
  88 /**
  89  * Convert from disk structure to memory representation.
  90  * \note filesystem is in little-endian format.
  91  */
  92 INLINE void disk_to_battfs(uint8_t *buf, struct BattFsPageHeader *hdr)
  93 {
  94         STATIC_ASSERT(BATTFS_HEADER_LEN == 12);
  95         hdr->inode = buf[0];
  96         hdr->fill = buf[2] << 8 | buf[1];
  97         hdr->pgoff = buf[4] << 8 | buf[3];
  98         hdr->seq = (seq_t)buf[9] << 32 | (seq_t)buf[8] << 24 | (seq_t)buf[7] << 16 | buf[6] << 8 | buf[5];
  99         hdr->fcs = buf[11] << 8 | buf[10];
 100 }
 101
 102 /**
 103  * Compute the fcs of the header.
 104  */
 105 static fcs_t computeFcs(struct BattFsPageHeader *hdr)
 106 {
 107         uint8_t buf[BATTFS_HEADER_LEN];
 108         fcs_t cks;
 109
 110         battfs_to_disk(hdr, buf);
 111         rotating_init(&cks);
 112         /* fcs is at the end of whole header */
 113         rotating_update(buf, BATTFS_HEADER_LEN - sizeof(fcs_t), &cks);
 114         return cks;
 115 }
 116
 117
 118 /**
 119  * Read header of page \a page.
 120  * \return true on success, false otherwise.
 121  */
 122 static bool battfs_readHeader(struct BattFsSuper *disk, pgcnt_t page, struct BattFsPageHeader *hdr)
 123 {
 124         uint8_t buf[BATTFS_HEADER_LEN];
 125         /*
 126          * Read header from disk.
 127          * Header is actually a footer, and so
 128          * resides at page end.
 129          */
 130         if (disk->read(disk, page, disk->page_size - BATTFS_HEADER_LEN, buf, BATTFS_HEADER_LEN)
 131             != BATTFS_HEADER_LEN)
 132         {
 133                 LOG_ERR("Error: page[%d]\n", page);
 134                 return false;
 135         }
 136
 137         /* Fill header */
 138         disk_to_battfs(buf, hdr);
 139
 140         return true;
 141 }
 142
 143 /**
 144  * Write header of page \a page.
 145  * \return true on success, false otherwise.
 146  */
 147 static bool battfs_writeHeader(struct BattFsSuper *disk, pgcnt_t page, struct BattFsPageHeader *hdr)
 148 {
 149         uint8_t buf[BATTFS_HEADER_LEN];
 150
 151         /* Fill buffer */
 152         battfs_to_disk(hdr, buf);
 153
 154         /*
 155          * write header to disk.
 156          * Header is actually a footer, and so
 157          * resides at page end.
 158          */
 159         if (disk->write(disk, page, disk->page_size - BATTFS_HEADER_LEN, buf, BATTFS_HEADER_LEN)
 160             != BATTFS_HEADER_LEN)
 161         {
 162                 LOG_ERR("Error: page[%d]\n", page);
 163                 return false;
 164         }
 165         return true;
 166 }
 167
 168 /**
 169  * Count the number of pages from
 170  * inode 0 to \a inode in \a filelen_table.
 171  */
 172 static pgcnt_t countPages(pgoff_t *filelen_table, inode_t inode)
 173 {
 174         pgcnt_t cnt = 0;
 175
 176         for (inode_t i = 0; i < inode; i++)
 177                 cnt += filelen_table[i];
 178
 179         return cnt;
 180 }
 181
 182 /**
 183  * Move all pages in page allocation array from \a src to \a src + \a offset.
 184  * The number of pages moved is page_count - MAX(dst, src).
 185  */
 186 static void movePages(struct BattFsSuper *disk, pgcnt_t src, int offset)
 187 {
 188         pgcnt_t dst = src + offset;
 189         memmove(&disk->page_array[dst], &disk->page_array[src], (disk->page_count - MAX(dst, src)) * sizeof(pgcnt_t));
 190
 191         if (offset < 0)
 192         {
 193                 /* Fill empty space in array with sentinel */
 194                 for (pgcnt_t page = disk->page_count + offset; page < disk->page_count; page++)
 195                         disk->page_array[page] = PAGE_UNSET_SENTINEL;
 196         }
 197 }
 198
 199 /**
 200  * Count number of pages per file on \a disk.
 201  * This information is registered in \a filelen_table.
 202  * Array index represent file inode, while value contained
 203  * is the number of pages used by that file.
 204  *
 205  * \return true if ok, false on disk read errors.
 206  * \note The whole disk is scanned once.
 207  */
 208 static bool countDiskFilePages(struct BattFsSuper *disk, pgoff_t *filelen_table)
 209 {
 210         BattFsPageHeader hdr;
 211         disk->free_page_start = 0;
 212
 213         /* Count the number of disk page per file */
 214         for (pgcnt_t page = 0; page < disk->page_count; page++)
 215         {
 216                 if (!battfs_readHeader(disk, page, &hdr))
 217                         return false;
 218
 219                 /* Increase free space */
 220                 disk->free_bytes += disk->page_size - BATTFS_HEADER_LEN;
 221
 222                 /* Check header FCS */
 223                 if (hdr.fcs == computeFcs(&hdr))
 224                 {
 225                         ASSERT(hdr.fill <= disk->page_size - BATTFS_HEADER_LEN);
 226
 227                         /* Page is valid and is owned by a file */
 228                         filelen_table[hdr.inode]++;
 229
 230                         /* Keep trace of free space */
 231                         disk->free_bytes -= hdr.fill;
 232                         disk->free_page_start++;
 233                 }
 234         }
 235         LOG_INFO("free_bytes:%d, free_page_start:%d\n", disk->free_bytes, disk->free_page_start);
 236
 237         return true;
 238 }
 239
 240 /**
 241  * Fill page allocation array of \a disk
 242  * using file lenghts in \a filelen_table.
 243  *
 244  * The page allocation array is an array containings all file infos.
 245  * Is ordered by file, and within each file is ordered by page offset
 246  * inside file.
 247  * e.g. : at page array[0] you will find page address of the first page
 248  * of the first file (if present).
 249  * Free blocks are allocated after the last file, starting from invalid ones
 250  * and continuing with the marked free ones.
 251  *
 252  * \return true if ok, false on disk read errors.
 253  * \note The whole disk is scanned once.
 254  */
 255 static bool fillPageArray(struct BattFsSuper *disk, pgoff_t *filelen_table)
 256 {
 257         BattFsPageHeader hdr;
 258         pgcnt_t curr_free_page = disk->free_page_start;
 259         /* Fill page allocation array */
 260         for (pgcnt_t page = 0; page < disk->page_count; page++)
 261         {
 262                 if (!battfs_readHeader(disk, page, &hdr))
 263                         return false;
 264
 265                 /* Check header FCS */
 266                 if (hdr.fcs == computeFcs(&hdr))
 267                 {
 268                         /* Compute array position */
 269                         pgcnt_t array_pos = countPages(filelen_table, hdr.inode);
 270                         array_pos += hdr.pgoff;
 271
 272
 273                         /* Check if position is already used by another page of the same file */
 274                         if (disk->page_array[array_pos] == PAGE_UNSET_SENTINEL)
 275                                 disk->page_array[array_pos] = page;
 276                         else
 277                         {
 278                                 BattFsPageHeader hdr_prv;
 279
 280                                 if (!battfs_readHeader(disk, disk->page_array[array_pos], &hdr_prv))
 281                                         return false;
 282
 283                                 /* Check header FCS */
 284                                 ASSERT(hdr_prv.fcs == computeFcs(&hdr_prv));
 285
 286                                 /* Only the very same page with a different seq number can be here */
 287                                 ASSERT(hdr.inode == hdr_prv.inode);
 288                                 ASSERT(hdr.pgoff == hdr_prv.pgoff);
 289                                 ASSERT(hdr.seq != hdr_prv.seq);
 290
 291                                 pgcnt_t new_page, old_page;
 292                                 fill_t old_fill;
 293
 294                                 /*
 295                                  * Sequence number comparison: since
 296                                  * seq is 40 bits wide, it wraps once
 297                                  * every 1.1E12 times.
 298                                  * The memory will not live enough to
 299                                  * see a wraparound, so we can use a simple
 300                                  * compare here.
 301                                  */
 302                                 if (hdr.seq > hdr_prv.seq)
 303                                 {
 304                                         /* Current header is newer than the previuos one */
 305                                         old_page = disk->page_array[array_pos];
 306                                         new_page = page;
 307                                         old_fill = hdr_prv.fill;
 308                                 }
 309                                 else
 310                                 {
 311                                         /* Previous header is newer than the current one */
 312                                         old_page = page;
 313                                         new_page = disk->page_array[array_pos];
 314                                         old_fill = hdr.fill;
 315                                 }
 316
 317                                 /* Set new page */
 318                                 disk->page_array[array_pos] = new_page;
 319                                 /* Add free space */
 320                                 disk->free_bytes += old_fill;
 321                                 /* Shift all array one position to the left, overwriting duplicate page */
 322                                 array_pos -= hdr.pgoff;
 323                                 array_pos += filelen_table[hdr.inode];
 324                                 movePages(disk, array_pos, -1);
 325                                 /* Move back all indexes */
 326                                 filelen_table[hdr.inode]--;
 327                                 disk->free_page_start--;
 328                                 curr_free_page--;
 329                                 /* Set old page as free */
 330                                 ASSERT(disk->page_array[curr_free_page] == PAGE_UNSET_SENTINEL);
 331                                 disk->page_array[curr_free_page++] = old_page;
 332
 333                         }
 334                 }
 335                 else
 336                 {
 337                         /* Invalid page, keep as free */
 338                         ASSERT(disk->page_array[curr_free_page] == PAGE_UNSET_SENTINEL);
 339                         LOG_INFO("Page %d invalid, keeping as free\n", page);
 340                         disk->page_array[curr_free_page++] = page;
 341                 }
 342         }
 343         return true;
 344 }
 345
 346 /**
 347  * Initialize and mount disk described by
 348  * \a disk.
 349  * \return false on errors, true otherwise.
 350  */
 351 bool battfs_init(struct BattFsSuper *disk)
 352 {
 353         pgoff_t filelen_table[BATTFS_MAX_FILES];
 354
 355         /* Sanity check */
 356         ASSERT(disk->open);
 357
 358         /* Init disk device */
 359         if (!disk->open(disk))
 360         {
 361                 LOG_ERR("open error\n");
 362                 return false;
 363         }
 364
 365         /* Disk open must set all of these */
 366         ASSERT(disk->read);
 367         ASSERT(disk->write);
 368         ASSERT(disk->erase);
 369         ASSERT(disk->close);
 370         ASSERT(disk->page_size);
 371         ASSERT(disk->page_count);
 372         ASSERT(disk->page_count < PAGE_UNSET_SENTINEL - 1);
 373         ASSERT(disk->page_array);
 374
 375         memset(filelen_table, 0, BATTFS_MAX_FILES * sizeof(pgoff_t));
 376
 377         disk->free_bytes = 0;
 378         disk->disk_size = (disk_size_t)(disk->page_size - BATTFS_HEADER_LEN) * disk->page_count;
 379
 380         /* Count pages per file */
 381         if (!countDiskFilePages(disk, filelen_table))
 382         {
 383                 LOG_ERR("error counting file pages\n");
 384                 return false;
 385         }
 386
 387         /* Once here, we have filelen_table filled with file lengths */
 388
 389         /* Fill page array with sentinel */
 390         for (pgcnt_t page = 0; page < disk->page_count; page++)
 391                 disk->page_array[page] = PAGE_UNSET_SENTINEL;
 392
 393         /* Fill page allocation array using filelen_table */
 394         if (!fillPageArray(disk, filelen_table))
 395         {
 396                 LOG_ERR("error filling page array\n");
 397                 return false;
 398         }
 399
 400         /* Init list for opened files. */
 401         LIST_INIT(&disk->file_opened_list);
 402         return true;
 403 }
 404
 405 /**
 406  * Flush file \a fd.
 407  * \return 0 if ok, EOF on errors.
 408  */
 409 static int battfs_flush(struct KFile *fd)
 410 {
 411         (void)fd;
 412         #warning TODO
 413         return 0;
 414 }
 415
 416 /**
 417  * Close file \a fd.
 418  * \return 0 if ok, EOF on errors.
 419  */
 420 static int battfs_fileclose(struct KFile *fd)
 421 {
 422         BattFs *fdb = BATTFS_CAST(fd);
 423
 424         battfs_flush(fd);
 425         REMOVE(&fdb->link);
 426         return 0;
 427 }
 428
 429 /**
 430  * Read from file \a fd \a size bytes in \a buf.
 431  * \return The number of bytes read.
 432  */
 433 static size_t battfs_read(struct KFile *fd, void *_buf, size_t size)
 434 {
 435         BattFs *fdb = BATTFS_CAST(fd);
 436         uint8_t *buf = (uint8_t *)_buf;
 437
 438         size_t total_read = 0;
 439         pgoff_t pg_offset;
 440         pgaddr_t addr_offset;
 441         pgaddr_t read_len;
 442
 443         size = MIN((kfile_off_t)size, fd->size - fd->seek_pos);
 444
 445         while (size)
 446         {
 447                 pg_offset = fd->seek_pos / (fdb->disk->page_size - BATTFS_HEADER_LEN);
 448                 addr_offset = fd->seek_pos % (fdb->disk->page_size - BATTFS_HEADER_LEN);
 449                 read_len = MIN(size, (size_t)(fdb->disk->page_size - BATTFS_HEADER_LEN - addr_offset));
 450
 451                 /* Read from disk */
 452                 if (fdb->disk->read(fdb->disk, fdb->start[pg_offset], addr_offset, buf, read_len) != read_len)
 453                 {
 454                         #warning TODO set error?
 455                 }
 456
 457                 size -= read_len;
 458                 fd->seek_pos += read_len;
 459                 total_read += read_len;
 460                 buf += read_len;
 461         }
 462         return total_read;
 463 }
 464
 465
 466 /**
 467  * Search file \a inode in \a disk using a binary search.
 468  * \return pointer to file start in disk->page_array
 469  * if file exists, NULL otherwise.
 470  */
 471 static pgcnt_t *findFile(BattFsSuper *disk, inode_t inode)
 472 {
 473         BattFsPageHeader hdr;
 474         pgcnt_t first = 0, page, last = disk->page_count -1;
 475         fcs_t fcs;
 476
 477         while (first <= last)
 478         {
 479                 page = (first + last) / 2;
 480
 481                 if (!battfs_readHeader(disk, disk->page_array[page], &hdr))
 482                         return NULL;
 483
 484                 fcs = computeFcs(&hdr);
 485                 if (hdr.fcs == fcs && hdr.inode == inode)
 486                         return (&disk->page_array[page]) - hdr.pgoff;
 487                 else if (hdr.fcs == fcs && hdr.inode < inode)
 488                         first = page + 1;
 489                 else
 490                         last = page - 1;
 491         }
 492
 493         return NULL;
 494 }
 495
 496 /**
 497  * \return true if file \a inode exists on \a disk, false otherwise.
 498  */
 499 bool battfs_fileExists(BattFsSuper *disk, inode_t inode)
 500 {
 501         return findFile(disk, inode) != NULL;
 502 }
 503
 504 /**
 505  * Count size of file \a inode on \a disk, starting at pointer \a start
 506  * in disk->page_array. Size is written in \a size.
 507  * \return true if all s ok, false on disk read errors.
 508  */
 509 static bool countFileSize(BattFsSuper *disk, pgcnt_t *start, inode_t inode, file_size_t *size)
 510 {
 511         *size = 0;
 512         BattFsPageHeader hdr;
 513
 514         for (;;)
 515         {
 516                 if (!battfs_readHeader(disk, *start++, &hdr))
 517                         return false;
 518                 if (hdr.fcs == computeFcs(&hdr) && hdr.inode == inode)
 519                         *size += hdr.fill;
 520                 else
 521                         return true;
 522         }
 523 }
 524
 525 /**
 526  * Open file \a inode from \a disk in \a mode.
 527  * File context is stored in \a fd.
 528  * \return true if ok, false otherwise.
 529  */
 530 bool battfs_fileopen(BattFsSuper *disk, BattFs *fd, inode_t inode, filemode_t mode)
 531 {
 532         Node *n;
 533
 534         memset(fd, 0, sizeof(*fd));
 535
 536         /* Search file start point in disk page array */
 537         fd->start = findFile(disk, inode);
 538         if (fd->start == NULL)
 539         {
 540                 if (!(mode & BATTFS_CREATE))
 541                         return false;
 542
 543                 /* File does not exist, create it */
 544                 BattFsPageHeader hdr;
 545                 hdr.inode = inode;
 546                 hdr.seq = 0;
 547                 hdr.fill = 0;
 548                 hdr.pgoff = 0;
 549                 hdr.fcs = computeFcs(&hdr);
 550                 #warning TODO: get a free block and write on disk!
 551         }
 552
 553         /* Fill file size */
 554         if (!countFileSize(disk, fd->start, inode, &fd->fd.size))
 555                 return false;
 556
 557         /* Reset seek position */
 558         fd->fd.seek_pos = 0;
 559
 560         /* Insert file handle in list, ordered by inode, ascending. */
 561         FOREACH_NODE(n, &disk->file_opened_list)
 562         {
 563                 BattFs *file = containerof(n, BattFs, link);
 564                 if (file->inode >= inode)
 565                         break;
 566         }
 567         INSERT_BEFORE(&fd->link, n);
 568
 569         /* Fill in data */
 570         fd->inode = inode;
 571         fd->mode = mode;
 572         fd->disk = disk;
 573
 574         fd->fd.close = battfs_fileclose;
 575         fd->fd.flush = battfs_flush;
 576         fd->fd.read = battfs_read;
 577         fd->fd.reopen = kfile_genericReopen;
 578         fd->fd.seek = kfile_genericSeek;
 579
 580 #warning TODO battfs_write, battfs_error, battfs_clearerr
 581 #if 0
 582         fd->fd.write = battfs_write;
 583         fd->fd.error = battfs_error;
 584         fd->fd.clearerr = battfs_clearerr;
 585 #endif
 586
 587         DB(fd->fd._type = KFT_BATTFS);
 588
 589         return true;
 590 }
 591
 592 /**
 593  * Close \a disk.
 594  */
 595 bool battfs_close(struct BattFsSuper *disk)
 596 {
 597         Node *n;
 598         int res = 0;
 599
 600         /* Close all open files */
 601         FOREACH_NODE(n, &disk->file_opened_list)
 602         {
 603                 BattFs *file = containerof(n, BattFs, link);
 604                 res += battfs_fileclose(&file->fd);
 605         }
 606
 607         /* Close disk */
 608         return disk->close(disk) && (res == 0);
 609 }
 610
 611 bool battfs_writeTestBlock(struct BattFsSuper *disk, pgcnt_t page, inode_t inode, seq_t seq, fill_t fill, pgoff_t pgoff)
 612 {
 613         BattFsPageHeader hdr;
 614
 615         hdr.inode = inode;
 616         hdr.fill = fill;
 617         hdr.pgoff = pgoff;
 618         hdr.seq = seq;
 619         hdr.fcs = computeFcs(&hdr);
 620
 621         if (!battfs_writeHeader(disk, page, &hdr))
 622         {
 623                 LOG_ERR("error writing hdr\n");
 624                 return false;
 625         }
 626
 627         return true;
 628 }