Remove cache of current header.
[bertos.git] / bertos / fs / battfs.c
index 59b03ae4f6eb0c4b846c15e4c57475e0400df0fd..386acebab135200ab6e1ce66aebd475d6d2ae2f0 100644 (file)
 
 #include <string.h> /* memset, memmove */
 
+#if LOG_LEVEL >= LOG_LVL_INFO
+static void dumpPageArray(struct BattFsSuper *disk)
+{
+       kprintf("Page array dump, free_page_start %d:", disk->free_page_start);
+       for (pgcnt_t i = 0; i < disk->page_count; i++)
+       {
+               if (!(i % 16))
+                       kputchar('\n');
+               kprintf("%04d ", disk->page_array[i]);
+       }
+       kputchar('\n');
+}
+#endif
 
 /**
  * Convert from memory representation to disk structure.
@@ -114,12 +127,27 @@ static fcs_t computeFcs(struct BattFsPageHeader *hdr)
        return cks;
 }
 
+/**
+ * Read from disk.
+ * If available, the cache will be used.
+ * \return the number of bytes read.
+ */
+static size_t diskRead(struct BattFsSuper *disk, pgcnt_t page, pgaddr_t addr, void *buf, size_t size)
+{
+       /* Try to read from cache */
+       if (page == disk->curr_page)
+               return disk->bufferRead(disk, addr, buf, size);
+       /* Read from disk */
+       else
+               return disk->read(disk, page, addr, buf, size);
+}
+
 
 /**
- * Read header of page \a page.
+ * Read header of \a page in \a hdr.
  * \return true on success, false otherwise.
  */
-static bool battfs_readHeader(struct BattFsSuper *disk, pgcnt_t page, struct BattFsPageHeader *hdr)
+static bool readHdr(struct BattFsSuper *disk, pgcnt_t page, struct BattFsPageHeader *hdr)
 {
        uint8_t buf[BATTFS_HEADER_LEN];
        /*
@@ -127,10 +155,10 @@ static bool battfs_readHeader(struct BattFsSuper *disk, pgcnt_t page, struct Bat
         * Header is actually a footer, and so
         * resides at page end.
         */
-       if (disk->read(disk, page, disk->page_size - BATTFS_HEADER_LEN, buf, BATTFS_HEADER_LEN)
+       if (diskRead(disk, page, disk->page_size - BATTFS_HEADER_LEN, buf, BATTFS_HEADER_LEN)
            != BATTFS_HEADER_LEN)
        {
-               LOG_ERR("Error: page[%d]\n", page);
+               LOG_ERR("page[%d]\n", page);
                return false;
        }
 
@@ -141,27 +169,45 @@ static bool battfs_readHeader(struct BattFsSuper *disk, pgcnt_t page, struct Bat
 }
 
 /**
- * Write header of page \a page.
+ * Set header on current \a disk page buffer.
  * \return true on success, false otherwise.
  */
-static bool battfs_writeHeader(struct BattFsSuper *disk, pgcnt_t page, struct BattFsPageHeader *hdr)
+static bool setBufferHdr(struct BattFsSuper *disk, struct BattFsPageHeader *hdr)
 {
        uint8_t buf[BATTFS_HEADER_LEN];
 
+       #warning FIXME:refactor computeFcs to save time and stack
+       hdr->fcs = computeFcs(hdr);
        /* Fill buffer */
        battfs_to_disk(hdr, buf);
 
        /*
-        * write header to disk.
+        * write header to buffer.
         * Header is actually a footer, and so
         * resides at page end.
         */
-       if (!(disk->bufferWrite(disk, disk->page_size - BATTFS_HEADER_LEN, buf, BATTFS_HEADER_LEN)
-           == BATTFS_HEADER_LEN && disk->save(disk, page)))
+       if (disk->bufferWrite(disk, disk->page_size - BATTFS_HEADER_LEN, buf, BATTFS_HEADER_LEN)
+           != BATTFS_HEADER_LEN)
+       {
+               LOG_ERR("writing to buffer\n");
+               return false;
+       }
+       return true;
+}
+
+static bool getBufferHdr(struct BattFsSuper *disk, struct BattFsPageHeader *hdr)
+{
+       uint8_t buf[BATTFS_HEADER_LEN];
+
+       if (disk->bufferRead(disk, disk->page_size - BATTFS_HEADER_LEN, buf, BATTFS_HEADER_LEN)
+           != BATTFS_HEADER_LEN)
        {
-               LOG_ERR("Error: page[%d]\n", page);
+               LOG_ERR("reading from buffer\n");
                return false;
        }
+
+       disk_to_battfs(buf, hdr);
+
        return true;
 }
 
@@ -186,6 +232,7 @@ static pgcnt_t countPages(pgoff_t *filelen_table, inode_t inode)
 static void movePages(struct BattFsSuper *disk, pgcnt_t src, int offset)
 {
        pgcnt_t dst = src + offset;
+       LOG_INFO("src %d, offset %d, size %ld\n", src, offset, (disk->page_count - MAX(dst, src)) * sizeof(pgcnt_t));
        memmove(&disk->page_array[dst], &disk->page_array[src], (disk->page_count - MAX(dst, src)) * sizeof(pgcnt_t));
 
        if (offset < 0)
@@ -213,7 +260,7 @@ static bool countDiskFilePages(struct BattFsSuper *disk, pgoff_t *filelen_table)
        /* Count the number of disk page per file */
        for (pgcnt_t page = 0; page < disk->page_count; page++)
        {
-               if (!battfs_readHeader(disk, page, &hdr))
+               if (!readHdr(disk, page, &hdr))
                        return false;
 
                /* Increase free space */
@@ -258,7 +305,7 @@ static bool fillPageArray(struct BattFsSuper *disk, pgoff_t *filelen_table)
        /* Fill page allocation array */
        for (pgcnt_t page = 0; page < disk->page_count; page++)
        {
-               if (!battfs_readHeader(disk, page, &hdr))
+               if (!readHdr(disk, page, &hdr))
                        return false;
 
                /* Check header FCS */
@@ -276,7 +323,7 @@ static bool fillPageArray(struct BattFsSuper *disk, pgoff_t *filelen_table)
                        {
                                BattFsPageHeader hdr_prv;
 
-                               if (!battfs_readHeader(disk, disk->page_array[array_pos], &hdr_prv))
+                               if (!readHdr(disk, disk->page_array[array_pos], &hdr_prv))
                                        return false;
 
                                /* Check header FCS */
@@ -342,6 +389,49 @@ static bool fillPageArray(struct BattFsSuper *disk, pgoff_t *filelen_table)
        return true;
 }
 
+
+/**
+ * Flush the current \a disk buffer.
+ * \return true if ok, false on errors.
+ */
+static bool flushBuffer(struct BattFsSuper *disk)
+{
+       if (disk->cache_dirty)
+       {
+               LOG_INFO("Flushing to disk page %d\n", disk->curr_page);
+
+               if (!(disk->erase(disk, disk->curr_page)
+                       && disk->save(disk, disk->curr_page)))
+                       return false;
+
+               disk->cache_dirty = false;
+       }
+       return true;
+}
+
+/**
+ * Load \a new_page from \a disk in disk page buffer.
+ * If a previuos page is still dirty in the buffer, will be
+ * flushed first.
+ * \return true if ok, false on errors.
+ */
+static bool loadPage(struct BattFsSuper *disk, pgcnt_t new_page)
+{
+       if (disk->curr_page == new_page)
+               return true;
+
+       LOG_INFO("Loading page %d\n", new_page);
+
+       if (!(flushBuffer(disk)
+               && disk->load(disk, new_page)))
+               return false;
+
+       disk->curr_page = new_page;
+
+       return true;
+}
+
+
 /**
  * Initialize and mount disk described by
  * \a disk.
@@ -365,6 +455,7 @@ bool battfs_init(struct BattFsSuper *disk)
        ASSERT(disk->read);
        ASSERT(disk->load);
        ASSERT(disk->bufferWrite);
+       ASSERT(disk->bufferRead);
        ASSERT(disk->save);
        ASSERT(disk->erase);
        ASSERT(disk->close);
@@ -378,10 +469,15 @@ bool battfs_init(struct BattFsSuper *disk)
        disk->free_bytes = 0;
        disk->disk_size = (disk_size_t)(disk->page_size - BATTFS_HEADER_LEN) * disk->page_count;
 
+       /* Initialize page buffer cache */
+       disk->cache_dirty = false;
+       disk->curr_page = 0;
+       disk->load(disk, disk->curr_page);
+
        /* Count pages per file */
        if (!countDiskFilePages(disk, filelen_table))
        {
-               LOG_ERR("error counting file pages\n");
+               LOG_ERR("counting file pages\n");
                return false;
        }
 
@@ -394,10 +490,16 @@ bool battfs_init(struct BattFsSuper *disk)
        /* Fill page allocation array using filelen_table */
        if (!fillPageArray(disk, filelen_table))
        {
-               LOG_ERR("error filling page array\n");
+               LOG_ERR("filling page array\n");
                return false;
        }
-
+       #if LOG_LEVEL > LOG_LVL_INFO
+               dumpPageArray(disk)
+       #endif
+       #warning TODO: shuffle free blocks
+       //#if LOG_LEVEL > LOG_LVL_INFO
+       //      dumpPageArray(disk)
+       //#endif
        /* Init list for opened files. */
        LIST_INIT(&disk->file_opened_list);
        return true;
@@ -409,9 +511,12 @@ bool battfs_init(struct BattFsSuper *disk)
  */
 static int battfs_flush(struct KFile *fd)
 {
-       (void)fd;
-       #warning TODO
-       return 0;
+       BattFs *fdb = BATTFS_CAST(fd);
+
+       if (flushBuffer(fdb->disk))
+               return 0;
+       else
+               return EOF;
 }
 
 /**
@@ -427,6 +532,130 @@ static int battfs_fileclose(struct KFile *fd)
        return 0;
 }
 
+
+static bool getNewPage(struct BattFsSuper *disk, pgcnt_t new_pos, inode_t inode, pgoff_t pgoff)
+{
+       if (disk->free_page_start >= disk->page_count)
+       {
+               #warning TODO space over!
+               LOG_INFO("No disk space available\n");
+               return false;
+       }
+       flushBuffer(disk);
+       LOG_INFO("Getting new page %d, pos %d\n", disk->page_array[disk->free_page_start], new_pos);
+       disk->curr_page = disk->page_array[disk->free_page_start++];
+       memmove(&disk->page_array[new_pos + 1], &disk->page_array[new_pos], (disk->free_page_start - new_pos - 1) * sizeof(pgcnt_t));
+
+       Node *n;
+       /* Move following file start point one position ahead. */
+       FOREACH_NODE(n, &disk->file_opened_list)
+       {
+               BattFs *file = containerof(n, BattFs, link);
+               if (file->inode > inode)
+               {
+                       LOG_INFO("Move file %d start pos\n", file->inode);
+                       file->start++;
+               }
+       }
+
+       disk->page_array[new_pos] = disk->curr_page;
+       disk->cache_dirty = true;
+
+       BattFsPageHeader hdr;
+       hdr.inode = inode;
+       hdr.pgoff =  pgoff;
+       hdr.fill = 0;
+       hdr.seq = 0;
+       if (!setBufferHdr(disk, &hdr))
+               return false;
+       else
+               return true;
+}
+
+/**
+ * Write to file \a fd \a size bytes from \a buf.
+ * \return The number of bytes written.
+ */
+static size_t battfs_write(struct KFile *fd, const void *_buf, size_t size)
+{
+       BattFs *fdb = BATTFS_CAST(fd);
+       const uint8_t *buf = (const uint8_t *)_buf;
+
+       size_t total_write = 0;
+       pgoff_t pg_offset;
+       pgaddr_t addr_offset;
+       pgaddr_t wr_len;
+
+       BattFsPageHeader curr_hdr;
+       if (!getBufferHdr(fdb->disk, &curr_hdr))
+               return total_write;
+
+       #warning TODO seek_pos > size?
+
+       while (size)
+       {
+               pg_offset = fd->seek_pos / (fdb->disk->page_size - BATTFS_HEADER_LEN);
+               addr_offset = fd->seek_pos % (fdb->disk->page_size - BATTFS_HEADER_LEN);
+               wr_len = MIN(size, (size_t)(fdb->disk->page_size - BATTFS_HEADER_LEN - addr_offset));
+
+               /* Handle write outside EOF */
+               if (pg_offset > fdb->max_off)
+               {
+                       LOG_INFO("New page needed, pg_offset %d, pos %d\n", pg_offset, (fdb->start - fdb->disk->page_array) + pg_offset);
+                       if (!(getNewPage(fdb->disk, (fdb->start - fdb->disk->page_array) + pg_offset, fdb->inode, pg_offset)
+                               && getBufferHdr(fdb->disk, &curr_hdr)))
+                               return total_write;
+                       fdb->max_off = pg_offset;
+               }
+               /* Handle cache load of a new page*/
+               else if (fdb->start[pg_offset] != fdb->disk->curr_page)
+               {
+                       LOG_INFO("Re-writing page %d to %d\n", fdb->start[pg_offset], fdb->disk->page_array[fdb->disk->free_page_start]);
+                       if (!(loadPage(fdb->disk, fdb->start[pg_offset])
+                               && getBufferHdr(fdb->disk, &curr_hdr)))
+                       {
+                               #warning TODO set error?
+                               return total_write;
+                       }
+
+                       /* Get a free page */
+                       fdb->disk->curr_page = fdb->disk->page_array[fdb->disk->free_page_start];
+                       movePages(fdb->disk, fdb->disk->free_page_start + 1, -1);
+
+                       /* Insert previous page in free blocks list */
+                       LOG_INFO("Setting page %d as free\n", fdb->start[pg_offset]);
+                       fdb->disk->page_array[fdb->disk->page_count - 1] = fdb->start[pg_offset];
+                       /* Assign new page */
+                       fdb->start[pg_offset] = fdb->disk->curr_page;
+                       curr_hdr.seq++;
+               }
+
+
+               //LOG_INFO("writing to buffer for page %d, offset %d, size %d\n", fdb->disk->curr_page, addr_offset, wr_len);
+               if (fdb->disk->bufferWrite(fdb->disk, addr_offset, buf, wr_len) != wr_len)
+               {
+                       #warning TODO set error?
+               }
+               fdb->disk->cache_dirty = true;
+
+               size -= wr_len;
+               fd->seek_pos += wr_len;
+               total_write += wr_len;
+               buf += wr_len;
+               fill_t fill_delta = MAX((int32_t)(addr_offset + wr_len) - curr_hdr.fill, (int32_t)0);
+               fdb->disk->free_bytes -= fill_delta;
+               fd->size += fill_delta;
+               curr_hdr.fill += fill_delta;
+
+               if (!setBufferHdr(fdb->disk, &curr_hdr))
+                       return total_write;
+
+               //LOG_INFO("free_bytes %d, seek_pos %d, size %d, curr_hdr.fill %d\n", fdb->disk->free_bytes, fd->seek_pos, fd->size, curr_hdr.fill);
+       }
+       return total_write;
+}
+
+
 /**
  * Read from file \a fd \a size bytes in \a buf.
  * \return The number of bytes read.
@@ -450,11 +679,17 @@ static size_t battfs_read(struct KFile *fd, void *_buf, size_t size)
                read_len = MIN(size, (size_t)(fdb->disk->page_size - BATTFS_HEADER_LEN - addr_offset));
 
                /* Read from disk */
-               if (fdb->disk->read(fdb->disk, fdb->start[pg_offset], addr_offset, buf, read_len) != read_len)
+               if (diskRead(fdb->disk, fdb->start[pg_offset], addr_offset, buf, read_len) != read_len)
                {
                        #warning TODO set error?
                }
 
+               #if _DEBUG
+                       BattFsPageHeader hdr;
+                       readHdr(fdb->disk, fdb->start[pg_offset], &hdr);
+                       ASSERT(hdr.inode == fdb->inode);
+               #endif
+
                size -= read_len;
                fd->seek_pos += read_len;
                total_read += read_len;
@@ -466,32 +701,40 @@ static size_t battfs_read(struct KFile *fd, void *_buf, size_t size)
 
 /**
  * Search file \a inode in \a disk using a binary search.
- * \return pointer to file start in disk->page_array
- * if file exists, NULL otherwise.
+ * \a last is filled with array offset of file start
+ * in disk->page_array if file is found, otherwise
+ * \a last is filled with the correct insert position
+ * for creating a file with the given \a inode.
+ * \return true if file is found, false otherwisr.
  */
-static pgcnt_t *findFile(BattFsSuper *disk, inode_t inode)
+static bool findFile(BattFsSuper *disk, inode_t inode, pgcnt_t *last)
 {
        BattFsPageHeader hdr;
-       pgcnt_t first = 0, page, last = disk->page_count -1;
+       pgcnt_t first = 0, page;
+       *last = disk->free_page_start;
        fcs_t fcs;
 
-       while (first <last)
+       while (first < *last)
        {
-               page = (first + last) / 2;
-
-               if (!battfs_readHeader(disk, disk->page_array[page], &hdr))
-                       return NULL;
-
+               page = (first + *last) / 2;
+               LOG_INFO("first %d, last %d, page %d\n", first, *last, page);
+               if (!readHdr(disk, disk->page_array[page], &hdr))
+                       return false;
+               LOG_INFO("inode read: %d\n", hdr.inode);
                fcs = computeFcs(&hdr);
                if (hdr.fcs == fcs && hdr.inode == inode)
-                       return (&disk->page_array[page]) - hdr.pgoff;
+               {
+                       *last = page - hdr.pgoff;
+                       LOG_INFO("Found: %d\n", *last);
+                       return true;
+               }
                else if (hdr.fcs == fcs && hdr.inode < inode)
                        first = page + 1;
                else
-                       last = page - 1;
+                       *last = page - 1;
        }
-
-       return NULL;
+       LOG_INFO("Not found: last %d\n", *last);
+       return false;
 }
 
 /**
@@ -499,7 +742,8 @@ static pgcnt_t *findFile(BattFsSuper *disk, inode_t inode)
  */
 bool battfs_fileExists(BattFsSuper *disk, inode_t inode)
 {
-       return findFile(disk, inode) != NULL;
+       pgcnt_t dummy;
+       return findFile(disk, inode, &dummy);
 }
 
 /**
@@ -507,20 +751,21 @@ bool battfs_fileExists(BattFsSuper *disk, inode_t inode)
  * in disk->page_array. Size is written in \a size.
  * \return true if all s ok, false on disk read errors.
  */
-static bool countFileSize(BattFsSuper *disk, pgcnt_t *start, inode_t inode, file_size_t *size)
+static file_size_t countFileSize(BattFsSuper *disk, pgcnt_t *start, inode_t inode)
 {
-       *size = 0;
+       file_size_t size = 0;
        BattFsPageHeader hdr;
 
-       for (;;)
+       while (start < &disk->page_array[disk->free_page_start])
        {
-               if (!battfs_readHeader(disk, *start++, &hdr))
-                       return false;
+               if (!readHdr(disk, *start++, &hdr))
+                       return EOF;
                if (hdr.fcs == computeFcs(&hdr) && hdr.inode == inode)
-                       *size += hdr.fill;
+                       size += hdr.fill;
                else
-                       return true;
+                       break;
        }
+       return size;
 }
 
 /**
@@ -535,25 +780,23 @@ bool battfs_fileopen(BattFsSuper *disk, BattFs *fd, inode_t inode, filemode_t mo
        memset(fd, 0, sizeof(*fd));
 
        /* Search file start point in disk page array */
-       fd->start = findFile(disk, inode);
-       if (fd->start == NULL)
+       pgcnt_t start_pos;
+       if (!findFile(disk, inode, &start_pos))
        {
+               LOG_INFO("file %d not found\n", inode);
                if (!(mode & BATTFS_CREATE))
                        return false;
-
-               /* File does not exist, create it */
-               BattFsPageHeader hdr;
-               hdr.inode = inode;
-               hdr.seq = 0;
-               hdr.fill = 0;
-               hdr.pgoff = 0;
-               hdr.fcs = computeFcs(&hdr);
-               #warning TODO: get a free block and write on disk!
+               /* Create the file */
+               if (!(getNewPage(disk, start_pos, inode, 0)))
+                       return false;
        }
+       fd->start = &disk->page_array[start_pos];
+       LOG_INFO("Start pos %d\n", start_pos);
 
        /* Fill file size */
-       if (!countFileSize(disk, fd->start, inode, &fd->fd.size))
+       if ((fd->fd.size = countFileSize(disk, fd->start, inode)) == EOF)
                return false;
+       fd->max_off = fd->fd.size / (disk->page_size - BATTFS_HEADER_LEN);
 
        /* Reset seek position */
        fd->fd.seek_pos = 0;
@@ -577,10 +820,10 @@ bool battfs_fileopen(BattFsSuper *disk, BattFs *fd, inode_t inode, filemode_t mo
        fd->fd.read = battfs_read;
        fd->fd.reopen = kfile_genericReopen;
        fd->fd.seek = kfile_genericSeek;
+       fd->fd.write = battfs_write;
 
-#warning TODO battfs_write, battfs_error, battfs_clearerr
+#warning TODO battfs_error, battfs_clearerr
 #if 0
-       fd->fd.write = battfs_write;
        fd->fd.error = battfs_error;
        fd->fd.clearerr = battfs_clearerr;
 #endif
@@ -610,17 +853,23 @@ bool battfs_close(struct BattFsSuper *disk)
 }
 
 #if UNIT_TEST
+
 bool battfs_writeTestBlock(struct BattFsSuper *disk, pgcnt_t page, inode_t inode, seq_t seq, fill_t fill, pgoff_t pgoff)
 {
        BattFsPageHeader hdr;
 
+       /* Reset page to all 0xff */
+       uint8_t buf[disk->page_size];
+       memset(buf, 0xFF, disk->page_size);
+       disk->bufferWrite(disk, 0, buf, disk->page_size);
+
        hdr.inode = inode;
        hdr.fill = fill;
        hdr.pgoff = pgoff;
        hdr.seq = seq;
        hdr.fcs = computeFcs(&hdr);
 
-       if (!battfs_writeHeader(disk, page, &hdr))
+       if (!(setBufferHdr(disk, &hdr) && disk->save(disk, page)))
        {
                LOG_ERR("error writing hdr\n");
                return false;