Remove cache of current header.
[bertos.git] / bertos / fs / battfs.c
index a817d0beba5eea0154c53e134b06d61b9ad25d91..386acebab135200ab6e1ce66aebd475d6d2ae2f0 100644 (file)
 #include <cfg/macros.h> /* MIN, MAX */
 #include <cpu/byteorder.h> /* cpu_to_xx */
 
-#define LOG_LEVEL       LOG_LVL_WARNING
+#define LOG_LEVEL       LOG_LVL_INFO
 #define LOG_FORMAT      LOG_FMT_VERBOSE
 #include <cfg/log.h>
 
 #include <string.h> /* memset, memmove */
 
+#if LOG_LEVEL >= LOG_LVL_INFO
+static void dumpPageArray(struct BattFsSuper *disk)
+{
+       kprintf("Page array dump, free_page_start %d:", disk->free_page_start);
+       for (pgcnt_t i = 0; i < disk->page_count; i++)
+       {
+               if (!(i % 16))
+                       kputchar('\n');
+               kprintf("%04d ", disk->page_array[i]);
+       }
+       kputchar('\n');
+}
+#endif
 
 /**
  * Convert from memory representation to disk structure.
@@ -114,12 +127,27 @@ static fcs_t computeFcs(struct BattFsPageHeader *hdr)
        return cks;
 }
 
+/**
+ * Read from disk.
+ * If available, the cache will be used.
+ * \return the number of bytes read.
+ */
+static size_t diskRead(struct BattFsSuper *disk, pgcnt_t page, pgaddr_t addr, void *buf, size_t size)
+{
+       /* Try to read from cache */
+       if (page == disk->curr_page)
+               return disk->bufferRead(disk, addr, buf, size);
+       /* Read from disk */
+       else
+               return disk->read(disk, page, addr, buf, size);
+}
+
 
 /**
- * Read header of page \a page.
+ * Read header of \a page in \a hdr.
  * \return true on success, false otherwise.
  */
-static bool battfs_readHeader(struct BattFsSuper *disk, pgcnt_t page, struct BattFsPageHeader *hdr)
+static bool readHdr(struct BattFsSuper *disk, pgcnt_t page, struct BattFsPageHeader *hdr)
 {
        uint8_t buf[BATTFS_HEADER_LEN];
        /*
@@ -127,10 +155,10 @@ static bool battfs_readHeader(struct BattFsSuper *disk, pgcnt_t page, struct Bat
         * Header is actually a footer, and so
         * resides at page end.
         */
-       if (disk->read(disk, page, disk->page_size - BATTFS_HEADER_LEN, buf, BATTFS_HEADER_LEN)
+       if (diskRead(disk, page, disk->page_size - BATTFS_HEADER_LEN, buf, BATTFS_HEADER_LEN)
            != BATTFS_HEADER_LEN)
        {
-               LOG_ERR("Error: page[%d]\n", page);
+               LOG_ERR("page[%d]\n", page);
                return false;
        }
 
@@ -141,27 +169,45 @@ static bool battfs_readHeader(struct BattFsSuper *disk, pgcnt_t page, struct Bat
 }
 
 /**
- * Write header of page \a page.
+ * Set header on current \a disk page buffer.
  * \return true on success, false otherwise.
  */
-static bool battfs_writeHeader(struct BattFsSuper *disk, pgcnt_t page, struct BattFsPageHeader *hdr)
+static bool setBufferHdr(struct BattFsSuper *disk, struct BattFsPageHeader *hdr)
 {
        uint8_t buf[BATTFS_HEADER_LEN];
 
+       #warning FIXME:refactor computeFcs to save time and stack
+       hdr->fcs = computeFcs(hdr);
        /* Fill buffer */
        battfs_to_disk(hdr, buf);
 
        /*
-        * write header to disk.
+        * write header to buffer.
         * Header is actually a footer, and so
         * resides at page end.
         */
-       if (!(disk->bufferWrite(disk, disk->page_size - BATTFS_HEADER_LEN, buf, BATTFS_HEADER_LEN)
-           == BATTFS_HEADER_LEN && disk->save(disk, page)))
+       if (disk->bufferWrite(disk, disk->page_size - BATTFS_HEADER_LEN, buf, BATTFS_HEADER_LEN)
+           != BATTFS_HEADER_LEN)
+       {
+               LOG_ERR("writing to buffer\n");
+               return false;
+       }
+       return true;
+}
+
+static bool getBufferHdr(struct BattFsSuper *disk, struct BattFsPageHeader *hdr)
+{
+       uint8_t buf[BATTFS_HEADER_LEN];
+
+       if (disk->bufferRead(disk, disk->page_size - BATTFS_HEADER_LEN, buf, BATTFS_HEADER_LEN)
+           != BATTFS_HEADER_LEN)
        {
-               LOG_ERR("Error: page[%d]\n", page);
+               LOG_ERR("reading from buffer\n");
                return false;
        }
+
+       disk_to_battfs(buf, hdr);
+
        return true;
 }
 
@@ -186,6 +232,7 @@ static pgcnt_t countPages(pgoff_t *filelen_table, inode_t inode)
 static void movePages(struct BattFsSuper *disk, pgcnt_t src, int offset)
 {
        pgcnt_t dst = src + offset;
+       LOG_INFO("src %d, offset %d, size %ld\n", src, offset, (disk->page_count - MAX(dst, src)) * sizeof(pgcnt_t));
        memmove(&disk->page_array[dst], &disk->page_array[src], (disk->page_count - MAX(dst, src)) * sizeof(pgcnt_t));
 
        if (offset < 0)
@@ -213,7 +260,7 @@ static bool countDiskFilePages(struct BattFsSuper *disk, pgoff_t *filelen_table)
        /* Count the number of disk page per file */
        for (pgcnt_t page = 0; page < disk->page_count; page++)
        {
-               if (!battfs_readHeader(disk, page, &hdr))
+               if (!readHdr(disk, page, &hdr))
                        return false;
 
                /* Increase free space */
@@ -258,7 +305,7 @@ static bool fillPageArray(struct BattFsSuper *disk, pgoff_t *filelen_table)
        /* Fill page allocation array */
        for (pgcnt_t page = 0; page < disk->page_count; page++)
        {
-               if (!battfs_readHeader(disk, page, &hdr))
+               if (!readHdr(disk, page, &hdr))
                        return false;
 
                /* Check header FCS */
@@ -276,7 +323,7 @@ static bool fillPageArray(struct BattFsSuper *disk, pgoff_t *filelen_table)
                        {
                                BattFsPageHeader hdr_prv;
 
-                               if (!battfs_readHeader(disk, disk->page_array[array_pos], &hdr_prv))
+                               if (!readHdr(disk, disk->page_array[array_pos], &hdr_prv))
                                        return false;
 
                                /* Check header FCS */
@@ -347,13 +394,16 @@ static bool fillPageArray(struct BattFsSuper *disk, pgoff_t *filelen_table)
  * Flush the current \a disk buffer.
  * \return true if ok, false on errors.
  */
-static bool battfs_flushBuffer(struct BattFsSuper *disk)
+static bool flushBuffer(struct BattFsSuper *disk)
 {
        if (disk->cache_dirty)
        {
-               TRACE;
-               if (!disk->save(disk, disk->curr_page))
+               LOG_INFO("Flushing to disk page %d\n", disk->curr_page);
+
+               if (!(disk->erase(disk, disk->curr_page)
+                       && disk->save(disk, disk->curr_page)))
                        return false;
+
                disk->cache_dirty = false;
        }
        return true;
@@ -365,17 +415,19 @@ static bool battfs_flushBuffer(struct BattFsSuper *disk)
  * flushed first.
  * \return true if ok, false on errors.
  */
-static bool battfs_loadPage(struct BattFsSuper *disk, pgcnt_t new_page)
+static bool loadPage(struct BattFsSuper *disk, pgcnt_t new_page)
 {
        if (disk->curr_page == new_page)
                return true;
 
-       if (battfs_flushBuffer(disk))
+       LOG_INFO("Loading page %d\n", new_page);
+
+       if (!(flushBuffer(disk)
+               && disk->load(disk, new_page)))
                return false;
 
-       if (!disk->load(disk, new_page))
-                       return false;
        disk->curr_page = new_page;
+
        return true;
 }
 
@@ -403,6 +455,7 @@ bool battfs_init(struct BattFsSuper *disk)
        ASSERT(disk->read);
        ASSERT(disk->load);
        ASSERT(disk->bufferWrite);
+       ASSERT(disk->bufferRead);
        ASSERT(disk->save);
        ASSERT(disk->erase);
        ASSERT(disk->close);
@@ -416,10 +469,15 @@ bool battfs_init(struct BattFsSuper *disk)
        disk->free_bytes = 0;
        disk->disk_size = (disk_size_t)(disk->page_size - BATTFS_HEADER_LEN) * disk->page_count;
 
+       /* Initialize page buffer cache */
+       disk->cache_dirty = false;
+       disk->curr_page = 0;
+       disk->load(disk, disk->curr_page);
+
        /* Count pages per file */
        if (!countDiskFilePages(disk, filelen_table))
        {
-               LOG_ERR("error counting file pages\n");
+               LOG_ERR("counting file pages\n");
                return false;
        }
 
@@ -432,16 +490,16 @@ bool battfs_init(struct BattFsSuper *disk)
        /* Fill page allocation array using filelen_table */
        if (!fillPageArray(disk, filelen_table))
        {
-               LOG_ERR("error filling page array\n");
+               LOG_ERR("filling page array\n");
                return false;
        }
+       #if LOG_LEVEL > LOG_LVL_INFO
+               dumpPageArray(disk)
+       #endif
        #warning TODO: shuffle free blocks
-
-       /* Initialize page buffer cache */
-       disk->cache_dirty = false;
-       disk->curr_page = 0;
-       disk->load(disk, disk->curr_page);
-
+       //#if LOG_LEVEL > LOG_LVL_INFO
+       //      dumpPageArray(disk)
+       //#endif
        /* Init list for opened files. */
        LIST_INIT(&disk->file_opened_list);
        return true;
@@ -455,7 +513,7 @@ static int battfs_flush(struct KFile *fd)
 {
        BattFs *fdb = BATTFS_CAST(fd);
 
-       if (battfs_flushBuffer(fdb->disk))
+       if (flushBuffer(fdb->disk))
                return 0;
        else
                return EOF;
@@ -475,6 +533,45 @@ static int battfs_fileclose(struct KFile *fd)
 }
 
 
+static bool getNewPage(struct BattFsSuper *disk, pgcnt_t new_pos, inode_t inode, pgoff_t pgoff)
+{
+       if (disk->free_page_start >= disk->page_count)
+       {
+               #warning TODO space over!
+               LOG_INFO("No disk space available\n");
+               return false;
+       }
+       flushBuffer(disk);
+       LOG_INFO("Getting new page %d, pos %d\n", disk->page_array[disk->free_page_start], new_pos);
+       disk->curr_page = disk->page_array[disk->free_page_start++];
+       memmove(&disk->page_array[new_pos + 1], &disk->page_array[new_pos], (disk->free_page_start - new_pos - 1) * sizeof(pgcnt_t));
+
+       Node *n;
+       /* Move following file start point one position ahead. */
+       FOREACH_NODE(n, &disk->file_opened_list)
+       {
+               BattFs *file = containerof(n, BattFs, link);
+               if (file->inode > inode)
+               {
+                       LOG_INFO("Move file %d start pos\n", file->inode);
+                       file->start++;
+               }
+       }
+
+       disk->page_array[new_pos] = disk->curr_page;
+       disk->cache_dirty = true;
+
+       BattFsPageHeader hdr;
+       hdr.inode = inode;
+       hdr.pgoff =  pgoff;
+       hdr.fill = 0;
+       hdr.seq = 0;
+       if (!setBufferHdr(disk, &hdr))
+               return false;
+       else
+               return true;
+}
+
 /**
  * Write to file \a fd \a size bytes from \a buf.
  * \return The number of bytes written.
@@ -489,20 +586,33 @@ static size_t battfs_write(struct KFile *fd, const void *_buf, size_t size)
        pgaddr_t addr_offset;
        pgaddr_t wr_len;
 
-       size = MIN((kfile_off_t)size, fd->size - fd->seek_pos);
+       BattFsPageHeader curr_hdr;
+       if (!getBufferHdr(fdb->disk, &curr_hdr))
+               return total_write;
+
+       #warning TODO seek_pos > size?
 
        while (size)
        {
-               #warning TODO: outside EOF?
-
                pg_offset = fd->seek_pos / (fdb->disk->page_size - BATTFS_HEADER_LEN);
                addr_offset = fd->seek_pos % (fdb->disk->page_size - BATTFS_HEADER_LEN);
                wr_len = MIN(size, (size_t)(fdb->disk->page_size - BATTFS_HEADER_LEN - addr_offset));
 
-
-               if (fdb->start[pg_offset] != fdb->disk->curr_page)
+               /* Handle write outside EOF */
+               if (pg_offset > fdb->max_off)
+               {
+                       LOG_INFO("New page needed, pg_offset %d, pos %d\n", pg_offset, (fdb->start - fdb->disk->page_array) + pg_offset);
+                       if (!(getNewPage(fdb->disk, (fdb->start - fdb->disk->page_array) + pg_offset, fdb->inode, pg_offset)
+                               && getBufferHdr(fdb->disk, &curr_hdr)))
+                               return total_write;
+                       fdb->max_off = pg_offset;
+               }
+               /* Handle cache load of a new page*/
+               else if (fdb->start[pg_offset] != fdb->disk->curr_page)
                {
-                       if (!battfs_loadPage(fdb->disk, fdb->start[pg_offset]))
+                       LOG_INFO("Re-writing page %d to %d\n", fdb->start[pg_offset], fdb->disk->page_array[fdb->disk->free_page_start]);
+                       if (!(loadPage(fdb->disk, fdb->start[pg_offset])
+                               && getBufferHdr(fdb->disk, &curr_hdr)))
                        {
                                #warning TODO set error?
                                return total_write;
@@ -513,13 +623,15 @@ static size_t battfs_write(struct KFile *fd, const void *_buf, size_t size)
                        movePages(fdb->disk, fdb->disk->free_page_start + 1, -1);
 
                        /* Insert previous page in free blocks list */
+                       LOG_INFO("Setting page %d as free\n", fdb->start[pg_offset]);
                        fdb->disk->page_array[fdb->disk->page_count - 1] = fdb->start[pg_offset];
                        /* Assign new page */
                        fdb->start[pg_offset] = fdb->disk->curr_page;
-                       #warning TODO: hdr have to be updated!
+                       curr_hdr.seq++;
                }
 
 
+               //LOG_INFO("writing to buffer for page %d, offset %d, size %d\n", fdb->disk->curr_page, addr_offset, wr_len);
                if (fdb->disk->bufferWrite(fdb->disk, addr_offset, buf, wr_len) != wr_len)
                {
                        #warning TODO set error?
@@ -530,10 +642,17 @@ static size_t battfs_write(struct KFile *fd, const void *_buf, size_t size)
                fd->seek_pos += wr_len;
                total_write += wr_len;
                buf += wr_len;
-               #warning TODO: hdr have to be updated!
+               fill_t fill_delta = MAX((int32_t)(addr_offset + wr_len) - curr_hdr.fill, (int32_t)0);
+               fdb->disk->free_bytes -= fill_delta;
+               fd->size += fill_delta;
+               curr_hdr.fill += fill_delta;
+
+               if (!setBufferHdr(fdb->disk, &curr_hdr))
+                       return total_write;
+
+               //LOG_INFO("free_bytes %d, seek_pos %d, size %d, curr_hdr.fill %d\n", fdb->disk->free_bytes, fd->seek_pos, fd->size, curr_hdr.fill);
        }
        return total_write;
-
 }
 
 
@@ -559,16 +678,18 @@ static size_t battfs_read(struct KFile *fd, void *_buf, size_t size)
                addr_offset = fd->seek_pos % (fdb->disk->page_size - BATTFS_HEADER_LEN);
                read_len = MIN(size, (size_t)(fdb->disk->page_size - BATTFS_HEADER_LEN - addr_offset));
 
-               /* Flush current page if needed */
-               if (fdb->start[pg_offset] == fdb->disk->curr_page)
-                       battfs_flushBuffer(fdb->disk);
-
                /* Read from disk */
-               if (fdb->disk->read(fdb->disk, fdb->start[pg_offset], addr_offset, buf, read_len) != read_len)
+               if (diskRead(fdb->disk, fdb->start[pg_offset], addr_offset, buf, read_len) != read_len)
                {
                        #warning TODO set error?
                }
 
+               #if _DEBUG
+                       BattFsPageHeader hdr;
+                       readHdr(fdb->disk, fdb->start[pg_offset], &hdr);
+                       ASSERT(hdr.inode == fdb->inode);
+               #endif
+
                size -= read_len;
                fd->seek_pos += read_len;
                total_read += read_len;
@@ -580,32 +701,40 @@ static size_t battfs_read(struct KFile *fd, void *_buf, size_t size)
 
 /**
  * Search file \a inode in \a disk using a binary search.
- * \return pointer to file start in disk->page_array
- * if file exists, NULL otherwise.
+ * \a last is filled with array offset of file start
+ * in disk->page_array if file is found, otherwise
+ * \a last is filled with the correct insert position
+ * for creating a file with the given \a inode.
+ * \return true if file is found, false otherwisr.
  */
-static pgcnt_t *findFile(BattFsSuper *disk, inode_t inode)
+static bool findFile(BattFsSuper *disk, inode_t inode, pgcnt_t *last)
 {
        BattFsPageHeader hdr;
-       pgcnt_t first = 0, page, last = disk->page_count -1;
+       pgcnt_t first = 0, page;
+       *last = disk->free_page_start;
        fcs_t fcs;
 
-       while (first <last)
+       while (first < *last)
        {
-               page = (first + last) / 2;
-
-               if (!battfs_readHeader(disk, disk->page_array[page], &hdr))
-                       return NULL;
-
+               page = (first + *last) / 2;
+               LOG_INFO("first %d, last %d, page %d\n", first, *last, page);
+               if (!readHdr(disk, disk->page_array[page], &hdr))
+                       return false;
+               LOG_INFO("inode read: %d\n", hdr.inode);
                fcs = computeFcs(&hdr);
                if (hdr.fcs == fcs && hdr.inode == inode)
-                       return (&disk->page_array[page]) - hdr.pgoff;
+               {
+                       *last = page - hdr.pgoff;
+                       LOG_INFO("Found: %d\n", *last);
+                       return true;
+               }
                else if (hdr.fcs == fcs && hdr.inode < inode)
                        first = page + 1;
                else
-                       last = page - 1;
+                       *last = page - 1;
        }
-
-       return NULL;
+       LOG_INFO("Not found: last %d\n", *last);
+       return false;
 }
 
 /**
@@ -613,7 +742,8 @@ static pgcnt_t *findFile(BattFsSuper *disk, inode_t inode)
  */
 bool battfs_fileExists(BattFsSuper *disk, inode_t inode)
 {
-       return findFile(disk, inode) != NULL;
+       pgcnt_t dummy;
+       return findFile(disk, inode, &dummy);
 }
 
 /**
@@ -626,15 +756,16 @@ static file_size_t countFileSize(BattFsSuper *disk, pgcnt_t *start, inode_t inod
        file_size_t size = 0;
        BattFsPageHeader hdr;
 
-       for (;;)
+       while (start < &disk->page_array[disk->free_page_start])
        {
-               if (!battfs_readHeader(disk, *start++, &hdr))
+               if (!readHdr(disk, *start++, &hdr))
                        return EOF;
                if (hdr.fcs == computeFcs(&hdr) && hdr.inode == inode)
                        size += hdr.fill;
                else
-                       return size;
+                       break;
        }
+       return size;
 }
 
 /**
@@ -649,25 +780,23 @@ bool battfs_fileopen(BattFsSuper *disk, BattFs *fd, inode_t inode, filemode_t mo
        memset(fd, 0, sizeof(*fd));
 
        /* Search file start point in disk page array */
-       fd->start = findFile(disk, inode);
-       if (fd->start == NULL)
+       pgcnt_t start_pos;
+       if (!findFile(disk, inode, &start_pos))
        {
+               LOG_INFO("file %d not found\n", inode);
                if (!(mode & BATTFS_CREATE))
                        return false;
-
-               /* File does not exist, create it */
-               BattFsPageHeader hdr;
-               hdr.inode = inode;
-               hdr.seq = 0;
-               hdr.fill = 0;
-               hdr.pgoff = 0;
-               hdr.fcs = computeFcs(&hdr);
-               #warning TODO: get a free block and write on disk!
+               /* Create the file */
+               if (!(getNewPage(disk, start_pos, inode, 0)))
+                       return false;
        }
+       fd->start = &disk->page_array[start_pos];
+       LOG_INFO("Start pos %d\n", start_pos);
 
        /* Fill file size */
        if ((fd->fd.size = countFileSize(disk, fd->start, inode)) == EOF)
                return false;
+       fd->max_off = fd->fd.size / (disk->page_size - BATTFS_HEADER_LEN);
 
        /* Reset seek position */
        fd->fd.seek_pos = 0;
@@ -724,6 +853,7 @@ bool battfs_close(struct BattFsSuper *disk)
 }
 
 #if UNIT_TEST
+
 bool battfs_writeTestBlock(struct BattFsSuper *disk, pgcnt_t page, inode_t inode, seq_t seq, fill_t fill, pgoff_t pgoff)
 {
        BattFsPageHeader hdr;
@@ -739,7 +869,7 @@ bool battfs_writeTestBlock(struct BattFsSuper *disk, pgcnt_t page, inode_t inode
        hdr.seq = seq;
        hdr.fcs = computeFcs(&hdr);
 
-       if (!battfs_writeHeader(disk, page, &hdr))
+       if (!(setBufferHdr(disk, &hdr) && disk->save(disk, page)))
        {
                LOG_ERR("error writing hdr\n");
                return false;