Rename battfs_init to battfs_mount and battfs_close to battfs_umount.
[bertos.git] / bertos / fs / battfs.c
index b15460a0c722c6f8fab0ed4419e62da823349570..ae3cde9ed7940e361a4942bd53548852225e2b66 100644 (file)
 #include <cfg/macros.h> /* MIN, MAX */
 #include <cpu/byteorder.h> /* cpu_to_xx */
 
-#define LOG_LEVEL       LOG_LVL_WARN
+#define LOG_LEVEL       LOG_LVL_INFO
 #define LOG_FORMAT      LOG_FMT_VERBOSE
 #include <cfg/log.h>
 
 #include <string.h> /* memset, memmove */
 
-#ifdef _DEBUG
+#if LOG_LEVEL >= LOG_LVL_INFO
 static void dumpPageArray(struct BattFsSuper *disk)
 {
-       kprintf("Page array dump:");
+       kprintf("Page array dump, free_page_start %d:", disk->free_page_start);
        for (pgcnt_t i = 0; i < disk->page_count; i++)
        {
                if (!(i % 16))
@@ -155,7 +155,7 @@ static bool readHdr(struct BattFsSuper *disk, pgcnt_t page, struct BattFsPageHea
         * Header is actually a footer, and so
         * resides at page end.
         */
-       if (diskRead(disk, page, disk->page_size - BATTFS_HEADER_LEN, buf, BATTFS_HEADER_LEN)
+       if (diskRead(disk, page, disk->data_size, buf, BATTFS_HEADER_LEN)
            != BATTFS_HEADER_LEN)
        {
                LOG_ERR("page[%d]\n", page);
@@ -186,7 +186,7 @@ static bool setBufferHdr(struct BattFsSuper *disk, struct BattFsPageHeader *hdr)
         * Header is actually a footer, and so
         * resides at page end.
         */
-       if (disk->bufferWrite(disk, disk->page_size - BATTFS_HEADER_LEN, buf, BATTFS_HEADER_LEN)
+       if (disk->bufferWrite(disk, disk->data_size, buf, BATTFS_HEADER_LEN)
            != BATTFS_HEADER_LEN)
        {
                LOG_ERR("writing to buffer\n");
@@ -195,6 +195,22 @@ static bool setBufferHdr(struct BattFsSuper *disk, struct BattFsPageHeader *hdr)
        return true;
 }
 
+static bool getBufferHdr(struct BattFsSuper *disk, struct BattFsPageHeader *hdr)
+{
+       uint8_t buf[BATTFS_HEADER_LEN];
+
+       if (disk->bufferRead(disk, disk->data_size, buf, BATTFS_HEADER_LEN)
+           != BATTFS_HEADER_LEN)
+       {
+               LOG_ERR("reading from buffer\n");
+               return false;
+       }
+
+       disk_to_battfs(buf, hdr);
+
+       return true;
+}
+
 /**
  * Count the number of pages from
  * inode 0 to \a inode in \a filelen_table.
@@ -216,7 +232,7 @@ static pgcnt_t countPages(pgoff_t *filelen_table, inode_t inode)
 static void movePages(struct BattFsSuper *disk, pgcnt_t src, int offset)
 {
        pgcnt_t dst = src + offset;
-       LOG_INFO("src %d, offset %d, size %ld\n", src, offset, (disk->page_count - MAX(dst, src)) * sizeof(pgcnt_t));
+       LOG_INFO("src %d, offset %d, size %d\n", src, offset, (unsigned int)((disk->page_count - MAX(dst, src)) * sizeof(pgcnt_t)));
        memmove(&disk->page_array[dst], &disk->page_array[src], (disk->page_count - MAX(dst, src)) * sizeof(pgcnt_t));
 
        if (offset < 0)
@@ -248,12 +264,12 @@ static bool countDiskFilePages(struct BattFsSuper *disk, pgoff_t *filelen_table)
                        return false;
 
                /* Increase free space */
-               disk->free_bytes += disk->page_size - BATTFS_HEADER_LEN;
+               disk->free_bytes += disk->data_size;
 
                /* Check header FCS */
                if (hdr.fcs == computeFcs(&hdr))
                {
-                       ASSERT(hdr.fill <= disk->page_size - BATTFS_HEADER_LEN);
+                       ASSERT(hdr.fill <= disk->data_size);
 
                        /* Page is valid and is owned by a file */
                        filelen_table[hdr.inode]++;
@@ -384,8 +400,7 @@ static bool flushBuffer(struct BattFsSuper *disk)
        {
                LOG_INFO("Flushing to disk page %d\n", disk->curr_page);
 
-               if (!(setBufferHdr(disk, &disk->curr_hdr)
-                       && disk->erase(disk, disk->curr_page)
+               if (!(disk->erase(disk, disk->curr_page)
                        && disk->save(disk, disk->curr_page)))
                        return false;
 
@@ -397,26 +412,23 @@ static bool flushBuffer(struct BattFsSuper *disk)
 /**
  * Load \a new_page from \a disk in disk page buffer.
  * If a previuos page is still dirty in the buffer, will be
- * flushed first.
+ * flushed first. The new page header loaded will be put in \a new_hdr.
  * \return true if ok, false on errors.
  */
-static bool loadPage(struct BattFsSuper *disk, pgcnt_t new_page)
+static bool loadPage(struct BattFsSuper *disk, pgcnt_t new_page, BattFsPageHeader *new_hdr)
 {
        if (disk->curr_page == new_page)
-               return true;
+               return getBufferHdr(disk, new_hdr);
 
        LOG_INFO("Loading page %d\n", new_page);
 
        if (!(flushBuffer(disk)
-               && disk->load(disk, new_page)))
+               && disk->load(disk, new_page)
+               && getBufferHdr(disk, new_hdr)))
                return false;
 
        disk->curr_page = new_page;
 
-       /* Load current header */
-       if (!readHdr(disk, disk->curr_page, &disk->curr_hdr))
-               return false;
-
        return true;
 }
 
@@ -426,7 +438,7 @@ static bool loadPage(struct BattFsSuper *disk, pgcnt_t new_page)
  * \a disk.
  * \return false on errors, true otherwise.
  */
-bool battfs_init(struct BattFsSuper *disk)
+bool battfs_mount(struct BattFsSuper *disk)
 {
        pgoff_t filelen_table[BATTFS_MAX_FILES];
 
@@ -448,7 +460,9 @@ bool battfs_init(struct BattFsSuper *disk)
        ASSERT(disk->save);
        ASSERT(disk->erase);
        ASSERT(disk->close);
-       ASSERT(disk->page_size);
+       ASSERT(disk->page_size > BATTFS_HEADER_LEN);
+       /* Fill page_size with the usable space */
+       disk->data_size = disk->page_size - BATTFS_HEADER_LEN;
        ASSERT(disk->page_count);
        ASSERT(disk->page_count < PAGE_UNSET_SENTINEL - 1);
        ASSERT(disk->page_array);
@@ -456,13 +470,12 @@ bool battfs_init(struct BattFsSuper *disk)
        memset(filelen_table, 0, BATTFS_MAX_FILES * sizeof(pgoff_t));
 
        disk->free_bytes = 0;
-       disk->disk_size = (disk_size_t)(disk->page_size - BATTFS_HEADER_LEN) * disk->page_count;
+       disk->disk_size = (disk_size_t)disk->data_size * disk->page_count;
 
        /* Initialize page buffer cache */
        disk->cache_dirty = false;
        disk->curr_page = 0;
        disk->load(disk, disk->curr_page);
-       readHdr(disk, disk->curr_page, &disk->curr_hdr);
 
        /* Count pages per file */
        if (!countDiskFilePages(disk, filelen_table))
@@ -483,13 +496,73 @@ bool battfs_init(struct BattFsSuper *disk)
                LOG_ERR("filling page array\n");
                return false;
        }
+       #if LOG_LEVEL >= LOG_LVL_INFO
+               dumpPageArray(disk);
+       #endif
        #warning TODO: shuffle free blocks
-
+       //#if LOG_LEVEL > LOG_LVL_INFO
+       //      dumpPageArray(disk);
+       //#endif
        /* Init list for opened files. */
        LIST_INIT(&disk->file_opened_list);
        return true;
 }
 
+/**
+ * Check the filesystem.
+ * \return true if ok, false on errors.
+ */
+bool battfs_fsck(struct BattFsSuper *disk)
+{
+       #define FSCHECK(cond) do { if(!(cond)) { LOG_ERR("\"" #cond "\"\n"); return false; } } while (0)
+
+       FSCHECK(disk->free_page_start <= disk->page_count);
+       FSCHECK(disk->data_size < disk->page_size);
+       FSCHECK(disk->free_bytes <= disk->disk_size);
+
+       disk_size_t free_bytes = 0;
+       BattFsPageHeader hdr, prev_hdr;
+       inode_t files = 0;
+       pgcnt_t page_used = 0;
+
+       bool start = true;
+
+       for (pgcnt_t page = 0; page < disk->page_count; page++)
+       {
+               FSCHECK(readHdr(disk, disk->page_array[page], &hdr));
+               free_bytes += disk->data_size;
+
+               if (page < disk->free_page_start)
+               {
+                       FSCHECK(computeFcs(&hdr) == hdr.fcs);
+                       page_used++;
+                       free_bytes -= hdr.fill;
+                       if (hdr.inode != prev_hdr.inode || start)
+                       {
+                               if (LIKELY(!start))
+                                       FSCHECK(hdr.inode > prev_hdr.inode);
+                               else
+                                       start = false;
+
+                               FSCHECK(hdr.pgoff == 0);
+                               files++;
+                       }
+                       else
+                       {
+                               FSCHECK(hdr.fill != 0);
+                               FSCHECK(prev_hdr.fill == disk->data_size);
+                               FSCHECK(hdr.pgoff == prev_hdr.pgoff + 1);
+                       }
+                       prev_hdr = hdr;
+               }
+       }
+
+       FSCHECK(page_used == disk->free_page_start);
+       FSCHECK(free_bytes == disk->free_bytes);
+
+       return true;
+}
+
 /**
  * Flush file \a fd.
  * \return 0 if ok, EOF on errors.
@@ -518,27 +591,39 @@ static int battfs_fileclose(struct KFile *fd)
 }
 
 
-static bool getNewPage(struct BattFsSuper *disk, pgcnt_t new_pos, inode_t inode, pgoff_t pgoff)
+static bool getNewPage(struct BattFsSuper *disk, pgcnt_t new_pos, inode_t inode, pgoff_t pgoff, BattFsPageHeader *new_hdr)
 {
-       if (disk->free_page_start >= disk->page_count)
+       if (SPACE_OVER(disk))
        {
                #warning TODO space over!
-               LOG_INFO("No disk space available\n");
+               LOG_ERR("No disk space available!\n");
                return false;
        }
        flushBuffer(disk);
        LOG_INFO("Getting new page %d, pos %d\n", disk->page_array[disk->free_page_start], new_pos);
        disk->curr_page = disk->page_array[disk->free_page_start++];
        memmove(&disk->page_array[new_pos + 1], &disk->page_array[new_pos], (disk->free_page_start - new_pos - 1) * sizeof(pgcnt_t));
-       #warning TODO: move other files!
+
+       Node *n;
+       /* Move following file start point one position ahead. */
+       FOREACH_NODE(n, &disk->file_opened_list)
+       {
+               BattFs *file = containerof(n, BattFs, link);
+               if (file->inode > inode)
+               {
+                       LOG_INFO("Move file %d start pos\n", file->inode);
+                       file->start++;
+               }
+       }
+
        disk->page_array[new_pos] = disk->curr_page;
        disk->cache_dirty = true;
 
-       disk->curr_hdr.inode = inode;
-       disk->curr_hdr.pgoff =  pgoff;
-       disk->curr_hdr.fill = 0;
-       disk->curr_hdr.seq = 0;
-       return true;
+       new_hdr->inode = inode;
+       new_hdr->pgoff = pgoff;
+       new_hdr->fill = 0;
+       new_hdr->seq = 0;
+       return setBufferHdr(disk, new_hdr);
 }
 
 /**
@@ -548,67 +633,142 @@ static bool getNewPage(struct BattFsSuper *disk, pgcnt_t new_pos, inode_t inode,
 static size_t battfs_write(struct KFile *fd, const void *_buf, size_t size)
 {
        BattFs *fdb = BATTFS_CAST(fd);
+       BattFsSuper *disk = fdb->disk;
        const uint8_t *buf = (const uint8_t *)_buf;
 
        size_t total_write = 0;
        pgoff_t pg_offset;
        pgaddr_t addr_offset;
        pgaddr_t wr_len;
+       BattFsPageHeader curr_hdr;
+
+       if (fd->seek_pos < 0)
+               return total_write;
+
+       if (fd->seek_pos > fd->size)
+       {
+               /* Handle writing when seek pos if far over EOF */
+               if (!loadPage(disk, fdb->start[fdb->max_off], &curr_hdr))
+               {
+                       #warning TODO set error?
+                       return total_write;
+               }
+
+               /* Fill unused space of first page with 0s */
+               uint8_t dummy = 0;
+               pgaddr_t zero_bytes = MIN(fd->seek_pos - fd->size, disk->data_size - curr_hdr.fill);
+               while (zero_bytes--)
+               {
+                       if (disk->bufferWrite(disk, curr_hdr.fill, &dummy, 1) != 1)
+                       {
+                               #warning TODO set error?
+                       }
+                       curr_hdr.fill++;
+                       fd->size++;
+                       disk->free_bytes--;
+                       disk->cache_dirty = true;
+               }
+               setBufferHdr(disk, &curr_hdr);
+
+               /* Allocate the missing pages first. */
+               pgoff_t missing_pages = fd->seek_pos / disk->data_size - fdb->max_off;
+
+               if (missing_pages)
+               {
+                       LOG_INFO("missing pages: %d\n", missing_pages);
+                       flushBuffer(disk);
 
-       #warning TODO seek_pos > size?
+                       /* Fill page buffer with 0 to avoid filling unused pages with garbage */
+                       for (pgaddr_t off = 0; off < disk->data_size; off++)
+                       {
+                               if (disk->bufferWrite(disk, off, &dummy, 1) != 1)
+                               {
+                                       #warning TODO set error?
+                               }
+                       }
+
+                       while (missing_pages--)
+                       {
+                               zero_bytes = MIN((kfile_off_t)disk->data_size, fd->seek_pos - fd->size);
+                               /* Get the new page needed */
+                               if (!getNewPage(disk, (fdb->start - disk->page_array) + fdb->max_off + 1, fdb->inode, fdb->max_off + 1, &curr_hdr))
+                                       return total_write;
+
+                               /* Update size and free space left */
+                               fd->size += zero_bytes;
+                               disk->free_bytes -= zero_bytes;
+
+                               curr_hdr.fill = zero_bytes;
+                               setBufferHdr(disk, &curr_hdr);
+
+                               fdb->max_off++;
+                       }
+               }
+       }
+       else if (!getBufferHdr(disk, &curr_hdr))
+               return total_write;
 
        while (size)
        {
-               pg_offset = fd->seek_pos / (fdb->disk->page_size - BATTFS_HEADER_LEN);
-               addr_offset = fd->seek_pos % (fdb->disk->page_size - BATTFS_HEADER_LEN);
-               wr_len = MIN(size, (size_t)(fdb->disk->page_size - BATTFS_HEADER_LEN - addr_offset));
+               pg_offset = fd->seek_pos / disk->data_size;
+               addr_offset = fd->seek_pos % disk->data_size;
+               wr_len = MIN(size, (size_t)(disk->data_size - addr_offset));
 
                /* Handle write outside EOF */
                if (pg_offset > fdb->max_off)
                {
-                       if (!getNewPage(fdb->disk, (fdb->disk->page_array - fdb->start) + pg_offset, fdb->inode, pg_offset))
+                       LOG_INFO("New page needed, pg_offset %d, pos %d\n", pg_offset, (int)((fdb->start - disk->page_array) + pg_offset));
+                       if (!getNewPage(disk, (fdb->start - disk->page_array) + pg_offset, fdb->inode, pg_offset, &curr_hdr))
                                return total_write;
                        fdb->max_off = pg_offset;
                }
                /* Handle cache load of a new page*/
-               else if (fdb->start[pg_offset] != fdb->disk->curr_page)
+               else if (fdb->start[pg_offset] != disk->curr_page)
                {
-                       LOG_INFO("Re-writing page %d to %d\n", fdb->start[pg_offset], fdb->disk->page_array[fdb->disk->free_page_start]);
-                       if (!loadPage(fdb->disk, fdb->start[pg_offset]))
+                       if (SPACE_OVER(disk))
+                       {
+                               LOG_ERR("No disk space available!\n");
+                               return total_write;
+                       }
+                       LOG_INFO("Re-writing page %d to %d\n", fdb->start[pg_offset], disk->page_array[disk->free_page_start]);
+                       if (!loadPage(disk, fdb->start[pg_offset], &curr_hdr))
                        {
                                #warning TODO set error?
                                return total_write;
                        }
 
                        /* Get a free page */
-                       fdb->disk->curr_page = fdb->disk->page_array[fdb->disk->free_page_start];
-                       movePages(fdb->disk, fdb->disk->free_page_start + 1, -1);
+                       disk->curr_page = disk->page_array[disk->free_page_start];
+                       movePages(disk, disk->free_page_start + 1, -1);
 
                        /* Insert previous page in free blocks list */
                        LOG_INFO("Setting page %d as free\n", fdb->start[pg_offset]);
-                       fdb->disk->page_array[fdb->disk->page_count - 1] = fdb->start[pg_offset];
+                       disk->page_array[disk->page_count - 1] = fdb->start[pg_offset];
                        /* Assign new page */
-                       fdb->start[pg_offset] = fdb->disk->curr_page;
-                       fdb->disk->curr_hdr.seq++;
+                       fdb->start[pg_offset] = disk->curr_page;
+                       curr_hdr.seq++;
                }
 
-
-               LOG_INFO("writing to buffer for page %d, offset %d, size %d\n", fdb->disk->curr_page, addr_offset, wr_len);
-               if (fdb->disk->bufferWrite(fdb->disk, addr_offset, buf, wr_len) != wr_len)
+               //LOG_INFO("writing to buffer for page %d, offset %d, size %d\n", disk->curr_page, addr_offset, wr_len);
+               if (disk->bufferWrite(disk, addr_offset, buf, wr_len) != wr_len)
                {
                        #warning TODO set error?
                }
-               fdb->disk->cache_dirty = true;
+               disk->cache_dirty = true;
 
                size -= wr_len;
                fd->seek_pos += wr_len;
                total_write += wr_len;
                buf += wr_len;
-               fill_t fill_delta = MAX((int32_t)(addr_offset + wr_len) - fdb->disk->curr_hdr.fill, (int32_t)0);
-               fdb->disk->free_bytes -= fill_delta;
-               fdb->disk->curr_hdr.fill += fill_delta;
+               fill_t fill_delta = MAX((int32_t)(addr_offset + wr_len) - curr_hdr.fill, (int32_t)0);
+               disk->free_bytes -= fill_delta;
                fd->size += fill_delta;
-               LOG_INFO("free_bytes %d, seek_pos %d, size %d, curr_hdr.fill %d\n", fdb->disk->free_bytes, fd->seek_pos, fd->size, fdb->disk->curr_hdr.fill);
+               curr_hdr.fill += fill_delta;
+
+               if (!setBufferHdr(disk, &curr_hdr))
+                       return total_write;
+
+               //LOG_INFO("free_bytes %d, seek_pos %d, size %d, curr_hdr.fill %d\n", disk->free_bytes, fd->seek_pos, fd->size, curr_hdr.fill);
        }
        return total_write;
 }
@@ -621,6 +781,7 @@ static size_t battfs_write(struct KFile *fd, const void *_buf, size_t size)
 static size_t battfs_read(struct KFile *fd, void *_buf, size_t size)
 {
        BattFs *fdb = BATTFS_CAST(fd);
+       BattFsSuper *disk = fdb->disk;
        uint8_t *buf = (uint8_t *)_buf;
 
        size_t total_read = 0;
@@ -628,20 +789,30 @@ static size_t battfs_read(struct KFile *fd, void *_buf, size_t size)
        pgaddr_t addr_offset;
        pgaddr_t read_len;
 
-       size = MIN((kfile_off_t)size, fd->size - fd->seek_pos);
+       if (fd->seek_pos < 0)
+               return total_read;
+
+       size = MIN((kfile_off_t)size, MAX(fd->size - fd->seek_pos, 0));
 
        while (size)
        {
-               pg_offset = fd->seek_pos / (fdb->disk->page_size - BATTFS_HEADER_LEN);
-               addr_offset = fd->seek_pos % (fdb->disk->page_size - BATTFS_HEADER_LEN);
-               read_len = MIN(size, (size_t)(fdb->disk->page_size - BATTFS_HEADER_LEN - addr_offset));
+               pg_offset = fd->seek_pos / disk->data_size;
+               addr_offset = fd->seek_pos % disk->data_size;
+               read_len = MIN(size, (size_t)(disk->data_size - addr_offset));
 
+               //LOG_INFO("reading from page %d, offset %d, size %d\n", fdb->start[pg_offset], addr_offset, read_len);
                /* Read from disk */
-               if (diskRead(fdb->disk, fdb->start[pg_offset], addr_offset, buf, read_len) != read_len)
+               if (diskRead(disk, fdb->start[pg_offset], addr_offset, buf, read_len) != read_len)
                {
                        #warning TODO set error?
                }
 
+               #if _DEBUG
+                       BattFsPageHeader hdr;
+                       readHdr(disk, fdb->start[pg_offset], &hdr);
+                       ASSERT(hdr.inode == fdb->inode);
+               #endif
+
                size -= read_len;
                fd->seek_pos += read_len;
                total_read += read_len;
@@ -672,11 +843,12 @@ static bool findFile(BattFsSuper *disk, inode_t inode, pgcnt_t *last)
                LOG_INFO("first %d, last %d, page %d\n", first, *last, page);
                if (!readHdr(disk, disk->page_array[page], &hdr))
                        return false;
-
+               LOG_INFO("inode read: %d\n", hdr.inode);
                fcs = computeFcs(&hdr);
                if (hdr.fcs == fcs && hdr.inode == inode)
                {
                        *last = page - hdr.pgoff;
+                       LOG_INFO("Found: %d\n", *last);
                        return true;
                }
                else if (hdr.fcs == fcs && hdr.inode < inode)
@@ -684,7 +856,7 @@ static bool findFile(BattFsSuper *disk, inode_t inode, pgcnt_t *last)
                else
                        *last = page - 1;
        }
-
+       LOG_INFO("Not found: last %d\n", *last);
        return false;
 }
 
@@ -738,7 +910,8 @@ bool battfs_fileopen(BattFsSuper *disk, BattFs *fd, inode_t inode, filemode_t mo
                if (!(mode & BATTFS_CREATE))
                        return false;
                /* Create the file */
-               if (!(getNewPage(disk, start_pos, inode, 0)))
+               BattFsPageHeader hdr;
+               if (!(getNewPage(disk, start_pos, inode, 0, &hdr)))
                        return false;
        }
        fd->start = &disk->page_array[start_pos];
@@ -747,7 +920,7 @@ bool battfs_fileopen(BattFsSuper *disk, BattFs *fd, inode_t inode, filemode_t mo
        /* Fill file size */
        if ((fd->fd.size = countFileSize(disk, fd->start, inode)) == EOF)
                return false;
-       fd->max_off = fd->fd.size / (disk->page_size - BATTFS_HEADER_LEN);
+       fd->max_off = fd->fd.size / disk->data_size;
 
        /* Reset seek position */
        fd->fd.seek_pos = 0;
@@ -785,9 +958,9 @@ bool battfs_fileopen(BattFsSuper *disk, BattFs *fd, inode_t inode, filemode_t mo
 }
 
 /**
- * Close \a disk.
+ * Umount \a disk.
  */
-bool battfs_close(struct BattFsSuper *disk)
+bool battfs_umount(struct BattFsSuper *disk)
 {
        Node *n;
        int res = 0;