bertos/fs/battfs.c

   1 /**
   2  * \file
   3  * <!--
   4  * This file is part of BeRTOS.
   5  *
   6  * Bertos is free software; you can redistribute it and/or modify
   7  * it under the terms of the GNU General Public License as published by
   8  * the Free Software Foundation; either version 2 of the License, or
   9  * (at your option) any later version.
  10  *
  11  * This program is distributed in the hope that it will be useful,
  12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  14  * GNU General Public License for more details.
  15  *
  16  * You should have received a copy of the GNU General Public License
  17  * along with this program; if not, write to the Free Software
  18  * Foundation, Inc., 51 Franklin St, Fifth Floor, Boston, MA  02110-1301  USA
  19  *
  20  * As a special exception, you may use this file as part of a free software
  21  * library without restriction.  Specifically, if other files instantiate
  22  * templates or use macros or inline functions from this file, or you compile
  23  * this file and link it with other files to produce an executable, this
  24  * file does not by itself cause the resulting executable to be covered by
  25  * the GNU General Public License.  This exception does not however
  26  * invalidate any other reasons why the executable file might be covered by
  27  * the GNU General Public License.
  28  *
  29  * Copyright 2007 Develer S.r.l. (http://www.develer.com/)
  30  *
  31  * -->
  32  *
  33  * \brief BattFS: a filesystem for embedded platforms (implementation).
  34  *
  35  *
  36  * \author Francesco Sacchi <batt@develer.com>
  37  *
  38  */
  39
  40 #include "battfs.h"
  41 #include "cfg/cfg_battfs.h"
  42 #include <cfg/debug.h>
  43 #include <cfg/macros.h> /* MIN, MAX */
  44 #include <cfg/test.h>
  45 #include <cpu/byteorder.h> /* cpu_to_xx */
  46
  47 #define LOG_LEVEL       BATTFS_LOG_LEVEL
  48 #define LOG_FORMAT      BATTFS_LOG_FORMAT
  49 #include <cfg/log.h>
  50
  51 #include <string.h> /* memset, memmove */
  52
  53 #if LOG_LEVEL >= LOG_LVL_INFO
  54 static void dumpPageArray(struct BattFsSuper *disk)
  55 {
  56         kprintf("Page array dump, free_page_start %d:", disk->free_page_start);
  57         for (pgcnt_t i = 0; i < disk->dev->blk_cnt; i++)
  58         {
  59                 if (!(i % 16))
  60                         kputchar('\n');
  61                 kprintf("%04d ", disk->page_array[i]);
  62         }
  63         kputchar('\n');
  64 }
  65 #endif
  66
  67 /**
  68  * Convert from memory representation to disk structure.
  69  * \note filesystem is in little-endian format.
  70  */
  71 INLINE void battfs_to_disk(struct BattFsPageHeader *hdr, uint8_t *buf)
  72 {
  73         STATIC_ASSERT(BATTFS_HEADER_LEN == 12);
  74         buf[0] = hdr->inode;
  75
  76         buf[1] = hdr->fill;
  77         buf[2] = hdr->fill >> 8;
  78
  79         buf[3] = hdr->pgoff;
  80         buf[4] = hdr->pgoff >> 8;
  81
  82         /*
  83          * Sequence number is 40 bits long.
  84          * No need to take care of wraparonds: the memory will die first!
  85          */
  86         buf[5] = hdr->seq;
  87         buf[6] = hdr->seq >> 8;
  88         buf[7] = hdr->seq >> 16;
  89         buf[8] = hdr->seq >> 24;
  90         buf[9] = hdr->seq >> 32;
  91
  92         /*
  93          * This field must be the last one!
  94          * This is needed because if the page is only partially
  95          * written, we can use this to detect it.
  96          */
  97         buf[10] = hdr->fcs;
  98         buf[11] = hdr->fcs >> 8;
  99 }
 100
 101 /**
 102  * Convert from disk structure to memory representation.
 103  * \note filesystem is in little-endian format.
 104  */
 105 INLINE void disk_to_battfs(uint8_t *buf, struct BattFsPageHeader *hdr)
 106 {
 107         STATIC_ASSERT(BATTFS_HEADER_LEN == 12);
 108         hdr->inode = buf[0];
 109         hdr->fill = buf[2] << 8 | buf[1];
 110         hdr->pgoff = buf[4] << 8 | buf[3];
 111         hdr->seq = (seq_t)buf[9] << 32 | (seq_t)buf[8] << 24 | (seq_t)buf[7] << 16 | buf[6] << 8 | buf[5];
 112         hdr->fcs = buf[11] << 8 | buf[10];
 113 }
 114
 115 /**
 116  * Compute the fcs of the header.
 117  */
 118 static fcs_t computeFcs(struct BattFsPageHeader *hdr)
 119 {
 120         uint8_t buf[BATTFS_HEADER_LEN];
 121         fcs_t cks;
 122
 123         battfs_to_disk(hdr, buf);
 124         rotating_init(&cks);
 125         /* fcs is at the end of whole header */
 126         rotating_update(buf, BATTFS_HEADER_LEN - sizeof(fcs_t), &cks);
 127         return cks;
 128 }
 129
 130 /**
 131  * Read header of \a page in \a hdr.
 132  * \return true on success, false otherwise.
 133  */
 134 static bool readHdr(struct BattFsSuper *disk, pgcnt_t page, struct BattFsPageHeader *hdr)
 135 {
 136         uint8_t buf[BATTFS_HEADER_LEN];
 137
 138         /*
 139          * Read header from disk.
 140          * Header is actually a footer, and so
 141          * resides at page end.
 142          */
 143         if (kblock_read(disk->dev, page, buf, disk->data_size, BATTFS_HEADER_LEN)
 144             != BATTFS_HEADER_LEN)
 145         {
 146                 LOG_ERR("page[%d]\n", page);
 147                 return false;
 148         }
 149
 150         /* Fill header */
 151         disk_to_battfs(buf, hdr);
 152
 153         return true;
 154 }
 155
 156 static bool writeHdr(struct BattFsSuper *disk, pgcnt_t page, struct BattFsPageHeader *hdr)
 157 {
 158         uint8_t buf[BATTFS_HEADER_LEN];
 159
 160         #warning FIXME:refactor computeFcs to save time and stack
 161         hdr->fcs = computeFcs(hdr);
 162         /* Fill buffer */
 163         battfs_to_disk(hdr, buf);
 164
 165         /*
 166          * write header to disk.
 167          * Header is actually a footer, and so
 168          * resides at page end.
 169          */
 170         if (kblock_write(disk->dev, page, buf, disk->data_size, BATTFS_HEADER_LEN)
 171             != BATTFS_HEADER_LEN)
 172         {
 173                 LOG_ERR("writing to buffer\n");
 174                 return false;
 175         }
 176         return true;
 177 }
 178
 179
 180 /**
 181  * Count the number of pages from
 182  * inode 0 to \a inode in \a filelen_table.
 183  */
 184 static pgcnt_t countPages(pgoff_t *filelen_table, inode_t inode)
 185 {
 186         pgcnt_t cnt = 0;
 187
 188         for (inode_t i = 0; i < inode; i++)
 189                 cnt += filelen_table[i];
 190
 191         return cnt;
 192 }
 193
 194 /**
 195  * Move all pages in page allocation array from \a src to \a src + \a offset.
 196  * The number of pages moved is page_count - MAX(dst, src).
 197  */
 198 static void movePages(struct BattFsSuper *disk, pgcnt_t src, int offset)
 199 {
 200         pgcnt_t dst = src + offset;
 201         LOG_INFO("src %d, offset %d, size %d\n", src, offset, (unsigned int)((disk->dev->blk_cnt - MAX(dst, src)) * sizeof(pgcnt_t)));
 202         memmove(&disk->page_array[dst], &disk->page_array[src], (disk->dev->blk_cnt - MAX(dst, src)) * sizeof(pgcnt_t));
 203
 204         if (offset < 0)
 205         {
 206                 /* Fill empty space in array with sentinel */
 207                 for (pgcnt_t page = disk->dev->blk_cnt + offset; page < disk->dev->blk_cnt; page++)
 208                         disk->page_array[page] = PAGE_UNSET_SENTINEL;
 209         }
 210 }
 211
 212 /**
 213  * Count number of pages per file on \a disk.
 214  * This information is registered in \a filelen_table.
 215  * Array index represent file inode, while value contained
 216  * is the number of pages used by that file.
 217  *
 218  * \return true if ok, false on disk read errors.
 219  * \note The whole disk is scanned once.
 220  */
 221 static bool countDiskFilePages(struct BattFsSuper *disk, pgoff_t *filelen_table)
 222 {
 223         BattFsPageHeader hdr;
 224         disk->free_page_start = 0;
 225
 226         /* Count the number of disk page per file */
 227         for (pgcnt_t page = 0; page < disk->dev->blk_cnt; page++)
 228         {
 229                 if (!readHdr(disk, page, &hdr))
 230                         return false;
 231
 232                 /* Increase free space */
 233                 disk->free_bytes += disk->data_size;
 234
 235                 /* Check header FCS */
 236                 if (hdr.fcs == computeFcs(&hdr))
 237                 {
 238                         ASSERT(hdr.fill <= disk->data_size);
 239
 240                         /* Page is valid and is owned by a file */
 241                         filelen_table[hdr.inode]++;
 242
 243                         /* Keep trace of free space */
 244                         disk->free_bytes -= hdr.fill;
 245                         disk->free_page_start++;
 246                 }
 247         }
 248         LOG_INFO("free_bytes:%ld, free_page_start:%d\n", (long)disk->free_bytes, disk->free_page_start);
 249
 250         return true;
 251 }
 252
 253 /**
 254  * Fill page allocation array of \a disk
 255  * using file lenghts in \a filelen_table.
 256  *
 257  * The page allocation array is an array containings all file infos.
 258  * Is ordered by file, and within each file is ordered by page offset
 259  * inside file.
 260  * e.g. : at page array[0] you will find page address of the first page
 261  * of the first file (if present).
 262  * Free blocks are allocated after the last file.
 263  *
 264  * \return true if ok, false on disk read errors.
 265  * \note The whole disk is scanned at max twice.
 266  */
 267 static bool fillPageArray(struct BattFsSuper *disk, pgoff_t *filelen_table)
 268 {
 269         BattFsPageHeader hdr;
 270         pgcnt_t curr_free_page = disk->free_page_start;
 271         /* Fill page allocation array */
 272         for (pgcnt_t page = 0; page < disk->dev->blk_cnt; page++)
 273         {
 274                 if (!readHdr(disk, page, &hdr))
 275                         return false;
 276
 277                 /* Check header FCS */
 278                 if (hdr.fcs == computeFcs(&hdr))
 279                 {
 280                         /* Compute array position */
 281                         pgcnt_t array_pos = countPages(filelen_table, hdr.inode);
 282                         array_pos += hdr.pgoff;
 283
 284
 285                         /* Check if position is already used by another page of the same file */
 286                         if (disk->page_array[array_pos] == PAGE_UNSET_SENTINEL)
 287                                 disk->page_array[array_pos] = page;
 288                         else
 289                         {
 290                                 BattFsPageHeader hdr_prv;
 291
 292                                 if (!readHdr(disk, disk->page_array[array_pos], &hdr_prv))
 293                                         return false;
 294
 295                                 /* Check header FCS */
 296                                 ASSERT(hdr_prv.fcs == computeFcs(&hdr_prv));
 297
 298                                 /* Only the very same page with a different seq number can be here */
 299                                 ASSERT(hdr.inode == hdr_prv.inode);
 300                                 ASSERT(hdr.pgoff == hdr_prv.pgoff);
 301                                 ASSERT(hdr.seq != hdr_prv.seq);
 302
 303                                 pgcnt_t new_page, old_page;
 304                                 fill_t old_fill;
 305
 306                                 /*
 307                                  * Sequence number comparison: since
 308                                  * seq is 40 bits wide, it wraps once
 309                                  * every 1.1E12 times.
 310                                  * The memory will not live enough to
 311                                  * see a wraparound, so we can use a simple
 312                                  * compare here.
 313                                  */
 314                                 if (hdr.seq > hdr_prv.seq)
 315                                 {
 316                                         /* Current header is newer than the previuos one */
 317                                         old_page = disk->page_array[array_pos];
 318                                         new_page = page;
 319                                         old_fill = hdr_prv.fill;
 320                                 }
 321                                 else
 322                                 {
 323                                         /* Previous header is newer than the current one */
 324                                         old_page = page;
 325                                         new_page = disk->page_array[array_pos];
 326                                         old_fill = hdr.fill;
 327                                 }
 328
 329                                 /* Set new page */
 330                                 disk->page_array[array_pos] = new_page;
 331                                 /* Add free space */
 332                                 disk->free_bytes += old_fill;
 333                                 /* Shift all array one position to the left, overwriting duplicate page */
 334                                 array_pos -= hdr.pgoff;
 335                                 array_pos += filelen_table[hdr.inode];
 336                                 movePages(disk, array_pos, -1);
 337                                 /* Move back all indexes */
 338                                 filelen_table[hdr.inode]--;
 339                                 disk->free_page_start--;
 340                                 curr_free_page--;
 341                                 /* Set old page as free */
 342                                 ASSERT(disk->page_array[curr_free_page] == PAGE_UNSET_SENTINEL);
 343                                 disk->page_array[curr_free_page++] = old_page;
 344
 345                         }
 346                 }
 347                 else
 348                 {
 349                         /* Invalid page, keep as free */
 350                         ASSERT(disk->page_array[curr_free_page] == PAGE_UNSET_SENTINEL);
 351                         //LOG_INFO("Page %d invalid, keeping as free\n", page);
 352                         disk->page_array[curr_free_page++] = page;
 353                 }
 354         }
 355         return true;
 356 }
 357
 358
 359 /**
 360  * Initialize and mount disk described by
 361  * \a disk.
 362  * \return false on errors, true otherwise.
 363  */
 364 bool battfs_mount(struct BattFsSuper *disk, struct KBlock *dev, pgcnt_t *page_array, size_t array_size)
 365 {
 366         pgoff_t filelen_table[BATTFS_MAX_FILES];
 367
 368         ASSERT(dev);
 369         disk->dev = dev;
 370
 371         ASSERT(disk->dev->blk_size > BATTFS_HEADER_LEN);
 372         /* Fill page_size with the usable space */
 373         disk->data_size = disk->dev->blk_size - BATTFS_HEADER_LEN;
 374         ASSERT(disk->dev->blk_cnt);
 375         ASSERT(disk->dev->blk_cnt < PAGE_UNSET_SENTINEL - 1);
 376         ASSERT(page_array);
 377         disk->page_array = page_array;
 378         ASSERT(array_size >= disk->dev->blk_cnt * sizeof(pgcnt_t));
 379
 380         memset(filelen_table, 0, BATTFS_MAX_FILES * sizeof(pgoff_t));
 381
 382         disk->free_bytes = 0;
 383         disk->disk_size = (disk_size_t)disk->data_size * disk->dev->blk_cnt;
 384
 385         /* Count pages per file */
 386         if (!countDiskFilePages(disk, filelen_table))
 387         {
 388                 LOG_ERR("counting file pages\n");
 389                 return false;
 390         }
 391
 392         /* Once here, we have filelen_table filled with file lengths */
 393
 394         /* Fill page array with sentinel */
 395         for (pgcnt_t page = 0; page < disk->dev->blk_cnt; page++)
 396                 disk->page_array[page] = PAGE_UNSET_SENTINEL;
 397
 398         /* Fill page allocation array using filelen_table */
 399         if (!fillPageArray(disk, filelen_table))
 400         {
 401                 LOG_ERR("filling page array\n");
 402                 return false;
 403         }
 404         #if LOG_LEVEL >= LOG_LVL_INFO
 405                 dumpPageArray(disk);
 406         #endif
 407         #if CONFIG_BATTFS_SHUFFLE_FREE_PAGES
 408                 SHUFFLE(&disk->page_array[disk->free_page_start], disk->dev->blk_cnt - disk->free_page_start);
 409
 410                 LOG_INFO("Page array after shuffle:\n");
 411                 #if LOG_LEVEL >= LOG_LVL_INFO
 412                         dumpPageArray(disk);
 413                 #endif
 414         #endif
 415         /* Init list for opened files. */
 416         LIST_INIT(&disk->file_opened_list);
 417         return true;
 418 }
 419
 420 /**
 421  * Check the filesystem.
 422  * \return true if ok, false on errors.
 423  */
 424 bool battfs_fsck(struct BattFsSuper *disk)
 425 {
 426         #define FSCHECK(cond) do { if(!(cond)) { LOG_ERR("\"" #cond "\"\n"); return false; } } while (0)
 427
 428         FSCHECK(disk->free_page_start <= disk->dev->blk_cnt);
 429         FSCHECK(disk->data_size < disk->dev->blk_size);
 430         FSCHECK(disk->free_bytes <= disk->disk_size);
 431
 432         disk_size_t free_bytes = 0;
 433         BattFsPageHeader hdr, prev_hdr;
 434         inode_t files = 0;
 435         pgcnt_t page_used = 0;
 436
 437         bool start = true;
 438
 439         /* Uneeded, the first time will be overwritten but useful to silence
 440          * the warning for uninitialized value */
 441         FSCHECK(readHdr(disk, 0, &prev_hdr));
 442         for (pgcnt_t page = 0; page < disk->dev->blk_cnt; page++)
 443         {
 444                 FSCHECK(readHdr(disk, disk->page_array[page], &hdr));
 445                 free_bytes += disk->data_size;
 446
 447                 if (page < disk->free_page_start)
 448                 {
 449                         FSCHECK(computeFcs(&hdr) == hdr.fcs);
 450                         page_used++;
 451                         free_bytes -= hdr.fill;
 452                         if (hdr.inode != prev_hdr.inode || start)
 453                         {
 454                                 if (LIKELY(!start))
 455                                         FSCHECK(hdr.inode > prev_hdr.inode);
 456                                 else
 457                                         start = false;
 458
 459                                 FSCHECK(hdr.pgoff == 0);
 460                                 files++;
 461                         }
 462                         else
 463                         {
 464                                 FSCHECK(hdr.fill != 0);
 465                                 FSCHECK(prev_hdr.fill == disk->data_size);
 466                                 FSCHECK(hdr.pgoff == prev_hdr.pgoff + 1);
 467                         }
 468                         prev_hdr = hdr;
 469                 }
 470         }
 471
 472         FSCHECK(page_used == disk->free_page_start);
 473         FSCHECK(free_bytes == disk->free_bytes);
 474
 475         return true;
 476 }
 477
 478 /**
 479  * Flush file \a fd.
 480  * \return 0 if ok, EOF on errors.
 481  */
 482 static int battfs_flush(struct KFile *fd)
 483 {
 484         BattFs *fdb = BATTFS_CAST(fd);
 485
 486         if (kblock_flush(fdb->disk->dev) == 0)
 487                 return 0;
 488         else
 489         {
 490                 fdb->errors |= BATTFS_DISK_FLUSHBUF_ERR;
 491                 return EOF;
 492         }
 493 }
 494
 495 /**
 496  * Close file \a fd.
 497  * \return 0 if ok, EOF on errors.
 498  */
 499 static int battfs_fileclose(struct KFile *fd)
 500 {
 501         BattFs *fdb = BATTFS_CAST(fd);
 502
 503         if (battfs_flush(fd) == 0)
 504         {
 505                 REMOVE(&fdb->link);
 506                 return 0;
 507         }
 508         else
 509                 return EOF;
 510 }
 511
 512 #define NO_SPACE PAGE_UNSET_SENTINEL
 513
 514 static pgcnt_t allocateNewPage(struct BattFsSuper *disk, pgcnt_t new_pos, inode_t inode)
 515 {
 516         if (SPACE_OVER(disk))
 517         {
 518                 LOG_ERR("No disk space available!\n");
 519                 return NO_SPACE;
 520         }
 521
 522         LOG_INFO("Getting new page %d, pos %d\n", disk->page_array[disk->free_page_start], new_pos);
 523         pgcnt_t new_page = disk->page_array[disk->free_page_start++];
 524         memmove(&disk->page_array[new_pos + 1], &disk->page_array[new_pos], (disk->free_page_start - new_pos - 1) * sizeof(pgcnt_t));
 525
 526         Node *n;
 527         /* Move following file start point one position ahead. */
 528         FOREACH_NODE(n, &disk->file_opened_list)
 529         {
 530                 BattFs *file = containerof(n, BattFs, link);
 531                 if (file->inode > inode)
 532                 {
 533                         LOG_INFO("Move file %d start pos\n", file->inode);
 534                         file->start++;
 535                 }
 536         }
 537
 538         disk->page_array[new_pos] = new_page;
 539         return new_page;
 540 }
 541
 542 static pgcnt_t renewPage(struct BattFsSuper *disk, pgcnt_t old_pos)
 543 {
 544         if (SPACE_OVER(disk))
 545         {
 546                 LOG_ERR("No disk space available!\n");
 547                 return NO_SPACE;
 548         }
 549
 550         /* Get a free page */
 551         pgcnt_t new_page = disk->page_array[disk->free_page_start];
 552         movePages(disk, disk->free_page_start + 1, -1);
 553
 554         /* Insert previous page in free blocks list */
 555         LOG_INFO("Setting page %d as free\n", old_pos);
 556         disk->page_array[disk->dev->blk_cnt - 1] = old_pos;
 557         return new_page;
 558 }
 559
 560 /**
 561  * Write to file \a fd \a size bytes from \a buf.
 562  * \return The number of bytes written.
 563  */
 564 static size_t battfs_write(struct KFile *fd, const void *_buf, size_t size)
 565 {
 566         BattFs *fdb = BATTFS_CAST(fd);
 567         BattFsSuper *disk = fdb->disk;
 568         const uint8_t *buf = (const uint8_t *)_buf;
 569
 570         size_t total_write = 0;
 571         pgoff_t pg_offset;
 572         pgaddr_t addr_offset;
 573         pgaddr_t wr_len;
 574         BattFsPageHeader curr_hdr;
 575         pgcnt_t new_page;
 576
 577         if (fd->seek_pos < 0)
 578         {
 579                 fdb->errors |= BATTFS_NEGATIVE_SEEK_ERR;
 580                 return total_write;
 581         }
 582
 583         if (fd->seek_pos > fd->size)
 584         {
 585                 // TODO: renew this last page only if needed
 586                 if (!readHdr(disk, fdb->start[fdb->max_off], &curr_hdr))
 587                 {
 588                         fdb->errors |= BATTFS_DISK_READ_ERR;
 589                         return total_write;
 590                 }
 591
 592                 new_page = renewPage(disk, fdb->start[fdb->max_off]);
 593                 if (new_page == NO_SPACE)
 594                 {
 595                         fdb->errors |= BATTFS_DISK_SPACEOVER_ERR;
 596                         return total_write;
 597                 }
 598
 599                 kblock_copy(disk->dev, fdb->start[fdb->max_off], new_page);
 600                 fdb->start[fdb->max_off] = new_page;
 601
 602                 /* Fill unused space of first page with 0s */
 603                 uint8_t dummy = 0;
 604                 // TODO: write in blocks to speed up things
 605                 pgaddr_t zero_bytes = MIN(fd->seek_pos - fd->size, (kfile_off_t)(disk->data_size - curr_hdr.fill));
 606                 while (zero_bytes--)
 607                 {
 608                         if (kblock_write(disk->dev, new_page, &dummy, curr_hdr.fill, 1) != 1)
 609                         {
 610                                 fdb->errors |= BATTFS_DISK_WRITE_ERR;
 611                                 return total_write;
 612                         }
 613                         curr_hdr.fill++;
 614                         fd->size++;
 615                         disk->free_bytes--;
 616                 }
 617                 curr_hdr.seq++;
 618                 if (!writeHdr(disk, new_page, &curr_hdr))
 619                 {
 620                         fdb->errors |= BATTFS_DISK_WRITE_ERR;
 621                         return total_write;
 622                 }
 623
 624                 /* Allocate the missing pages first. */
 625                 pgoff_t missing_pages = fd->seek_pos / disk->data_size - fdb->max_off;
 626
 627                 LOG_INFO("missing pages: %d\n", missing_pages);
 628
 629                 while (missing_pages--)
 630                 {
 631                         zero_bytes = MIN((kfile_off_t)disk->data_size, fd->seek_pos - fd->size);
 632
 633                         new_page = allocateNewPage(disk, (fdb->start - disk->page_array) + fdb->max_off + 1, fdb->inode);
 634                         if (new_page == NO_SPACE)
 635                         {
 636                                 fdb->errors |= BATTFS_DISK_SPACEOVER_ERR;
 637                                 return total_write;
 638                         }
 639
 640
 641                         // TODO: write in blocks to speed up things
 642                         /* Fill page buffer with 0 to avoid filling unused pages with garbage */
 643                         for (pgaddr_t off = 0; off < disk->data_size; off++)
 644                         {
 645                                 if (kblock_write(disk->dev, new_page, &dummy, off, 1) != 1)
 646                                 {
 647                                         fdb->errors |= BATTFS_DISK_WRITE_ERR;
 648                                         return total_write;
 649                                 }
 650                         }
 651                         curr_hdr.inode = fdb->inode;
 652                         curr_hdr.pgoff = ++fdb->max_off;
 653                         curr_hdr.fill = zero_bytes;
 654                         curr_hdr.seq = 0;
 655
 656                         if (!writeHdr(disk, new_page, &curr_hdr))
 657                         {
 658                                 fdb->errors |= BATTFS_DISK_WRITE_ERR;
 659                                 return total_write;
 660                         }
 661
 662                         /* Update size and free space left */
 663                         fd->size += zero_bytes;
 664                         disk->free_bytes -= zero_bytes;
 665                 }
 666         }
 667
 668         while (size)
 669         {
 670                 pg_offset = fd->seek_pos / disk->data_size;
 671                 addr_offset = fd->seek_pos % disk->data_size;
 672                 wr_len = MIN(size, (size_t)(disk->data_size - addr_offset));
 673
 674                 /* Handle write outside EOF */
 675                 if (pg_offset > fdb->max_off)
 676                 {
 677                         LOG_INFO("New page needed, pg_offset %d, pos %d\n", pg_offset, (int)((fdb->start - disk->page_array) + pg_offset));
 678
 679                         new_page = allocateNewPage(disk, (fdb->start - disk->page_array) + pg_offset, fdb->inode);
 680                         if (new_page == NO_SPACE)
 681                         {
 682                                 fdb->errors |= BATTFS_DISK_SPACEOVER_ERR;
 683                                 return total_write;
 684                         }
 685
 686                         curr_hdr.inode = fdb->inode;
 687                         curr_hdr.pgoff = pg_offset;
 688                         curr_hdr.fill = 0;
 689                         curr_hdr.seq = 0;
 690                         fdb->max_off = pg_offset;
 691                 }
 692                 else
 693                 {
 694                         // TODO: do not renew page if its cached
 695                         if (!readHdr(disk, fdb->start[pg_offset], &curr_hdr))
 696                         {
 697                                 fdb->errors |= BATTFS_DISK_READ_ERR;
 698                                 return total_write;
 699                         }
 700
 701                         new_page = renewPage(disk, fdb->start[pg_offset]);
 702                         if (new_page == NO_SPACE)
 703                         {
 704                                 fdb->errors |= BATTFS_DISK_SPACEOVER_ERR;
 705                                 return total_write;
 706                         }
 707
 708                         LOG_INFO("Re-writing page %d to %d\n", fdb->start[pg_offset], new_page);
 709                         if (kblock_copy(disk->dev, fdb->start[pg_offset], new_page) != 0)
 710                         {
 711                                 fdb->errors |= BATTFS_DISK_WRITE_ERR;
 712                                 return total_write;
 713                         }
 714                         fdb->start[pg_offset] = new_page;
 715                         curr_hdr.seq++;
 716                 }
 717                 //LOG_INFO("writing to buffer for page %d, offset %d, size %d\n", disk->curr_page, addr_offset, wr_len);
 718                 if (kblock_write(disk->dev, new_page, buf, addr_offset, wr_len) != wr_len)
 719                 {
 720                         fdb->errors |= BATTFS_DISK_WRITE_ERR;
 721                         return total_write;
 722                 }
 723
 724                 size -= wr_len;
 725                 fd->seek_pos += wr_len;
 726                 total_write += wr_len;
 727                 buf += wr_len;
 728                 fill_t fill_delta = MAX((int32_t)(addr_offset + wr_len) - curr_hdr.fill, (int32_t)0);
 729                 disk->free_bytes -= fill_delta;
 730                 fd->size += fill_delta;
 731                 curr_hdr.fill += fill_delta;
 732
 733                 if (!writeHdr(disk, new_page, &curr_hdr))
 734                 {
 735                         fdb->errors |= BATTFS_DISK_WRITE_ERR;
 736                         return total_write;
 737                 }
 738
 739                 //LOG_INFO("free_bytes %d, seek_pos %d, size %d, curr_hdr.fill %d\n", disk->free_bytes, fd->seek_pos, fd->size, curr_hdr.fill);
 740         }
 741         return total_write;
 742 }
 743
 744
 745 /**
 746  * Read from file \a fd \a size bytes in \a buf.
 747  * \return The number of bytes read.
 748  */
 749 static size_t battfs_read(struct KFile *fd, void *_buf, size_t size)
 750 {
 751         BattFs *fdb = BATTFS_CAST(fd);
 752         BattFsSuper *disk = fdb->disk;
 753         uint8_t *buf = (uint8_t *)_buf;
 754
 755         size_t total_read = 0;
 756         pgoff_t pg_offset;
 757         pgaddr_t addr_offset;
 758         pgaddr_t read_len;
 759
 760         if (fd->seek_pos < 0)
 761         {
 762                 fdb->errors |= BATTFS_NEGATIVE_SEEK_ERR;
 763                 return total_read;
 764         }
 765
 766         size = MIN((kfile_off_t)size, MAX(fd->size - fd->seek_pos, (kfile_off_t)0));
 767
 768         while (size)
 769         {
 770                 pg_offset = fd->seek_pos / disk->data_size;
 771                 addr_offset = fd->seek_pos % disk->data_size;
 772                 read_len = MIN(size, (size_t)(disk->data_size - addr_offset));
 773
 774                 //LOG_INFO("reading from page %d, offset %d, size %d\n", fdb->start[pg_offset], addr_offset, read_len);
 775                 /* Read from disk */
 776                 if (kblock_read(disk->dev, fdb->start[pg_offset], buf, addr_offset, read_len) != read_len)
 777                 {
 778                         fdb->errors |= BATTFS_DISK_READ_ERR;
 779                         return total_read;
 780                 }
 781
 782                 #ifdef _DEBUG
 783                         BattFsPageHeader hdr;
 784                         readHdr(disk, fdb->start[pg_offset], &hdr);
 785                         ASSERT(hdr.inode == fdb->inode);
 786                 #endif
 787
 788                 size -= read_len;
 789                 fd->seek_pos += read_len;
 790                 total_read += read_len;
 791                 buf += read_len;
 792         }
 793         return total_read;
 794 }
 795
 796
 797 /**
 798  * Search file \a inode in \a disk using a binary search.
 799  * \a last is filled with array offset of file start
 800  * in disk->page_array if file is found, otherwise
 801  * \a last is filled with the correct insert position
 802  * for creating a file with the given \a inode.
 803  * \return true if file is found, false otherwisr.
 804  */
 805 static bool findFile(BattFsSuper *disk, inode_t inode, pgcnt_t *last)
 806 {
 807         BattFsPageHeader hdr;
 808         pgcnt_t first = 0, page;
 809         *last = disk->free_page_start;
 810         fcs_t fcs;
 811
 812         while (first < *last)
 813         {
 814                 page = (first + *last) / 2;
 815                 LOG_INFO("first %d, last %d, page %d\n", first, *last, page);
 816                 if (!readHdr(disk, disk->page_array[page], &hdr))
 817                         return false;
 818                 LOG_INFO("inode read: %d\n", hdr.inode);
 819                 fcs = computeFcs(&hdr);
 820                 if (hdr.fcs == fcs && hdr.inode == inode)
 821                 {
 822                         *last = page - hdr.pgoff;
 823                         LOG_INFO("Found: %d\n", *last);
 824                         return true;
 825                 }
 826                 else if (hdr.fcs == fcs && hdr.inode < inode)
 827                         first = page + 1;
 828                 else
 829                         *last = page;
 830         }
 831         LOG_INFO("Not found: last %d\n", *last);
 832         return false;
 833 }
 834
 835 /**
 836  * \return true if file \a inode exists on \a disk, false otherwise.
 837  */
 838 bool battfs_fileExists(BattFsSuper *disk, inode_t inode)
 839 {
 840         pgcnt_t dummy;
 841         return findFile(disk, inode, &dummy);
 842 }
 843
 844 /**
 845  * Count size of file \a inode on \a disk, starting at pointer \a start
 846  * in disk->page_array. Size is written in \a size.
 847  * \return true if all s ok, false on disk read errors.
 848  */
 849 static file_size_t countFileSize(BattFsSuper *disk, pgcnt_t *start, inode_t inode)
 850 {
 851         file_size_t size = 0;
 852         BattFsPageHeader hdr;
 853
 854         while (start < &disk->page_array[disk->free_page_start])
 855         {
 856                 if (!readHdr(disk, *start++, &hdr))
 857                         return EOF;
 858                 if (hdr.fcs == computeFcs(&hdr) && hdr.inode == inode)
 859                         size += hdr.fill;
 860                 else
 861                         break;
 862         }
 863         return size;
 864 }
 865
 866 static int battfs_error(struct KFile *fd)
 867 {
 868         BattFs *fdb = BATTFS_CAST(fd);
 869         return fdb->errors;
 870 }
 871
 872
 873 static void battfs_clearerr(struct KFile *fd)
 874 {
 875         BattFs *fdb = BATTFS_CAST(fd);
 876         fdb->errors = 0;
 877 }
 878
 879 /**
 880  * Open file \a inode from \a disk in \a mode.
 881  * File context is stored in \a fd.
 882  * \return true if ok, false otherwise.
 883  */
 884 bool battfs_fileopen(BattFsSuper *disk, BattFs *fd, inode_t inode, filemode_t mode)
 885 {
 886         Node *n;
 887
 888         memset(fd, 0, sizeof(*fd));
 889
 890         /* Search file start point in disk page array */
 891         pgcnt_t start_pos;
 892         if (!findFile(disk, inode, &start_pos))
 893         {
 894                 LOG_INFO("file %d not found\n", inode);
 895                 if (!(mode & BATTFS_CREATE))
 896                 {
 897                         fd->errors |= BATTFS_FILE_NOT_FOUND_ERR;
 898                         return false;
 899                 }
 900                 /* Create the file */
 901                 BattFsPageHeader hdr;
 902
 903                 if (allocateNewPage(disk, start_pos, inode) == NO_SPACE)
 904                 {
 905                         fd->errors |= BATTFS_DISK_SPACEOVER_ERR;
 906                         return false;
 907                 }
 908
 909                 hdr.inode = inode;
 910                 hdr.pgoff = 0;
 911                 hdr.fill = 0;
 912                 hdr.seq = 0;
 913                 if (!writeHdr(disk, disk->page_array[start_pos], &hdr))
 914                 {
 915                         fd->errors |= BATTFS_DISK_WRITE_ERR;
 916                         return false;
 917                 }
 918         }
 919         fd->start = &disk->page_array[start_pos];
 920         LOG_INFO("Start pos %d\n", start_pos);
 921
 922         /* Fill file size */
 923         if ((fd->fd.size = countFileSize(disk, fd->start, inode)) == EOF)
 924         {
 925                 fd->errors |= BATTFS_DISK_READ_ERR;
 926                 return false;
 927         }
 928         fd->max_off = fd->fd.size / disk->data_size;
 929
 930         /* Reset seek position */
 931         fd->fd.seek_pos = 0;
 932
 933         /* Insert file handle in list, ordered by inode, ascending. */
 934         FOREACH_NODE(n, &disk->file_opened_list)
 935         {
 936                 BattFs *file = containerof(n, BattFs, link);
 937                 if (file->inode >= inode)
 938                         break;
 939         }
 940         INSERT_BEFORE(&fd->link, n);
 941
 942         /* Fill in data */
 943         fd->inode = inode;
 944         fd->mode = mode;
 945         fd->disk = disk;
 946
 947         fd->fd.close = battfs_fileclose;
 948         fd->fd.flush = battfs_flush;
 949         fd->fd.read = battfs_read;
 950         fd->fd.reopen = kfile_genericReopen;
 951         fd->fd.seek = kfile_genericSeek;
 952         fd->fd.write = battfs_write;
 953
 954         fd->fd.error = battfs_error;
 955         fd->fd.clearerr = battfs_clearerr;
 956
 957         DB(fd->fd._type = KFT_BATTFS);
 958
 959         return true;
 960 }
 961
 962
 963 /**
 964  * Umount \a disk.
 965  */
 966 bool battfs_umount(struct BattFsSuper *disk)
 967 {
 968         Node *n;
 969         int res = 0;
 970
 971         /* Close all open files */
 972         FOREACH_NODE(n, &disk->file_opened_list)
 973         {
 974                 BattFs *file = containerof(n, BattFs, link);
 975                 res += battfs_fileclose(&file->fd);
 976         }
 977
 978         /* Close disk */
 979         return (kblock_flush(disk->dev) == 0) && (kblock_close(disk->dev) == 0) && (res == 0);
 980 }
 981
 982 #if UNIT_TEST
 983
 984 void battfs_writeTestBlock(KBlock *dev, pgcnt_t page, inode_t inode, seq_t seq, fill_t fill, pgoff_t pgoff)
 985 {
 986         uint8_t buf[BATTFS_HEADER_LEN];
 987         battfs_eraseBlock(dev, page);
 988
 989         BattFsPageHeader hdr;
 990         hdr.inode = inode;
 991         hdr.fill = fill;
 992         hdr.pgoff = pgoff;
 993         hdr.seq = seq;
 994         hdr.fcs = computeFcs(&hdr);
 995
 996         battfs_to_disk(&hdr, buf);
 997
 998         ASSERT(kblock_write(dev, page, buf, dev->blk_size - BATTFS_HEADER_LEN, BATTFS_HEADER_LEN) == BATTFS_HEADER_LEN);
 999         ASSERT(kblock_flush(dev) == 0);
1000 }
1001
1002 void battfs_eraseBlock(KBlock *dev, pgcnt_t page)
1003 {
1004         /* Reset page to all 0xff */
1005         uint8_t buf[dev->blk_size];
1006         memset(buf, 0xFF, dev->blk_size);
1007         ASSERT(kblock_write(dev, page, buf, 0, dev->blk_size) == dev->blk_size);
1008         ASSERT(kblock_flush(dev) == 0);
1009 }
1010
1011 #endif