added Jamie McClelland as author in src/*
[monkeysphere.git] / src / common
index 8b078d64de3bc79863ca78ed406edb8baff78f71..16235a2881f7b7c2c9480abe5e93c6d17681f28b 100644 (file)
@@ -4,6 +4,8 @@
 #
 # Written by
 # Jameson Rollins <jrollins@fifthhorseman.net>
+# Jamie McClelland <jm@mayfirst.org>
+# Daniel Kahn Gillmor <dkg@fifthhorseman.net>
 #
 # Copyright 2008, released under the GPL, version 3 or later
 
 # file) and are considered global
 
 ########################################################################
+### COMMON VARIABLES
+
 # managed directories
 ETC="/etc/monkeysphere"
 export ETC
-CACHE="/var/cache/monkeysphere"
-export CACHE
+
 ########################################################################
+### UTILITY FUNCTIONS
 
+# failure function.  exits with code 255, unless specified otherwise.
 failure() {
     echo "$1" >&2
-    exit ${2:-'1'}
+    exit ${2:-'255'}
 }
 
-# write output to stderr
+# write output to stderr based on specified LOG_LEVEL the first
+# parameter is the priority of the output, and everything else is what
+# is echoed to stderr
 log() {
-    echo -n "ms: " 1>&2
-    echo "$@" 1>&2
+    local priority
+    local level
+    local output
+    # don't include SILENT in alllevels: it's handled separately
+    # list in decreasing verbosity (all caps)
+    local alllevels="DEBUG INFO ERROR"
+    local found=
+
+    # translate lowers to uppers in global log level
+    LOG_LEVEL=$(echo "$LOG_LEVEL" | tr "[:lower:]" "[:upper:]")
+
+    # just go ahead and return if the log level is silent
+    if [ "$LOG_LEVEL" = 'SILENT' ] ; then
+       return
+    fi
+
+    for level in $alllevels; do 
+       if [ "$LOG_LEVEL" = "$level" ] ; then
+           found=true
+       fi
+    done
+    if [ -z "$found" ] ; then
+       # default to INFO:
+       LOG_LEVEL=INFO
+    fi
+
+    # get priority from first parameter, translating all lower to
+    # uppers
+    priority=$(echo "$1" | tr "[:lower:]" "[:upper:]")
+    shift
+
+    # scan over available levels
+    for level in $alllevels ; do
+       # output if the log level matches, set output to true
+       # this will output for all subsequent loops as well.
+       if [ "$LOG_LEVEL" = "$level" ] ; then
+           output=true
+       fi
+       if [ "$priority" = "$level" -a "$output" = 'true' ] ; then
+           echo -n "ms: " >&2
+           echo "$@" >&2
+       fi
+    done
 }
 
 # cut out all comments(#) and blank lines from standard input
 meat() {
-    grep -v -e "^[[:space:]]*#" -e '^$'
+    grep -v -e "^[[:space:]]*#" -e '^$' "$1"
 }
 
 # cut a specified line from standard input
 cutline() {
-    head --line="$1" | tail -1
-}
-
-# retrieve all keys with given user id from keyserver
-# FIXME: need to figure out how to retrieve all matching keys
-# (not just first 5)
-gpg_fetch_userid() {
-    local userID
-    userID="$1"
-
-    # if CHECK_KEYSERVER variable set, check the keyserver
-    # for the user ID
-    if [ "CHECK_KEYSERVER" ] ; then
-       echo 1,2,3,4,5 | \
-           gpg --quiet --batch --command-fd 0 --with-colons \
-           --keyserver "$KEYSERVER" \
-           --search ="$userID" >/dev/null 2>&1
-
-    # otherwise just return true
-    else
-       return
-    fi
+    head --line="$1" "$2" | tail -1
 }
 
 # check that characters are in a string (in an AND fashion).
 # used for checking key capability
 # check_capability capability a [b...]
 check_capability() {
-    local capability
+    local usage
     local capcheck
 
-    capability="$1"
+    usage="$1"
     shift 1
 
     for capcheck ; do
-       if echo "$capability" | grep -q -v "$capcheck" ; then
+       if echo "$usage" | grep -q -v "$capcheck" ; then
            return 1
        fi
     done
     return 0
 }
 
-# get the full fingerprint of a key ID
-get_key_fingerprint() {
-    local keyID
+# hash of a file
+file_hash() {
+    md5sum "$1" 2> /dev/null
+}
+
+# convert escaped characters in pipeline from gpg output back into
+# original character
+# FIXME: undo all escape character translation in with-colons gpg
+# output
+gpg_unescape() {
+    sed 's/\\x3a/:/g'
+}
+
+# convert nasty chars into gpg-friendly form in pipeline
+# FIXME: escape everything, not just colons!
+gpg_escape() {
+    sed 's/:/\\x3a/g'
+}
+
+# prompt for GPG-formatted expiration, and emit result on stdout
+get_gpg_expiration() {
+    local keyExpire
+
+    keyExpire="$1"
+
+    if [ -z "$keyExpire" ]; then
+       cat >&2 <<EOF
+Please specify how long the key should be valid.
+         0 = key does not expire
+      <n>  = key expires in n days
+      <n>w = key expires in n weeks
+      <n>m = key expires in n months
+      <n>y = key expires in n years
+EOF
+       while [ -z "$keyExpire" ] ; do
+           read -p "Key is valid for? (0) " keyExpire
+           if ! test_gpg_expire ${keyExpire:=0} ; then
+               echo "invalid value" >&2
+               unset keyExpire
+           fi
+       done
+    elif ! test_gpg_expire "$keyExpire" ; then
+       failure "invalid key expiration value '$keyExpire'."
+    fi
+       
+    echo "$keyExpire"
+}
+
+passphrase_prompt() {
+    local prompt="$1"
+    local fifo="$2"
+    local PASS
+
+    if [ "$DISPLAY" ] && which "${SSH_ASKPASS:-ssh-askpass}" >/dev/null; then
+       "${SSH_ASKPASS:-ssh-askpass}" "$prompt" > "$fifo"
+    else
+       read -s -p "$prompt" PASS
+       # Uses the builtin echo, so should not put the passphrase into
+       # the process table.  I think. --dkg
+       echo "$PASS" > "$fifo"
+    fi
+}
+
+test_gnu_dummy_s2k_extension() {
+
+# this block contains a demonstration private key that has had the
+# primary key stripped out using the GNU S2K extension known as
+# "gnu-dummy" (see /usr/share/doc/gnupg/DETAILS.gz).  The subkey is
+# present in cleartext, however.
+
+# openpgp2ssh will be able to deal with this based on whether the
+# local copy of GnuTLS contains read_s2k support that can handle it.
+
+# read up on that here:
+
+# http://lists.gnu.org/archive/html/gnutls-devel/2008-08/msg00005.html
+
+echo "
+-----BEGIN PGP PRIVATE KEY BLOCK-----
+Version: GnuPG v1.4.9 (GNU/Linux)
+
+lQCVBEO3YdABBACRqqEnucag4+vyZny2M67Pai5+5suIRRvY+Ly8Ms5MvgCi3EVV
+xT05O/+0ShiRaf+QicCOFrhbU9PZzzU+seEvkeW2UCu4dQfILkmj+HBEIltGnHr3
+G0yegHj5pnqrcezERURf2e17gGFWX91cXB9Cm721FPXczuKraphKwCA9PwARAQAB
+/gNlAkdOVQG0OURlbW9uc3RyYXRpb24gS2V5IGZvciBTMksgR05VIGV4dGVuc2lv
+biAxMDAxIC0tIGdudS1kdW1teYi8BBMBAgAmBQJDt2HQAhsDBQkB4TOABgsJCAcD
+AgQVAggDBBYCAwECHgECF4AACgkQQZUwSa4UDezTOQP/TMQXUVrWzHYZGopoPZ2+
+ZS3qddiznBHsgb7MGYg1KlTiVJSroDUBCHIUJvdQKZV9zrzrFl47D07x6hGyUPHV
+aZXvuITW8t1o5MMHkCy3pmJ2KgfDvdUxrBvLfgPMICA4c6zA0mWquee43syEW9NY
+g3q61iPlQwD1J1kX1wlimLCdAdgEQ7dh0AEEANAwa63zlQbuy1Meliy8otwiOa+a
+mH6pxxUgUNggjyjO5qx+rl25mMjvGIRX4/L1QwIBXJBVi3SgvJW1COZxZqBYqj9U
+8HVT07mWKFEDf0rZLeUE2jTm16cF9fcW4DQhW+sfYm+hi2sY3HeMuwlUBK9KHfW2
++bGeDzVZ4pqfUEudABEBAAEAA/0bemib+wxub9IyVFUp7nPobjQC83qxLSNzrGI/
+RHzgu/5CQi4tfLOnwbcQsLELfker2hYnjsLrT9PURqK4F7udrWEoZ1I1LymOtLG/
+4tNZ7Mnul3wRC2tCn7FKx8sGJwGh/3li8vZ6ALVJAyOia5TZ/buX0+QZzt6+hPKk
+7MU1WQIA4bUBjtrsqDwro94DvPj3/jBnMZbXr6WZIItLNeVDUcM8oHL807Am97K1
+ueO/f6v1sGAHG6lVPTmtekqPSTWBfwIA7CGFvEyvSALfB8NUa6jtk27NCiw0csql
+kuhCmwXGMVOiryKEfegkIahf2bAd/gnWHPrpWp7bUE20v8YoW22I4wIAhnm5Wr5Q
+Sy7EHDUxmJm5TzadFp9gq08qNzHBpXSYXXJ3JuWcL1/awUqp3tE1I6zZ0hZ38Ia6
+SdBMN88idnhDPqPoiKUEGAECAA8FAkO3YdACGyAFCQHhM4AACgkQQZUwSa4UDezm
+vQP/ZhK+2ly9oI2z7ZcNC/BJRch0/ybQ3haahII8pXXmOThpZohr/LUgoWgCZdXg
+vP6yiszNk2tIs8KphCAw7Lw/qzDC2hEORjWO4f46qk73RAgSqG/GyzI4ltWiDhqn
+vnQCFl3+QFSe4zinqykHnLwGPMXv428d/ZjkIc2ju8dRsn4=
+=CR5w
+-----END PGP PRIVATE KEY BLOCK-----
+" | openpgp2ssh 4129E89D17C1D591 >/dev/null 2>/dev/null
+
+}
+
+# remove all lines with specified string from specified file
+remove_line() {
+    local file
+    local string
+
+    file="$1"
+    string="$2"
+
+    if [ -z "$file" -o -z "$string" ] ; then
+       return 1
+    fi
+
+    if [ ! -e "$file" ] ; then
+       return 1
+    fi
+
+    # if the string is in the file...
+    if grep -q -F "$string" "$file" 2> /dev/null ; then
+       # remove the line with the string, and return 0
+       grep -v -F "$string" "$file" | sponge "$file"
+       return 0
+    # otherwise return 1
+    else
+       return 1
+    fi
+}
+
+# remove all lines with MonkeySphere strings in file
+remove_monkeysphere_lines() {
+    local file
+
+    file="$1"
+
+    if [ -z "$file" ] ; then
+       return 1
+    fi
+
+    if [ ! -e "$file" ] ; then
+       return 1
+    fi
+
+    egrep -v '^MonkeySphere[[:digit:]]{4}(-[[:digit:]]{2}){2}T[[:digit:]]{2}(:[[:digit:]]{2}){2}$' \
+       "$file" | sponge "$file"
+}
+
+# translate ssh-style path variables %h and %u
+translate_ssh_variables() {
+    local uname
+    local home
+
+    uname="$1"
+    path="$2"
+
+    # get the user's home directory
+    userHome=$(getent passwd "$uname" | cut -d: -f6)
+
+    # translate '%u' to user name
+    path=${path/\%u/"$uname"}
+    # translate '%h' to user home directory
+    path=${path/\%h/"$userHome"}
+
+    echo "$path"
+}
+
+# test that a string to conforms to GPG's expiration format
+test_gpg_expire() {
+    echo "$1" | egrep -q "^[0-9]+[mwy]?$"
+}
+
+# check that a file is properly owned, and that all it's parent
+# directories are not group/other writable
+check_key_file_permissions() {
+    local user
+    local path
+    local access
+    local gAccess
+    local oAccess
+
+    # function to check that an octal corresponds to writability
+    is_write() {
+       [ "$1" -eq 2 -o "$1" -eq 3 -o "$1" -eq 6 -o "$1" -eq 7 ]
+    }
+
+    user="$1"
+    path="$2"
+
+    # return 0 is path does not exist
+    [ -e "$path" ] || return 0
+
+    owner=$(stat --format '%U' "$path")
+    access=$(stat --format '%a' "$path")
+    gAccess=$(echo "$access" | cut -c2)
+    oAccess=$(echo "$access" | cut -c3)
+
+    # check owner
+    if [ "$owner" != "$user" -a "$owner" != 'root' ] ; then
+       return 1
+    fi
+
+    # check group/other writability
+    if is_write "$gAccess" || is_write "$oAccess" ; then
+       return 2
+    fi
+
+    if [ "$path" = '/' ] ; then
+       return 0
+    else
+       check_key_file_permissions $(dirname "$path")
+    fi
+}
 
+### CONVERSION UTILITIES
+
+# output the ssh key for a given key ID
+gpg2ssh() {
+    local keyID
+    
     keyID="$1"
 
-    gpg --list-key --with-colons --fixed-list-mode \
-       --with-fingerprint "$keyID" | grep "$keyID" | \
-       grep '^fpr:' | cut -d: -f10
+    gpg --export "$keyID" | openpgp2ssh "$keyID" 2> /dev/null
+}
+
+# output known_hosts line from ssh key
+ssh2known_hosts() {
+    local host
+    local key
+
+    host="$1"
+    key="$2"
+
+    echo -n "$host "
+    echo -n "$key" | tr -d '\n'
+    echo " MonkeySphere${DATE}"
 }
 
+# output authorized_keys line from ssh key
+ssh2authorized_keys() {
+    local userID
+    local key
+    
+    userID="$1"
+    key="$2"
 
-# convert escaped characters from gpg output back into original
-# character
-# FIXME: undo all escape character translation in with-colons gpg output
-unescape() {
-    echo "$1" | sed 's/\\x3a/:/'
+    echo -n "$key" | tr -d '\n'
+    echo " MonkeySphere${DATE} ${userID}"
 }
 
 # convert key from gpg to ssh known_hosts format
 gpg2known_hosts() {
-    local keyID
     local host
+    local keyID
 
-    keyID="$1"
-    host=$(echo "$2" | sed -e "s|ssh://||")
+    host="$1"
+    keyID="$2"
 
     # NOTE: it seems that ssh-keygen -R removes all comment fields from
     # all lines in the known_hosts file.  why?
@@ -111,53 +375,93 @@ gpg2known_hosts() {
     # following regexp:
     # '^MonkeySphere[[:digit:]]{4}(-[[:digit:]]{2}){2}T[[:digit:]]{2}(:[[:digit:]]{2}){2}$'
     echo -n "$host "
-    gpg --export "$keyID" | \
-       openpgp2ssh "$keyID" | tr -d '\n'
+    gpg2ssh "$keyID" | tr -d '\n'
     echo " MonkeySphere${DATE}"
 }
 
 # convert key from gpg to ssh authorized_keys format
 gpg2authorized_keys() {
+    local userID
     local keyID
+
+    userID="$1"
+    keyID="$2"
+
+    # NOTE: just in case, the COMMENT can be matched with the
+    # following regexp:
+    # '^MonkeySphere[[:digit:]]{4}(-[[:digit:]]{2}){2}T[[:digit:]]{2}(:[[:digit:]]{2}){2}$'
+    gpg2ssh "$keyID" | tr -d '\n'
+    echo " MonkeySphere${DATE} ${userID}"
+}
+
+### GPG UTILITIES
+
+# retrieve all keys with given user id from keyserver
+# FIXME: need to figure out how to retrieve all matching keys
+# (not just first N (5 in this case))
+gpg_fetch_userid() {
     local userID
+    local returnCode
 
-    keyID="$1"
-    userID="$2"
+    if [ "$CHECK_KEYSERVER" != 'true' ] ; then
+       return 0
+    fi
+
+    userID="$1"
+
+    log info " checking keyserver $KEYSERVER... "
+    echo 1,2,3,4,5 | \
+       gpg --quiet --batch --with-colons \
+       --command-fd 0 --keyserver "$KEYSERVER" \
+       --search ="$userID" > /dev/null 2>&1
+    returnCode="$?"
+
+    # if the user is the monkeysphere user, then update the
+    # monkeysphere user's trustdb
+    if [ $(id -un) = "$MONKEYSPHERE_USER" ] ; then
+       gpg_authentication "--check-trustdb" > /dev/null 2>&1
+    fi
 
-    gpg --export "$keyID" | \
-       openpgp2ssh "$keyID" | tr -d '\n'
-    echo " MonkeySphere${DATE}: ${userID}"
+    return "$returnCode"
 }
 
+########################################################################
+### PROCESSING FUNCTIONS
+
 # userid and key policy checking
 # the following checks policy on the returned keys
 # - checks that full key has appropriate valididy (u|f)
 # - checks key has specified capability (REQUIRED_*_KEY_CAPABILITY)
-# - checks that particular desired user id has appropriate validity
-# see /usr/share/doc/gnupg/DETAILS.gz
+# - checks that requested user ID has appropriate validity
+# (see /usr/share/doc/gnupg/DETAILS.gz)
+# output is one line for every found key, in the following format:
+#
+# flag:sshKey
+#
+# "flag" is an acceptability flag, 0 = ok, 1 = bad
+# "sshKey" is the translated gpg key
+#
+# all log output must go to stderr, as stdout is used to pass the
+# flag:sshKey to the calling function.
+#
 # expects global variable: "MODE"
 process_user_id() {
     local userID
-    local cacheDir
     local requiredCapability
     local requiredPubCapability
     local gpgOut
-    local userIDHash
-    local keyCacheDir
-    local line
     local type
     local validity
     local keyid
     local uidfpr
     local usage
     local keyOK
-    local pubKeyID
     local uidOK
-    local keyIDs
-    local keyID
+    local lastKey
+    local lastKeyOK
+    local fingerprint
 
     userID="$1"
-    cacheDir="$2"
 
     # set the required key capability based on the mode
     if [ "$MODE" = 'known_hosts' ] ; then
@@ -167,8 +471,8 @@ process_user_id() {
     fi
     requiredPubCapability=$(echo "$requiredCapability" | tr "[:lower:]" "[:upper:]")
 
-    # fetch keys from keyserver, return 1 if none found
-    gpg_fetch_userid "$userID" || return 1
+    # fetch the user ID if necessary/requested
+    gpg_fetch_userid "$userID"
 
     # output gpg info for (exact) userid and store
     gpgOut=$(gpg --list-key --fixed-list-mode --with-colon \
@@ -177,15 +481,11 @@ process_user_id() {
 
     # if the gpg query return code is not 0, return 1
     if [ "$?" -ne 0 ] ; then
-        log "  key not found."
+        log error " no primary keys found."
         return 1
     fi
 
-    echo "$gpgOut"
-
     # loop over all lines in the gpg output and process.
-    # need to do it this way (as opposed to "while read...") so that
-    # variables set in loop will be visible outside of loop
     echo "$gpgOut" | cut -d: -f1,2,5,10,12 | \
     while IFS=: read -r type validity keyid uidfpr usage ; do
        # process based on record type
@@ -194,22 +494,25 @@ process_user_id() {
                # new key, wipe the slate
                keyOK=
                uidOK=
-               pubKeyOK=
+               lastKey=pub
+               lastKeyOK=
                fingerprint=
 
+               log error " primary key found: $keyid"
+
                # if overall key is not valid, skip
                if [ "$validity" != 'u' -a "$validity" != 'f' ] ; then
-                   log  unacceptable primary key validity ($validity)."
+                   log error "  - unacceptable primary key validity ($validity)."
                    continue
                fi
                # if overall key is disabled, skip
                if check_capability "$usage" 'D' ; then
-                   log  key disabled."
+                   log error "  - key disabled."
                    continue
                fi
                # if overall key capability is not ok, skip
                if ! check_capability "$usage" $requiredPubCapability ; then
-                   log  unacceptable primary key capability ($usage)."
+                   log error "  - unacceptable primary key capability ($usage)."
                    continue
                fi
 
@@ -218,48 +521,63 @@ process_user_id() {
 
                # mark primary key as ok if capability is ok
                if check_capability "$usage" $requiredCapability ; then
-                   pubKeyOK=true
+                   lastKeyOK=true
                fi
                ;;
            'uid') # user ids
-               # if the overall key is not ok, skip
-               if [ -z "$keyOK" ] ; then
+               if [ "$lastKey" != pub ] ; then
+                   log error " - got a user ID after a sub key?!  user IDs should only follow primary keys!"
                    continue
                fi
                # if an acceptable user ID was already found, skip
-               if [ "$uidOK" ] ; then
-                   continue
-               fi
-               # if the user ID does not match, skip
-               if [ "$(unescape "$uidfpr")" != "$userID" ] ; then
+               if [ "$uidOK" = 'true' ] ; then
                    continue
                fi
-               # if the user ID validity is not ok, skip
-               if [ "$validity" != 'u' -a "$validity" != 'f' ] ; then
+               # if the user ID does matches...
+               if [ "$(echo "$uidfpr" | gpg_unescape)" = "$userID" ] ; then
+                   # and the user ID validity is ok
+                   if [ "$validity" = 'u' -o "$validity" = 'f' ] ; then
+                       # mark user ID acceptable
+                       uidOK=true
+                   fi
+               else
                    continue
                fi
 
-               # mark user ID acceptable
-               uidOK=true
-
                # output a line for the primary key
                # 0 = ok, 1 = bad
-               if [ "$keyOK" -a "$uidOK" -a "$pubKeyOK" ] ; then
-                   log "  acceptable key found"
-                   echo 0 "$fingerprint"
+               if [ "$keyOK" -a "$uidOK" -a "$lastKeyOK" ] ; then
+                   log error "  * acceptable primary key."
+                   if [ -z "$sshKey" ] ; then
+                       log error "    ! primary key could not be translated (not RSA or DSA?)."
+                   else
+                       echo "0:${sshKey}"
+                   fi
                else
-                   echo 1 "$fingerprint"
+                   log error "  - unacceptable primary key."
+                   if [ -z "$sshKey" ] ; then
+                       log error "   ! primary key could not be translated (not RSA or DSA?)."
+                   else
+                       echo "1:${sshKey}"
+                   fi
                fi
                ;;
            'sub') # sub keys
                # unset acceptability of last key
-               subKeyOK=
+               lastKey=sub
+               lastKeyOK=
                fingerprint=
+               
+               # don't bother with sub keys if the primary key is not valid
+               if [ "$keyOK" != true ] ; then
+                   continue
+               fi
 
-               # if the overall key is not ok, skip
-               if [ -z "$keyOK" ] ; then
+               # don't bother with sub keys if no user ID is acceptable:
+               if [ "$uidOK" != true ] ; then
                    continue
                fi
+               
                # if sub key validity is not ok, skip
                if [ "$validity" != 'u' -a "$validity" != 'f' ] ; then
                    continue
@@ -270,265 +588,342 @@ process_user_id() {
                fi
 
                # mark sub key as ok
-               subKeyOK=true
+               lastKeyOK=true
                ;;
            'fpr') # key fingerprint
                fingerprint="$uidfpr"
 
-               # output a line for the last subkey
+               sshKey=$(gpg2ssh "$fingerprint")
+
+               # if the last key was the pub key, skip
+               if [ "$lastKey" = pub ] ; then
+                   continue
+               fi
+
+               # output a line for the sub key
                # 0 = ok, 1 = bad
-               if [ "$keyOK" -a "$uidOK" -a "$subKeyOK" ] ; then
-                   log "  acceptable key found"
-                   echo 0 "$fingerprint"
+               if [ "$keyOK" -a "$uidOK" -a "$lastKeyOK" ] ; then
+                   log error "  * acceptable sub key."
+                   if [ -z "$sshKey" ] ; then
+                       log error "    ! sub key could not be translated (not RSA or DSA?)."
+                   else
+                       echo "0:${sshKey}"
+                   fi
                else
-                   echo 1 "$fingerprint"
+                   log error "  - unacceptable sub key."
+                   if [ -z "$sshKey" ] ; then
+                       log error "    ! sub key could not be translated (not RSA or DSA?)."
+                   else
+                       echo "1:${sshKey}"
+                   fi
                fi
                ;;
        esac
-    done
+    done | sort -t: -k1 -n -r
+    # NOTE: this last sort is important so that the "good" keys (key
+    # flag '0') come last.  This is so that they take precedence when
+    # being processed in the key files over "bad" keys (key flag '1')
 }
 
-# update the cache for userid, and prompt to add file to
-# authorized_user_ids file if the userid is found in gpg
-# and not already in file.
-update_userid() {
+# process a single host in the known_host file
+process_host_known_hosts() {
+    local host
     local userID
-    local cacheDir
-    local keyCache
+    local nKeys
+    local nKeysOK
+    local ok
+    local sshKey
+    local tmpfile
 
-    userID="$1"
-    cacheDir="$2"
+    host="$1"
+    userID="ssh://${host}"
 
-    log "processing userid: '$userID'"
+    log info "processing: $host"
 
-    # return 1 if there is no output of the user ID processing
-    # ie. no key was found
-    keyCachePath=$(process_user_id "$userID" "$cacheDir")
-    if [ -z "$keyCachePath" ] ; then
-       return 1
-    fi
+    nKeys=0
+    nKeysOK=0
+
+    IFS=$'\n'
+    for line in $(process_user_id "${userID}") ; do
+       # note that key was found
+       nKeys=$((nKeys+1))
+
+       ok=$(echo "$line" | cut -d: -f1)
+       sshKey=$(echo "$line" | cut -d: -f2)
 
-    # check if user ID is in the authorized_user_ids file
-    if ! grep -q "^${userID}\$" "$AUTHORIZED_USER_IDS" ; then
-       read -p "user ID not currently authorized.  authorize? [Y|n]: " OK; OK=${OK:=Y}
-       if [ ${OK/y/Y} = 'Y' ] ; then
-           # add if specified
-           log -n "adding user ID to authorized_user_ids file... "
-           echo "$userID" >> "$AUTHORIZED_USER_IDS"
-           echo "done."
+        if [ -z "$sshKey" ] ; then
+            continue
+        fi
+
+       # remove the old host key line, and note if removed
+       remove_line "$KNOWN_HOSTS" "$sshKey"
+
+       # if key OK, add new host line
+       if [ "$ok" -eq '0' ] ; then
+           # note that key was found ok
+           nKeysOK=$((nKeysOK+1))
+
+           # hash if specified
+           if [ "$HASH_KNOWN_HOSTS" = 'true' ] ; then
+               # FIXME: this is really hackish cause ssh-keygen won't
+               # hash from stdin to stdout
+               tmpfile=$(mktemp)
+               ssh2known_hosts "$host" "$sshKey" > "$tmpfile"
+               ssh-keygen -H -f "$tmpfile" 2> /dev/null
+               cat "$tmpfile" >> "$KNOWN_HOSTS"
+               rm -f "$tmpfile" "${tmpfile}.old"
+           else
+               ssh2known_hosts "$host" "$sshKey" >> "$KNOWN_HOSTS"
+           fi
+       fi
+    done
+
+    # if at least one key was found...
+    if [ "$nKeys" -gt 0 ] ; then
+       # if ok keys were found, return 0
+       if [ "$nKeysOK" -gt 0 ] ; then
+           return 0
+       # else return 2
        else
-           # else do nothing
-           log "authorized_user_ids file untouched."
+           return 2
        fi
+    # if no keys were found, return 1
+    else
+       return 1
     fi
 }
 
-# remove a userid from the authorized_user_ids file
-remove_userid() {
-    local userID
+# update the known_hosts file for a set of hosts listed on command
+# line
+update_known_hosts() {
+    local nHosts
+    local nHostsOK
+    local nHostsBAD
+    local fileCheck
+    local host
 
-    userID="$1"
+    # the number of hosts specified on command line
+    nHosts="$#"
 
-    log "processing userid: '$userID'"
+    nHostsOK=0
+    nHostsBAD=0
 
-    # check if user ID is in the authorized_user_ids file
-    if ! grep -q "^${userID}\$" "$AUTHORIZED_USER_IDS" ; then
-       log "user ID not currently authorized."
-       return 1
-    fi
+    # set the trap to remove any lockfiles on exit
+    trap "lockfile-remove $KNOWN_HOSTS" EXIT
 
-    # remove user ID from file
-    log -n "removing user ID '$userID'... "
-    grep -v "$userID" "$AUTHORIZED_USER_IDS" | sponge "$AUTHORIZED_USER_IDS"
-    echo "done."
-}
+    # create a lockfile on known_hosts
+    lockfile-create "$KNOWN_HOSTS"
 
-# remove all keys from specified key cache from known_hosts file
-remove_known_hosts_host_keys() {
-    local keyCachePath
-    local hosts
-    local type
-    local key
-    local comment
+    # note pre update file checksum
+    fileCheck="$(file_hash "$KNOWN_HOSTS")"
 
-    keyCachePath="$1"
+    for host ; do
+       # process the host
+       process_host_known_hosts "$host"
+       # note the result
+       case "$?" in
+           0)
+               nHostsOK=$((nHostsOK+1))
+               ;;
+           2)
+               nHostsBAD=$((nHostsBAD+1))
+               ;;
+       esac
 
-    meat "${keyCachePath}/keys" | \
-    while read -r hosts type key comment ; do
-       grep -v "$key" "$USER_KNOWN_HOSTS" | sponge "$USER_KNOWN_HOSTS"
+       # touch the lockfile, for good measure.
+       lockfile-touch --oneshot "$KNOWN_HOSTS"
     done
-}
 
-# process a host for addition to a known_host file
-process_host() {
-    local host
-    local cacheDir
-    local keyCachePath
+    # remove the lockfile
+    lockfile-remove "$KNOWN_HOSTS"
 
-    host="$1"
-    cacheDir="$2"
-
-    log "processing host: $host"
+    # note if the known_hosts file was updated
+    if [ "$(file_hash "$KNOWN_HOSTS")" != "$fileCheck" ] ; then
+       log info "known_hosts file updated."
+    fi
 
-    userID="ssh://${host}"
-    process_user_id "ssh://${host}"
-    exit
-    process_user_id "ssh://${host}" | \
-    while read -r ok key ; do
-       # remove the old host key line
-       remove_known_hosts_host_keys "$key"
-       # if key OK, add new host line
-       if [ "$ok" -eq '0' ] ; then
-           known_hosts_line "$host" "$key" >> "$USER_KNOWN_HOSTS"
+    # if an acceptable host was found, return 0
+    if [ "$nHostsOK" -gt 0 ] ; then
+       return 0
+    # else if no ok hosts were found...
+    else
+       # if no bad host were found then no hosts were found at all,
+       # and return 1
+       if [ "$nHostsBAD" -eq 0 ] ; then
+           return 1
+       # else if at least one bad host was found, return 2
+       else
+           return 2
        fi
-    done
+    fi
 }
 
-# process known_hosts file
-# go through line-by-line, extract each host, and process with the
-# host processing function
+# process hosts from a known_hosts file
 process_known_hosts() {
-    local cacheDir
     local hosts
-    local host
 
-    cacheDir="$1"
+    log info "processing known_hosts file..."
 
-    # take all the hosts from the known_hosts file (first field),
-    # grep out all the hashed hosts (lines starting with '|')...
-    meat "$USER_KNOWN_HOSTS" | cut -d ' ' -f 1 | grep -v '^|.*$' | \
-    while IFS=, read -r -a hosts ; do
-       # ...and process each host
-       for host in ${hosts[*]} ; do
-           process_host "$host" "$cacheDir"
-       done
-    done
-}
+    hosts=$(meat "$KNOWN_HOSTS" | cut -d ' ' -f 1 | grep -v '^|.*$' | tr , ' ' | tr '\n' ' ')
 
-# update an authorized_keys file after first processing the 
-# authorized_user_ids file
-update_authorized_keys() {
-    local msAuthorizedKeys
-    local userAuthorizedKeys
-    local cacheDir
-
-    msAuthorizedKeys="$1"
-    userAuthorizedKeys="$2"
-    cacheDir="$3"
-
-    process_authorized_ids "$AUTHORIZED_USER_IDS" "$cacheDir"
-
-    # write output key file
-    log "writing monkeysphere authorized_keys file... "
-    touch "$msAuthorizedKeys"
-    if [ "$(ls "$cacheDir")" ] ; then
-       log -n "adding gpg keys... "
-       cat "$cacheDir"/* > "$msAuthorizedKeys"
-       echo "done."
-    else
-       log "no gpg keys to add."
-    fi
-    if [ "$userAuthorizedKeys" -a -s "$userAuthorizedKeys" ] ; then
-       log -n "adding user authorized_keys file... "
-       cat "$userAuthorizedKeys" >> "$msAuthorizedKeys"
-       echo "done."
+    if [ -z "$hosts" ] ; then
+       log error "no hosts to process."
+       return
     fi
-    log "monkeysphere authorized_keys file generated:"
-    log "$msAuthorizedKeys"
+
+    # take all the hosts from the known_hosts file (first
+    # field), grep out all the hashed hosts (lines starting
+    # with '|')...
+    update_known_hosts $hosts
 }
 
-# process an authorized_*_ids file
-# go through line-by-line, extract each userid, and process
-process_authorized_ids() {
-    local authorizedIDs
-    local cacheDir
+# process uids for the authorized_keys file
+process_uid_authorized_keys() {
     local userID
+    local nKeys
+    local nKeysOK
+    local ok
+    local sshKey
+
+    userID="$1"
+
+    log info "processing: $userID"
+
+    nKeys=0
+    nKeysOK=0
+
+    IFS=$'\n'
+    for line in $(process_user_id "$userID") ; do
+       # note that key was found
+       nKeys=$((nKeys+1))
 
-    authorizedIDs="$1"
-    cacheDir="$2"
+       ok=$(echo "$line" | cut -d: -f1)
+       sshKey=$(echo "$line" | cut -d: -f2)
+
+        if [ -z "$sshKey" ] ; then
+            continue
+        fi
 
-    process_user_id "$userID" | \
-    while read -r ok key ; do
        # remove the old host key line
-       remove_authorized_keys_user_keys "$key"
+       remove_line "$AUTHORIZED_KEYS" "$sshKey"
+
        # if key OK, add new host line
        if [ "$ok" -eq '0' ] ; then
-           authorized_keys_line "$userID" "$key" >> "$USER_AUTHORIZED_KEYS"
+           # note that key was found ok
+           nKeysOK=$((nKeysOK+1))
+
+           ssh2authorized_keys "$userID" "$sshKey" >> "$AUTHORIZED_KEYS"
        fi
     done
+
+    # if at least one key was found...
+    if [ "$nKeys" -gt 0 ] ; then
+       # if ok keys were found, return 0
+       if [ "$nKeysOK" -gt 0 ] ; then
+           return 0
+       # else return 2
+       else
+           return 2
+       fi
+    # if no keys were found, return 1
+    else
+       return 1
+    fi
 }
 
-# EXPERIMENTAL (unused) process userids found in authorized_keys file
-# go through line-by-line, extract monkeysphere userids from comment
-# fields, and process each userid
-process_authorized_keys() {
-    local authorizedKeys
-    local cacheDir
+# update the authorized_keys files from a list of user IDs on command
+# line
+update_authorized_keys() {
     local userID
+    local nIDs
+    local nIDsOK
+    local nIDsBAD
+    local fileCheck
 
-    authorizedKeys="$1"
-    cacheDir="$2"
-
-    # take all the monkeysphere userids from the authorized_keys file
-    # comment field (third field) that starts with "MonkeySphere uid:"
-    # FIXME: needs to handle authorized_keys options (field 0)
-    cat "$authorizedKeys" | \
-    while read -r options keytype key comment ; do
-       # if the comment field is empty, assume the third field was
-       # the comment
-       if [ -z "$comment" ] ; then
-           comment="$key"
-       fi
-       if ! echo "$comment" | grep '^MonkeySphere userID:.*$' ; then
-           continue
-       fi
-       userID=$(echo "$comment" | sed -e "/^MonkeySphere userID://")
-       if [ -z "$userID" ] ; then
-           continue
-       fi
-       # process the userid
-       log "processing userid: '$userID'"
-       process_user_id "$userID" "$cacheDir" > /dev/null
-    done
-}
+    # the number of ids specified on command line
+    nIDs="$#"
 
-# retrieve key from web of trust, and set owner trust to "full"
-# if key is found.
-trust_key() {
-    # get the key from the key server
-    if ! gpg --keyserver "$KEYSERVER" --recv-key "$keyID" ; then
-       log "could not retrieve key '$keyID'"
-       return 1
-    fi
+    nIDsOK=0
+    nIDsBAD=0
+
+    # set the trap to remove any lockfiles on exit
+    trap "lockfile-remove $AUTHORIZED_KEYS" EXIT
+
+    # create a lockfile on authorized_keys
+    lockfile-create "$AUTHORIZED_KEYS"
+
+    # note pre update file checksum
+    fileCheck="$(file_hash "$AUTHORIZED_KEYS")"
+
+    # remove any monkeysphere lines from authorized_keys file
+    remove_monkeysphere_lines "$AUTHORIZED_KEYS"
+
+    for userID ; do
+       # process the user ID, change return code if key not found for
+       # user ID
+       process_uid_authorized_keys "$userID"
+
+       # note the result
+       case "$?" in
+           0)
+               nIDsOK=$((nIDsOK+1))
+               ;;
+           2)
+               nIDsBAD=$((nIDsBAD+1))
+               ;;
+       esac
 
-    # get key fingerprint
-    fingerprint=$(get_key_fingerprint "$keyID")
+       # touch the lockfile, for good measure.
+       lockfile-touch --oneshot "$AUTHORIZED_KEYS"
+    done
+
+    # remove the lockfile
+    lockfile-remove "$AUTHORIZED_KEYS"
 
-    # attach a "non-exportable" signature to the key
-    # this is required for the key to have any validity at all
-    # the 'y's on stdin indicates "yes, i really want to sign"
-    echo -e 'y\ny' | gpg --lsign-key --command-fd 0 "$fingerprint"
+    # note if the authorized_keys file was updated
+    if [ "$(file_hash "$AUTHORIZED_KEYS")" != "$fileCheck" ] ; then
+       log info "authorized_keys file updated."
+    fi
 
-    # import "full" trust for fingerprint into gpg
-    echo ${fingerprint}:5: | gpg --import-ownertrust
-    if [ $? = 0 ] ; then
-       log "owner trust updated."
+    # if an acceptable id was found, return 0
+    if [ "$nIDsOK" -gt 0 ] ; then
+       return 0
+    # else if no ok ids were found...
     else
-       failure "there was a problem changing owner trust."
-    fi 
+       # if no bad ids were found then no ids were found at all, and
+       # return 1
+       if [ "$nIDsBAD" -eq 0 ] ; then
+           return 1
+       # else if at least one bad id was found, return 2
+       else
+           return 2
+       fi
+    fi
 }
 
-# publish server key to keyserver
-publish_server_key() {
-    read -p "really publish key to $KEYSERVER? [y|N]: " OK; OK=${OK:=N}
-    if [ ${OK/y/Y} != 'Y' ] ; then
-       failure "aborting."
+# process an authorized_user_ids file for authorized_keys
+process_authorized_user_ids() {
+    local line
+    local nline
+    local userIDs
+
+    authorizedUserIDs="$1"
+
+    log info "processing authorized_user_ids file..."
+
+    if ! meat "$authorizedUserIDs" > /dev/null ; then
+       log error "no user IDs to process."
+       return
     fi
 
-    # publish host key
-    # FIXME: need to figure out better way to identify host key
-    # dummy command so as not to publish fakes keys during testing
-    # eventually:
-    #gpg --send-keys --keyserver "$KEYSERVER" $(hostname -f)
-    echo "NOT PUBLISHED: gpg --send-keys --keyserver $KEYSERVER $(hostname -f)"
+    nline=0
+
+    # extract user IDs from authorized_user_ids file
+    IFS=$'\n'
+    for line in $(meat "$authorizedUserIDs") ; do
+       userIDs["$nline"]="$line"
+       nline=$((nline+1))
+    done
+
+    update_authorized_keys "${userIDs[@]}"
 }