Initial authentication support.
[geekigeeki.git] / geekigeeki.py
1 #! /usr/bin/env python
2 """Quick-quick implementation of WikiWikiWeb in Python
3 """
4 #
5 # Copyright (C) 1999, 2000 Martin Pool <mbp@humbug.org.au>
6 # This version includes additional changes by Gerardo Poggiali (2002)
7 # This version includes additional changes by Bernardo Innocenti (2007)
8 #
9 # This program is free software: you can redistribute it and/or modify
10 # it under the terms of the GNU General Public License as published by
11 # the Free Software Foundation, either version 3 of the License, or
12 # (at your option) any later version.
13 #
14 # This program is distributed in the hope that it will be useful, but
15 # WITHOUT ANY WARRANTY; without even the implied warranty of
16 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
17 # General Public License for more details.
18 #
19 # You should have received a copy of the GNU General Public License
20 # along with this program.  If not, see <http://www.gnu.org/licenses/>.
21
22 __version__ = '$Revision: 1.63+gerry+bernie $'[11:-2];
23
24 import cgi, sys, string, os, re, errno, time, stat
25 from os import path, environ
26
27 # Regular expression defining a WikiWord
28 # (but this definition is also assumed in other places)
29 file_re = re.compile(r"^\b([A-Za-z0-9_\.\-]+)\b$")
30 word_re = re.compile(r"^\b([A-Z][a-z]+){2,}\b$")
31 img_re = re.compile(r"^.*\.(png|gif|jpg|jpeg)$", re.IGNORECASE)
32 url_re = re.compile(r"^[a-z]{3,8}://[^\s'\"]+\S$")
33
34 title_done = False
35
36
37 # CGI stuff ---------------------------------------------------------
38
39 def get_scriptname():
40     return environ.get('SCRIPT_NAME', '')
41
42 def remote_user():
43     return environ.get('REMOTE_USER', 'AnonymousCoward')
44
45 def remote_host():
46     return environ.get('REMOTE_ADDR', '')
47
48 def get_hostname(addr):
49     try:
50         from socket import gethostbyaddr
51         return gethostbyaddr(addr)[0] + ' (' + addr + ')'
52     except:
53         return addr;
54
55 # Formatting stuff --------------------------------------------------
56
57 def emit_header(type="text/html"):
58     print "Content-type: " + type + "; charset=utf-8"
59     print
60
61 def send_guru(msg, msg_type):
62     if msg is None or len(msg) == 0: return
63     print '<pre id="guru" onclick="this.style.display = \'none\'" class="' + msg_type + '">'
64     if msg_type == 'error':
65         print '    Software Failure.  Press left mouse button to continue.\n'
66     print msg
67     if msg_type == 'error':
68         print '      Guru Meditation #DEADBEEF.ABADC0DE'
69     print '</pre>'
70     # FIXME: This simple JS code is harder to pass than ACID 3.0 
71     print """
72     <script language="JavaScript" type="text/javascript">
73         var guru = document.getElementById('guru');
74         // Firefox 2.0 doesn't take border-color, but returns border-top-color fine
75         var color = document.defaultView.getComputedStyle(guru,null).getPropertyValue('border-top-color');
76
77         function guruOn() {
78             guru.style.setProperty('border-color', color, '');
79             setTimeout('guruOff()', 1000);
80         }
81         function guruOff() {
82             guru.style.setProperty('border-color', '#000000', '');
83             setTimeout('guruOn()', 1000);
84         }
85         // Safari 2.0 returns this rgba crap
86         // Konqueror 3.5.6 doesn't seem to support computed properties
87         if (color && color != 'rgba(0, 0, 0, 0)') {
88             //window.alert("enabled! color='" + color + "'");
89             guruOn();
90         }
91     </script>"""
92
93 def send_title(name, text="Limbo", msg=None, msg_type = 'error'):
94     global title_done
95     if title_done: return
96
97     # Head
98     emit_header()
99     print """<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN"
100   "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
101 <html xmlns="http://www.w3.org/1999/xhtml" lang="en" xml:lang="en">
102 """
103     print "<head><title>%s: %s</title>" % (site_name, text)
104     print ' <meta http-equiv="Content-Type" content="text/html; charset=utf-8" />'
105     if not name:
106         print '  <meta name="robots" content="noindex,nofollow">'
107     if css_url:
108         print ' <link rel="stylesheet" type="text/css" href="%s" />' % css_url
109     print '</head>'
110
111     # Body
112     if name and allow_edit:
113         print '<body ondblclick="location.href=\'?edit=' + name + '\'">'
114     else:
115         print '<body>'
116
117     send_guru(msg, msg_type)
118
119     # Navbar
120     print '<div class="navigator">'
121     print '  <b>' + site_name + ': '
122     if name:
123         print link_tag('?fullsearch=' + name, text) + '</b> '
124     else:
125         print text + '</b> '
126     print ' | ' + link_tag('FrontPage', 'Front Page', 'navlink')
127     print ' | ' + link_tag('FindPage', 'Find Page', 'navlink')
128     print ' | <a href="/wikigit/wiki.git" class="navlink">Recent Changes</a>'
129
130     if name:
131         print ' | <a href="/wikigit/wiki.git?a=history;f=' + name + '" class="navlink">Page History</a>'
132         print ' | ' + link_tag('?raw=' + name, 'Raw Text', 'navlink')
133         if allow_edit:
134             print ' | ' + link_tag('?edit=' + name, 'Edit Page', 'navlink')
135     else:
136         print ' | <i>Immutable Page</i>'
137
138     user = remote_user()
139     if user != 'AnonymousCoward':
140         print ' | <i>logged in as <b>' + cgi.escape(user) + '</b></i>'
141
142     print '</div>'
143     title_done = True
144
145
146 def link_tag(params, text=None, ss_class=None):
147     if text is None:
148         text = params # default
149     classattr = ''
150     # Prevent crawlers from following links to generated pages
151     # and links added by potential spammers
152     if ss_class == 'external' or ss_class == 'navlink':
153         classattr += 'rel="nofollow" '
154     if ss_class:
155         classattr += 'class="%s" ' % ss_class
156     return '<a %shref="%s/%s">%s</a>' % (classattr, get_scriptname(),
157                                          params, text)
158
159 # Search ---------------------------------------------------
160
161 def do_fullsearch(needle):
162     send_title(None, 'Full text search for "%s"' % (needle))
163
164     needle_re = re.compile(needle, re.IGNORECASE)
165     hits = []
166     all_pages = page_list()
167     for page_name in all_pages:
168         body = Page(page_name).get_raw_body()
169         count = len(needle_re.findall(body))
170         if count:
171             hits.append((count, page_name))
172
173     # The default comparison for tuples compares elements in order,
174     # so this sorts by number of hits
175     hits.sort()
176     hits.reverse()
177
178     print "<ul>"
179     for (count, page_name) in hits:
180         print '<li><p>' + Page(page_name).link_to()
181         print ' . . . . ' + `count`
182         print ['match', 'matches'][count <> 1]
183         print '</p></li>'
184     print "</ul>"
185
186     print_search_stats(len(hits), len(all_pages))
187
188
189 def do_titlesearch(needle):
190     # TODO: check needle is legal -- but probably we can just accept any RE
191     send_title(None, "Title search for \"" + needle + '"')
192
193     needle_re = re.compile(needle, re.IGNORECASE)
194     all_pages = page_list()
195     hits = filter(needle_re.search, all_pages)
196
197     print "<ul>"
198     for filename in hits:
199         print '<li><p>' + Page(filename).link_to() + "</p></li>"
200     print "</ul>"
201
202     print_search_stats(len(hits), len(all_pages))
203
204
205 def print_search_stats(hits, searched):
206     print "<p>%d hits out of %d pages searched.</p>" % (hits, searched)
207
208 def do_edit(pagename):
209     Page(pagename).send_editor()
210
211 def do_raw(pagename):
212     Page(pagename).send_raw()
213
214 def do_savepage(pagename):
215     if not allow_edit:
216         raise 'editing disallowed for ' + pagename
217
218     global form
219     pg = Page(pagename)
220     if 'preview' in form:
221         pg.send_editor(form['savetext'].value)
222     elif 'save' in form:
223         pg.save_text(form['savetext'].value)
224         pg.send_page()
225     elif 'cancel' in form:
226         pg.msg = 'Editing cancelled'
227         pg.msg_type = 'notice'
228         pg.send_page()
229     else:
230         raise 'What did you press?'
231
232 def make_index_key():
233     s = '<p><center>'
234     links = map(lambda ch: '<a href="#%s">%s</a>' % (ch, ch),
235                 string.lowercase)
236     s = s + string.join(links, ' | ')
237     s = s + '</center></p>'
238     return s
239
240
241 def page_list():
242     return filter(word_re.match, os.listdir(text_dir))
243
244
245 def send_footer(name, mod_string=None):
246     print '<div class="footer">'
247     if mod_string:
248         print "last modified %s" % mod_string
249     print '</div></body></html>'
250
251
252 # ----------------------------------------------------------
253 # Macros
254 def _macro_TitleSearch():
255     return _macro_search("titlesearch")
256
257 def _macro_FullSearch():
258     return _macro_search("fullsearch")
259
260 def _macro_search(type):
261     if form.has_key('value'):
262         default = form["value"].value
263     else:
264         default = ''
265     return """<form method="get"><input name="%s" size="30" value="%s"><input type="submit" value="Go"></form>""" % (type, default)
266
267 def _macro_WordIndex():
268     s = make_index_key()
269     pages = list(page_list())
270     map = {}
271     word_re = re.compile('[A-Z][a-z]+')
272     for name in pages:
273         for word in word_re.findall(name):
274             try:
275                 map[word].append(name)
276             except KeyError:
277                 map[word] = [name]
278
279     all_words = map.keys()
280     all_words.sort()
281     last_letter = None
282     # set title
283     for word in all_words:
284         letter = string.lower(word[0])
285         if letter <> last_letter:
286             s = s + '; <a name="%s"><h3>%s</h3></a>' % (letter, letter)
287             last_letter = letter
288
289         s = s + '<b>%s</b><ul>' % word
290         links = map[word]
291         links.sort()
292         last_page = None
293         for name in links:
294             if name == last_page: continue
295             s = s + '<li>' + Page(name).link_to()
296         s = s + '</ul>'
297     return s
298
299
300 def _macro_TitleIndex():
301     s = make_index_key()
302     pages = list(page_list())
303     pages.sort()
304     current_letter = None
305     for name in pages:
306         letter = string.lower(name[0])
307         if letter <> current_letter:
308             s = s + '<a name="%s"><h3>%s</h3></a>' % (letter, letter)
309             current_letter = letter
310         else:
311             s = s + '<br />'
312         s = s + Page(name).link_to()
313     return s
314
315
316 # ----------------------------------------------------------
317 class PageFormatter:
318     """Object that turns Wiki markup into HTML.
319
320     All formatting commands can be parsed one line at a time, though
321     some state is carried over between lines.
322     """
323     def __init__(self, raw):
324         self.raw = raw
325         self.is_em = self.is_b = 0
326         self.h_level = 0
327         self.list_indents = []
328         self.in_pre = 0
329         self.in_var = 0
330         self.in_header = True
331
332     def _emph_repl(self, word):
333         if len(word) == 3:
334             self.is_b = not self.is_b
335             return ['</b>', '<b>'][self.is_b]
336         else:
337             self.is_em = not self.is_em
338             return ['</em>', '<em>'][self.is_em]
339
340     def _tit_repl(self, word):
341         if self.h_level:
342             result = "</h%d>" % self.h_level
343             self.h_level = 0
344         else:
345             self.h_level = len(word) - 1
346             result = "<h%d>" % self.h_level
347         return result;
348
349     def _rule_repl(self, word):
350         s = self._undent()
351         if len(word) <= 3:
352             s = s + "\n<hr size='1' noshade=\"noshade\" />\n"
353         else:
354             s = s + "\n<hr size='%d' noshade=\"noshade\" />\n" % (len(word) - 2 )
355         return s
356
357     def _word_repl(self, word):
358         return Page(word).link_to()
359
360     def _img_repl(self, word):
361         return '<img border="0" src="%s/%s" />' % (get_scriptname(), word)
362
363     def _url_repl(self, word):
364         if img_re.match(word):
365             return '<img border="0" src="%s" />' % word
366         else:
367             return '<a href="%s" rel="nofollow" class="external">%s</a>' % (word, word)
368
369     def _hurl_repl(self, word):
370         m = re.compile("\[\[(\S+)\ (.+)\]\]").match(word)
371         anchor = m.group(1)
372         descr = m.group(2)
373         if img_re.match(anchor):
374             return '<img border="0" src="%s" alt="%s" />' % (anchor, descr)
375         elif url_re.match(anchor):
376             return '<a href="%s" rel="nofollow" class="external">%s</a>' % (anchor, descr)
377         elif anchor.startswith('/'):
378             return '<a href="%s">%s</a>' % (anchor, descr)
379         else:
380             return link_tag(anchor, descr)
381
382     def _email_repl(self, word):
383         return '<a href="mailto:%s">%s</a>' % (word, word)
384
385
386     def _ent_repl(self, s):
387         return {'&': '&amp;',
388                 '<': '&lt;',
389                 '>': '&gt;'}[s]
390
391
392     def _li_repl(self, match):
393         return '<li>'
394
395
396     def _pre_repl(self, word):
397         if word == '{{{' and not self.in_pre:
398             self.in_pre = 1
399             return '<pre>'
400         elif self.in_pre:
401             self.in_pre = 0
402             return '</pre>'
403         else:
404             return ''
405
406     def _var_repl(self, word):
407         if word == '{{' and not self.in_var:
408             self.in_var = 1
409             return '<code>'
410         elif self.in_var:
411             self.in_var = 0
412             return '</code>'
413         else:
414             return ''
415     def _macro_repl(self, word):
416         macro_name = word[2:-2]
417         # TODO: Somehow get the default value into the search field
418         return apply(globals()['_macro_' + macro_name], ())
419
420     def _indent_level(self):
421         return len(self.list_indents) and self.list_indents[-1]
422
423     def _indent_to(self, new_level):
424         if self._indent_level() == new_level:
425             return ''
426         s = '</p>'
427         while self._indent_level() > new_level:
428             del(self.list_indents[-1])
429             s += '</ul>\n'
430         while self._indent_level() < new_level:
431             self.list_indents.append(new_level)
432             s += '<ul>\n'
433         s += '<p>'
434         return s
435
436     def _undent(self):
437         res = '</p>'
438         res += '</ul>' * len(self.list_indents)
439         res += '<p>'
440         self.list_indents = []
441         return res
442
443     def replace(self, match):
444         for type, hit in match.groupdict().items():
445             if hit:
446                 return apply(getattr(self, '_' + type + '_repl'), (hit,))
447         else:
448             raise "Can't handle match " + `match`
449
450     def print_html(self):
451         print "<div class='wiki'><p>"
452
453         # For each line, we scan through looking for magic
454         # strings, outputting verbatim any intervening text
455         scan_re = re.compile(
456             r"(?:"
457             + r"(?P<emph>'{2,3})"
458             + r"|(?P<tit>\={2,6})"
459             + r"|(?P<ent>[<>&])"
460             + r"|(?P<img>\b[a-zA-Z0-9_-]+\.(png|gif|jpg|jpeg|bmp))"
461             + r"|(?P<word>\b(?:[A-Z][a-z]+){2,}\b)"
462             + r"|(?P<rule>^-{3,})"
463             + r"|(?P<hurl>\[\[\S+\s+.+\]\])"
464             + r"|(?P<url>(http|ftp|nntp|news|mailto)\:[^\s'\"]+\S)"
465             + r"|(?P<email>[-\w._+]+\@[\w.-]+)"
466             + r"|(?P<li>^\s+\*)"
467             + r"|(?P<pre>(\{\{\{|\s*\}\}\}))"
468             + r"|(?P<var>(\{\{|\}\}))"
469             + r"|(?P<macro>\[\[(TitleSearch|FullSearch|WordIndex|TitleIndex)\]\])"
470             + r")")
471         pre_re = re.compile(
472             r"(?:"
473             + r"(?P<pre>\s*\}\}\})"
474             + r")")
475         blank_re = re.compile("^\s*$")
476         indent_re = re.compile("^\s*")
477         eol_re = re.compile(r'\r?\n')
478         raw = string.expandtabs(self.raw)
479         for line in eol_re.split(raw):
480             # Skip ACLs
481             if self.in_header:
482                 if line.startswith('#'):
483                    continue
484                 self.in_header = False
485             if self.in_pre:
486                 print re.sub(pre_re, self.replace, line)
487             else:
488                 # XXX: Should we check these conditions in this order?
489                 if blank_re.match(line):
490                     print '</p><p>'
491                     continue
492                 indent = indent_re.match(line)
493                 print self._indent_to(len(indent.group(0)))
494                 print re.sub(scan_re, self.replace, line)
495         if self.in_pre: print '</pre>'
496         print self._undent()
497         print "</p></div>"
498
499 # ----------------------------------------------------------
500 class Page:
501     def __init__(self, page_name):
502         self.page_name = page_name
503         self.msg = ''
504         self.msg_type = 'error'
505         self.attrs = {}
506
507     def split_title(self):
508         # look for the end of words and the start of a new word,
509         # and insert a space there
510         return re.sub('([a-z])([A-Z])', r'\1 \2', self.page_name)
511
512     def _text_filename(self):
513         return path.join(text_dir, self.page_name)
514
515     def _tmp_filename(self):
516         return path.join(text_dir, ('#' + self.page_name + '.' + `os.getpid()` + '#'))
517
518     def exists(self):
519         try:
520             os.stat(self._text_filename())
521             return 1
522         except OSError, er:
523             if er.errno == errno.ENOENT:
524                 return 0
525             else:
526                 raise er
527
528     def link_to(self):
529         word = self.page_name
530         if self.exists():
531             return link_tag(word, word, 'wikilink')
532         else:
533             if nonexist_qm:
534                 return link_tag(word, '?', 'nonexistent') + word
535             else:
536                 return link_tag(word, word, 'nonexistent')
537
538
539     def get_raw_body(self):
540         try:
541             return open(self._text_filename(), 'rt').read()
542         except IOError, er:
543             if er.errno == errno.ENOENT:
544                 # just doesn't exist, use default
545                 return 'Describe %s here.' % self.page_name
546             else:
547                 raise er
548
549     def get_attrs(self):
550         if self.attrs:
551             return self.attrs
552         try:
553             file = open(self._text_filename(), 'rt')
554             attr_re = re.compile(r"^#(\S*)(.*)$")
555             for line in file:
556                 m = attr_re.match(line)
557                 if not m:
558                     break
559                 self.attrs[m.group(1)] = m.group(2).strip()
560                 #print "bernie: attrs[" + m.group(1) + "] = " + m.group(2) + "<br>\n"
561         except IOError, er:
562             if er.errno != errno.ENOENT:
563                 raise er
564         return self.attrs
565
566     def can_edit(self):
567         attrs = self.get_attrs()
568         try:
569             # SomeUser:read,write All:read
570             acl = attrs["acl"]
571             for rule in acl.split():
572                 (user,perms) = acl.split(':')
573                 if user == remote_user() or user == "All":
574                     if 'write' in perms.split(','):
575                         return True
576             return False
577         except:
578             pass
579         return True
580
581     def send_page(self):
582         page_name = None
583         if self.can_edit():
584             page_name = self.page_name
585         send_title(page_name, self.split_title(), msg=self.msg, msg_type=self.msg_type)
586         PageFormatter(self.get_raw_body()).print_html()
587         send_footer(page_name, self._last_modified())
588
589     def _last_modified(self):
590         if not self.exists():
591             return None
592         from time import localtime, strftime
593         modtime = localtime(os.stat(self._text_filename())[stat.ST_MTIME])
594         return strftime(datetime_fmt, modtime)
595
596     def send_editor(self, preview=None):
597         send_title(None, 'Edit ' + self.split_title(), msg=self.msg, msg_type=self.msg_type)
598
599         print ('<p><b>Editing ' + self.page_name
600             + ' for ' + cgi.escape(remote_user())
601             + ' from ' + cgi.escape(get_hostname(remote_host()))
602             + '</b></p>')
603         print '<div class="editor"><form method="post" action="%s/%s">' % (get_scriptname(), self.page_name)
604         print '<input type="hidden" name="savepage" value="%s">' % (self.page_name)
605         print """<textarea wrap="virtual" id="editor" name="savetext" rows="17" cols="80">%s</textarea>""" % (preview or self.get_raw_body())
606         print """
607             <br />
608             <input type="submit" name="save" value="Save" />
609             <input type="submit" name="preview" value="Preview" />
610             <input type="reset" value="Reset" />
611             <input type="submit" name="cancel" value="Cancel" />
612             <br />
613             </form></div>"""
614         print "<p>" + Page('EditingTips').link_to() + "</p>"
615         if preview:
616             print "<div class='preview'>"
617             PageFormatter(preview).print_html()
618             print "</div>"
619
620     def send_raw(self):
621         emit_header("text/plain")
622         print self.get_raw_body()
623
624     def _write_file(self, text):
625         tmp_filename = self._tmp_filename()
626         open(tmp_filename, 'wt').write(text.replace('\r\n', '\n'))
627         text = self._text_filename()
628         if os.name == 'nt':
629             # Bad Bill!  POSIX rename ought to replace. :-(
630             try:
631                 os.remove(text)
632             except OSError, er:
633                 if er.errno <> errno.ENOENT: raise er
634         os.rename(tmp_filename, text)
635
636     def save_text(self, newtext):
637         self._write_file(newtext)
638         rc = 0
639         if post_edit_hook:
640             # FIXME: what's the std way to perform shell quoting in python?
641             cmd = ( post_edit_hook
642                 + " '" + text_dir + '/' + self.page_name
643                 + "' '" + remote_user()
644                 + "' '" + remote_host() + "'"
645             )
646             out = os.popen(cmd)
647             msg = out.read()
648             rc = out.close()
649         if rc:
650             self.msg += "Post-editing hook returned %d.\n" % rc
651             self.msg += 'Command was: ' + cmd + '\n'
652             if msg:
653                 self.msg += 'Output follows:\n' + msg
654         else:
655             self.msg = 'Thankyou for your contribution.  Your attention to detail is appreciated.'
656             self.msg_type = 'success'
657
658 def send_verbatim(filename, mime_type='application/octet-stream'):
659     pathname = path.join(text_dir, filename)
660     data = open(pathname, 'rb').read()
661     emit_header(mime_type)
662     sys.stdout.write(data)
663
664 # ---------------------------------------------------------------
665 try:
666     # Configuration values
667     data_dir = '/home/bernie/public_html/wiki'
668     text_dir = path.join(data_dir, 'text')
669     allow_edit = True # Is it possible to edit pages?
670     site_name = 'codewiz.org'
671     changed_time_fmt = '[%I:%M %p] '
672     date_fmt = '%a %d %b %Y'
673     datetime_fmt = '%a %d %b %Y %I:%M %p'
674     show_hosts = True                       # show hostnames?
675     css_url = '../wikidata/geekigeeki.css'  # optional stylesheet link
676     nonexist_qm = False                     # show '?' for nonexistent?
677     post_edit_hook = './post_edit_hook.sh'
678
679     form = cgi.FieldStorage()
680
681     handlers = { 'fullsearch':  do_fullsearch,
682                  'titlesearch': do_titlesearch,
683                  'edit':        do_edit,
684                  'raw':         do_raw,
685                  'savepage':    do_savepage }
686
687     for cmd in handlers.keys():
688         if form.has_key(cmd):
689             apply(handlers[cmd], (form[cmd].value,))
690             break
691     else:
692         path_info = environ.get('PATH_INFO', '')
693         if len(path_info) and path_info[0] == '/':
694             query = path_info[1:] or 'FrontPage'
695         else:
696             query = environ.get('QUERY_STRING', '') or 'FrontPage'
697
698         if file_re.match(query):
699             if word_re.match(query):
700                 Page(query).send_page()
701             elif img_re.match(query):
702                 send_verbatim(query, 'image/jpeg')
703             else:
704                 send_verbatim(query)
705         else:
706             # TODO: return 404?
707             send_title(None, msg='Can\'t work out query: ' + query)
708 except:
709     import traceback
710     msg=traceback.format_exc()
711     if title_done:
712         send_guru(msg, "error")
713     else:
714         send_title(None, msg=msg)
715     send_footer(None)
716
717 sys.stdout.flush()