#!/usr/bin/env python

import sys
import re
import stopwatch 

def analyze(text, regex):
  words = re.findall(regex, text)

def indexTest():
  regex = re.compile(u'[' + makew() + u'_-]{2,}|(?<=[^\w])\d{2,}(?=[^\w])', re.UNICODE)

  print("Running indexFiles test ...")
  indexFilesTimer = stopwatch.Timer()
  for index in xrange(1, 500):
    sys.stdout.write('.')
    sys.stdout.flush()
    analyze(text, regex)
  indexFilesTimer.stop()
  print (indexFilesTimer.elapsed)

def makew():
  import unicodedata, sys
  w_chars = []
  for i in range(sys.maxunicode):
    c = unichr(i)
    if unicodedata.category(c) in \
      ('Lu','Ll','Lt','Lm','Lo'):
      w_chars.append(c)
  result =  u''.join(w_chars)
  return result

text = """
Lorem ipsum dolor sit amet, consectetur adipisicing elit, sed do eiusmod tempor incididunt ut labore et dolore magna aliqua. Ut enim ad minim veniam, quis nostrud exercitation ullamco laboris nisi ut aliquip ex ea commodo consequat. Duis aute irure dolor in reprehenderit in voluptate velit esse cillum dolore eu fugiat nulla pariatur. Excepteur sint occaecat cupidatat non proident, sunt in culpa qui officia deserunt mollit anim id est laborum.
Lorem ipsum dolor sit amet, consectetur adipisicing elit, sed do eiusmod tempor incididunt ut labore et dolore magna aliqua. Ut enim ad minim veniam, quis nostrud exercitation ullamco laboris nisi ut aliquip ex ea commodo consequat. Duis aute irure dolor in reprehenderit in voluptate velit esse cillum dolore eu fugiat nulla pariatur. Excepteur sint occaecat cupidatat non proident, sunt in culpa qui officia deserunt mollit anim id est laborum.
Lorem ipsum dolor sit amet, consectetur adipisicing elit, sed do eiusmod tempor incididunt ut labore et dolore magna aliqua. Ut enim ad minim veniam, quis nostrud exercitation ullamco laboris nisi ut aliquip ex ea commodo consequat. Duis aute irure dolor in reprehenderit in voluptate velit esse cillum dolore eu fugiat nulla pariatur. Excepteur sint occaecat cupidatat non proident, sunt in culpa qui officia deserunt mollit anim id est laborum.
Lorem ipsum dolor sit amet, consectetur adipisicing elit, sed do eiusmod tempor incididunt ut labore et dolore magna aliqua. Ut enim ad minim veniam, quis nostrud exercitation ullamco laboris nisi ut aliquip ex ea commodo consequat. Duis aute irure dolor in reprehenderit in voluptate velit esse cillum dolore eu fugiat nulla pariatur. Excepteur sint occaecat cupidatat non proident, sunt in culpa qui officia deserunt mollit anim id est laborum.
"""

indexTest()