一.实现思路
本文讲解如何使用python实现一个简单的模板引擎, 支持传入变量, 使用if判断和for循环语句, 最终能达到下面这样的效果:
渲染前的文本:
<h1>{{title}}</h1>
<p>十以内的奇数:</p>
<ul>
{% for i in range(10) %}
{% if i%2==1 %}
<li>{{i}}</li>
{% end %}
{% end %}
</ul>
渲染后的文本,假设title="高等数学":
<h1>高等数学</h1>
<p>十以内的奇数:</p>
<ul>
<li>1</li>
<li>3</li>
<li>5</li>
<li>7</li>
<li>9</li>
</ul>
要实现这样的效果, 第一步就应该将文本中的html代码和类似{% xxx %}这样的渲染语句分别提取出来, 使用下面的正则表达式可以做到:
re.split(r'(?s)({{.*?}}|{%.*?%}|{#.*?#})', html)
用这个正则表达式处理刚才的文本, 结果如下:
在提取文本之后, 就需要执行内部的逻辑了. python自带的exec函数可以执行字符串格式的代码:
exec('print("hello world")') # 这条语句会输出hello world
因此, 提取到html的渲染语句之后, 可以把它改成python代码的格式, 然后使用exec函数去运行. 但是, exec函数不能返回代码的执行结果, 它只会返回None. 虽然如此, 我们可以使用下面的方式获取字符串代码中的变量:
global_namespace = {}
code = """
a = 1
def func():
pass
"""
exec(code, global_namespace)
print(global_namespace) # {'a': 1, 'func': <function func at 0x00007fc61e3462a0>, '__builtins__': <module 'builtins' (built-in)>}
因此, 我们只要在code这个字符串中定义一个函数, 让它能够返回渲染后的模板, 然后使用刚才的方式把这个函数从字符串中提取出来并执行, 就能得到结果了.
基于上面的思路, 我们最终应该把html文本转化为下面这样的字符串:
# 这个函数不是我们写的, 是待渲染的html字符串转化过来的
def render(context: dict) -> str:
result = []
# 这一部分负责提取所有动态变量的值
title = context['title']
# 对于所有的html代码或者是变量, 直接放入result列表中
result.extend(['<h1>', str(title), '</h1>\n<p>十以内的奇数:</p>\n<ul>\n'])
# 对于模板中的for和if循环语句,则是转化为原生的python语句
for i in range(10):
if i % 2 == 1:
result.extend(['\n <li>', str(i), '</li>\n '])
result.append('\n</ul>')
# 最后,让函数将result列表联结为字符串返回就行, 这样就得到了渲染好的html文本
return ''.join(result)
如何将html文本转化为上面这样的代码, 是这篇文章的关键. 上面的代码是由最开始那个html demo转化来的, 每一块我都做了注释. 如果没看明白的话, 就多看几遍, 不然肯定是看不懂下文的.
总的来说, 要渲染一个模板, 思路如下:
二.字符串代码
为了能够方便地生成python代码, 我们首先定义一个CodeBuilder类:
class CodeBuilder:
INDENT_STEP = 4
def __init__(self, indent_level: int = 0) -> None:
self.indent_level = indent_level
self.code = []
self.global_namespace = None
def start_func(self) -> None:
self.add_line('def render(context: dict) -> str:')
self.indent()
self.add_line('result = []')
self.add_line('append_result = result.append')
self.add_line('extend_result = result.extend')
self.add_line('to_str = str')
def end_func(self) -> None:
self.add_line("return ''.join(result)")
self.dedent()
def add_section(self) -> 'CodeBuilder':
section = CodeBuilder(self.indent_level)
self.code.append(section)
return section
def __str__(self) -> str:
return ''.join(str(line) for line in self.code)
def add_line(self, line: str) -> None:
self.code.extend([' ' * self.indent_level + line + '\n'])
def indent(self) -> None:
self.indent_level += self.INDENT_STEP
def dedent(self) -> None:
self.indent_level -= self.INDENT_STEP
def get_globals(self) -> dict:
if self.global_namespace is None:
self.global_namespace = {}
python_source = str(self)
exec(python_source, self.global_namespace)
return self.global_namespace
这个类作为字符串代码的容器使用, 它的本质是对字符串代码的封装, 在字符串的基础上增加了以下的功能:
代码缩进
CodeBuilder维护了一个indent_level变量, 当调用它的add_line方法写入新代码的时候, 它会自动在代码开头加上缩进. 另外, 调用indent和dedent方法就能方便地增加和减少缩进.
生成函数
由于定义这个类的目的就是在字符串里面写一个函数, 而这个函数的开头和结尾都是固定的, 所以把它直接写到对象的方法里面. 值得一提的是, 在start_func这个方法中, 我们写了这样三行代码:
append_result = result.append extend_result = result.extend to_str = str
这样做是为了提高渲染模板的性能, 调用我们自己定义的函数, 需要的时间比调用result.append或者str等函数的时间少. 首先对于列表的append和extend两个方法来说, 每调用一次, python都需要在列表中的所有方法中找一次, 而直接把它绑定到我们自己定义的变量上, 就能避免python重复地去列表的方法中来找. 然后是str函数, 理论上, python查找局部变量的速度比查找内置变量的快, 因此我们使用一个局部变量to_str, python找到它的速度就比找str要快.
上面这段话都是我从网上看到的, 实际测试了一下, 在python3.7上, 运行append_result需要的时间比直接调用result.append少了大约25%, to_str则没有明显的优化效果.
代码嵌套
有的时候我们需要在一块代码中嵌套另外一块代码, 这时候可以调用add_section方法, 这个方法会创建一个新的CodeBuilder对象作为内容插入到原CodeBuilder对象里面, 这个和前端的div套div差不多.
这个方法的好处是, 你可以在一个CodeBuilder对象中预先插入一个CodeBuilder对象而不用写入内容, 相当于先占着位置. 等条件成熟之后, 再回过头来写入内容. 这样就增加了字符串代码的可编辑性.
获取变量
调用get_globals方法获取当前字符串代码内的所有全局变量.
三.Template模板
在字符串代码的容器做好之后, 我们只需要解析html文本, 然后把它转化为python代码放到这个容器里面就行了. 因此, 我们定义如下的Template类:
class Template:
html_regex = re.compile(r'(?s)({{.*?}}|{%.*?%}|{#.*?#})')
valid_name_regex = re.compile(r'[_a-zA-Z][_a-zA-Z0-9]*$')
def __init__(self, html: str, context: dict = None) -> None:
self.context = context or {}
self.code = CodeBuilder()
self.all_vars = set()
self.loop_vars = set()
self.code.start_func()
vars_code = self.code.add_section()
buffered = []
def flush_output() -> None:
if len(buffered) == 1:
self.code.add_line(f'append_result({buffered[0]})')
elif len(buffered) > 1:
self.code.add_line(f'extend_result([{", ".join(buffered)}])')
del buffered[:]
strings = re.split(self.html_regex, html)
for string in strings:
if string.startswith('{%'):
flush_output()
words = string[2:-2].strip().split()
ops = words[0]
if ops == 'if':
if len(words) != 2:
self._syntax_error("Don't understand if", string)
self.code.add_line(f'if {words[1]}:')
self.code.indent()
elif ops == 'for':
if len(words) != 4 or words[2] != 'in':
self._syntax_error("Don't understand for", string)
i = words[1]
iter_obj = words[3]
# 这里被迭代的对象可以是一个变量,也可以是列表,元组或者range之类的东西,因此使用_variable来检验
try:
self._variable(iter_obj, self.all_vars)
except TemplateSyntaxError:
pass
self._variable(i, self.loop_vars)
self.code.add_line(f'for {i} in {iter_obj}:')
self.code.indent()
elif ops == 'end':
if len(words) != 1:
self._syntax_error("Don't understand end", string)
self.code.dedent()
else:
self._syntax_error("Don't understand tag", ops)
elif string.startswith('{{'):
expr = string[2:-2].strip()
self._variable(expr, self.all_vars)
buffered.append(f'to_str({expr})')
else:
if string.strip():
# 这里使用repr把换行符什么的改成/n的形式,不然插到code字符串中会打乱排版
buffered.append(repr(string))
flush_output()
for var_name in self.all_vars - self.loop_vars:
vars_code.add_line(f'{var_name} = context["{var_name}"]')
self.code.end_func()
def _variable(self, name: str, vars_set: set) -> None:
# 当解析html过程中出现变量,就调用这个函数
# 一方面检验变量名是否合法,一方面记下变量名
if not re.match(self.valid_name_regex, name):
self._syntax_error('Not a valid name', name)
vars_set.add(name)
def _syntax_error(self, message: str, thing: str) -> None:
raise TemplateSyntaxError(f'{message}: {thing}') # 这个Error类直接继承Exception就行
def render(self, context=None) -> str:
render_context = dict(self.context)
if context:
render_context.update(context)
return self.code.get_globals()['render'](render_context)
首先, 我们实例化了一个CodeBuilder对象作为容器使用. 在这之后, 我们定义了all_vars和loop_vars两个集合, 并在CodeBuilder生成的函数开头插了一个子容器. 这样做的目的是, 最终生成的函数应该在开头添加类似 var_name = context['var_name']之类的语句, 来提取传入的上下文变量的值. 但是, html中有哪些需要渲染的变量, 这是在渲染之后才知道的, 所以先在开头插入一个子容器, 并创建all_vars这个集合, 以便在渲染html之后把这些变量的赋值语句插进去. loop_vars则负责存放那些由于for循环产生的变量, 它们不需要从上下文中提取.
然后, 我们创建一个bufferd列表. 由于在渲染html的过程中, 变量和html语句是不需要直接转为python语句的, 而是应该使用类似 append_result(xxx)这样的形式添加到代码中去, 所以这里使用一个bufferd列表储存变量和html语句, 等渲染到for循环等特殊语句时, 再调用flush_output一次性把这些东西全写入CodeBuilder中. 这样做的好处是, 最后生成的字符串代码可能会少几行.
万事具备之后, 使用正则表达式分割html文本, 然后迭代分割结果并处理就行了. 对于不同类型的字符串, 使用下面的方式来处理:
html代码块
只要有空格和换行符之外的内容, 就放入缓冲区, 等待统一写入代码
带的{{}}的变量
只要变量合法, 就记录下变量名, 然后和html代码块同样方式处理
if条件判断 & for循环
这两个处理方法差不多, 首先检查语法有无错误, 然后提取参数将其转化为python语句插入, 最后再增加缩进就行了. 其中for语句还需要记录使用的变量
end语句
这条语句意味着for循环或者if判断结束, 因此减少CodeBuilder的缩进就行
在解析完html文本之后, 清空bufferd的数据, 为字符串代码添加变量提取和函数返回值, 这样代码也就完成了.
四.结束
最后, 实例化Template对象, 调用其render方法传入上下文, 就能得到渲染的模板了:
t = Template(html)
result = t.render({'title': '高等数学'})