Python Tornado入门教程 Tornado 运行和部署

2024-02-25 开发教程 Python Tornado入门教程 匿名 12

由于 Tornado 提供了自己的 HTTPServer,因此运行和部署它与其他 Python Web 框架略有不同。 您无需配置 WSGI 容器来查找您的应用程序,而是编写一个启动服务器的 ​main() ​函数:

def main():
app = make_app()
app.listen(8888)
IOLoop.current().start()
if __name__ == '__main__':
main()

配置您的操作系统或进程管理器以运行此程序以启动服务器。 请注意,可能需要增加每个进程的打开文件数(以避免“打开文件过多”-错误)。 要提高此限制(例如将其设置为 50000),您可以使用 ​ulimit ​命令,修改 ​/etc/security/limits.conf​ 或在您的 supervisord 配置中设置 ​minfds​。

进程和端口

由于 Python GIL(全局解释器锁),需要运行多个 Python 进程才能充分利用多 CPU 机器。 通常最好每个 CPU 运行一个进程。

Tornado 包含一个内置的多进程模式,可以同时启动多个进程(请注意,多进程模式在 Windows 上不起作用)。 这需要对标准的 main 函数稍作改动:

def main():
app = make_app()
server = tornado.httpserver.HTTPServer(app)
server.bind(8888)
server.start(0) # forks one process per cpu
IOLoop.current().start()

这是启动多个进程并让它们都共享同一个端口的最简单方法,尽管它有一些限制。 首先,每个子进程都有自己的 ​IOLoop​,因此在分叉之前没有任何东西(甚至间接地)触及全局 ​IOLoop ​实例是很重要的。 其次,在这种模式下很难做到零停机更新。 最后,由于所有进程共享同一个端口,因此单独监控它们更加困难。

对于更复杂的部署,建议独立启动进程,并让每个进程监听不同的端口。 supervisord 的“进程组”特性是一种很好的安排方式。 当每个进程使用不同的端口时,通常需要外部负载均衡器(例如 HAProxy 或 nginx)来向外部访问者呈现单个地址。

在负载均衡器后面运行

在像 nginx这样的负载均衡器后面运行时,建议将 ​xheaders=True​ 传递给 HTTPServer 构造函数。 这将告诉 Tornado 使用 ​X-Real-IP​ 之类的标头来获取用户的 IP 地址,而不是将所有流量归因于平衡器的 IP 地址。

这是一个准系统 nginx 配置文件,其结构类似于我们在 FriendFeed 使用的配置文件。 它假设 nginx 和 Tornado 服务器运行在同一台机器上,并且四个 Tornado 服务器运行在端口 8000 - 8003 上:

user nginx;
worker_processes 1;
error_log /var/log/nginx/error.log;
pid /var/run/nginx.pid;
events {
worker_connections 1024;
use epoll;
}
http {
# Enumerate all the Tornado servers here
upstream frontends {
server 127.0.0.1:8000;
server 127.0.0.1:8001;
server 127.0.0.1:8002;
server 127.0.0.1:8003;
}
include /etc/nginx/mime.types;
default_type application/octet-stream;
access_log /var/log/nginx/access.log;
keepalive_timeout 65;
proxy_read_timeout 200;
sendfile on;
tcp_nopush on;
tcp_nodelay on;
gzip on;
gzip_min_length 1000;
gzip_proxied any;
gzip_types text/plain text/html text/css text/xml
application/x-javascript application/xml
application/atom+xml text/javascript;
# Only retry if there was a communication error, not a timeout
# on the Tornado server (to avoid propagating "queries of death"
# to all frontends)
proxy_next_upstream error;
server {
listen 80;
# Allow file uploads
client_max_body_size 50M;
location ^~ /static/ {
root /var/www;
if ($query_string) {
expires max;
}
}
location = /favicon.ico {
rewrite (.*) /static/favicon.ico;
}
location = /robots.txt {
rewrite (.*) /static/robots.txt;
}
location / {
proxy_pass_header Server;
proxy_set_header Host $http_host;
proxy_redirect off;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Scheme $scheme;
proxy_pass http://frontends;
}
}
}

静态文件和文件缓存

您可以通过在应用程序中指定 ​static_path​ 设置从 Tornado 提供静态文件:

settings = {
"static_path": os.path.join(os.path.dirname(__file__), "static"),
"cookie_secret": "__TODO:_GENERATE_YOUR_OWN_RANDOM_VALUE_HERE__",
"login_url": "/login",
"xsrf_cookies": True,
}
application = tornado.web.Application([
(r"/", MainHandler),
(r"/login", LoginHandler),
(r"/(apple-touch-icon\.png)", tornado.web.StaticFileHandler,
dict(path=settings['static_path'])),
], **settings)

此设置将自动使所有以 ​/static/ ​开头的请求都从该静态目录提供服务,例如 ​http://localhost:8888/static/foo.png​ 将从指定的静态目录提供文件 ​foo.png​。 我们还自动从静态目录提供 ​/robots.txt​ 和 ​/favicon.ico​(即使它们不以 ​/static/​ 前缀开头)。

在上述设置中,我们明确配置 Tornado 以使用 StaticFileHandler从根目录提供 ​apple-touch-icon.png​,尽管它在物理上位于静态文件目录中。 (该正则表达式中的捕获组对于告诉 StaticFileHandler请求的文件名是必要的;回想一下,捕获组作为方法参数传递给处理程序。)您可以做同样的事情来服务,例如 ​sitemap.xml​ 来自站点根目录。 当然,您也可以通过在 HTML 中使用适当的 ​<link />​ 标签来避免伪造根 ​apple-touch-icon.png​。

为了提高性能,浏览器积极缓存静态资源通常是一个好主意,这样浏览器就不会发送可能会阻塞页面呈现的不必要的 ​If-Modified-Since​ 或 ​Etag​ 请求。 Tornado 开箱即用地支持静态内容版本控制

要使用此功能,请在模板中使用 static_url 方法,而不是直接在 HTML 中键入静态文件的 URL:

<html>
<head>
<title>FriendFeed - {{ _("Home") }}</title>
</head>
<body>
<div><img src="{{ static_url("images/logo.png") }}"/></div>
</body>
</html>

static_url() ​函数将该相对路径转换为类似于 ​/static/images/logo.png?v=aae54​ 的 URI。 ​v ​参数是 ​logo.png​ 中内容的哈希值,它的存在使 Tornado 服务器向用户的浏览器发送缓存表头,这将使浏览器无限期地缓存内容。

由于 ​v​ 参数基于文件的内容,如果您更新文件并重新启动服务器,它将开始发送新的 ​v​ 值,因此用户的浏览器将自动获取新文件。 如果文件的内容没有改变,浏览器将继续使用本地缓存的副本,而无需检查服务器上的更新,从而显着提高渲染性能。

在生产中,您可能希望从静态文件服务器(如 nginx)提供静态文件。 您可以配置任何 Web 服务器以识别 ​static_url()​ 使用的版本标签并相应地设置缓存表头。 这是我们在 FriendFeed 使用的 nginx 配置的相关部分:

location /static/ {
root /var/friendfeed/static;
if ($query_string) {
expires max;
}
}

调试模式和自动重新加载

如果将 ​debug=True​ 传递给 ​Application ​构造函数,则应用程序将以调试/开发模式运行。 在此模式下,将启用几个旨在方便开发的功能(每个功能也可作为单独的标志使用;如果同时指定了单独的标志):

  • autoreload=True​:应用程序将监视其源文件的更改,并在任何更改时重新加载。 这减少了在开发过程中手动重新启动服务器的需要。 但是,某些故障(例如导入时的语法错误)仍然会以调试模式当前无法恢复的方式使服务器停机。
  • compiled_template_cache=False​:模板不会被缓存。
  • static_hash_cache=False​:静态文件哈希(由 ​static_url​ 函数使用)不会被缓存。
  • serve_traceback=True​:当 RequestHandler 中的异常未被捕获时,将生成包含堆栈跟踪的错误页面。

Autoreload 模式与 HTTPServer 的多进程模式不兼容。 如果您使用自动重载模式,则不能给 HTTPServer.start提供 1 以外的参数(或调用 tornado.process.fork_processes)。

调试模式的自动重新加载功能在 tornado.autoreload 中作为独立模块提供。 两者可以结合使用以提供针对语法错误的额外鲁棒性:在应用程序中设置 ​autoreload=True​ 以在其运行时检测更改,并使用 ​python -m tornado.autoreload myserver.py​ 启动它以捕获任何语法错误或其他 启动时出错。

重新加载会丢失任何 Python 解释器命令行参数(例如 ​-u​),因为它使用 sys.executablesys.argv重新执行 Python。 此外,修改这些变量将导致重新加载行为不正确。

在某些平台上(包括 10.6 之前的 Windows 和 Mac OSX),进程无法“就地”更新,因此当检测到代码更改时,旧服务器退出并启动新服务器。 众所周知,这会使一些 IDE 感到困惑。