Django如何添加robots.txt文件

可以参考一下三种方法：

方法一：

1. 参考 Django 官网所放位置：github > djangoproject.com
2. 修改 nginx 配置 location /robots.txt { alias /path/to/static/robots.txt; }

方法二

修改 urls.py，将 robots.txt 放到 templates 目录

# urls.py
from django.views.generic import TemplateView

url(r'^robots\.txt$', TemplateView.as_view(template_name='robots.txt', content_type='text/plain')),

方法三

修改 urls.py，不需添加 robots.txt 文件

# urls.py
from django.http import HttpResponse

url(r'^robots\.txt$', lambda r: HttpResponse('User-agent: *\nDisallow: /admin', content_type='text/plain')),