nginx面试题可以抓取手机型号吗

Nginx Https With Tomcat Http - 为程序员服务
Nginx Https With Tomcat Http
了HTTPS了,nginx
代理访问应用的
登录页也确实没有问题的。一切都是那么的完美,然而今天一早有人告诉我:登录失败报错400 Bad Request The plain HTTP request was sent to HTTPS port.
初步定位问题
然后想起有看到过红薯蜀黍的
https://www.oschina.net/question/12_213459
如下:(注:最终版在最后,如果有兴趣可以看看心路历程)
# tomcat server.xml
&Service name="Catalina"&
&Connector port="9000" protocol="HTTP/1.1"
connectionTimeout="20000"
URIEncoding="UTF-8"
redirectPort="14443"
scheme="https"
proxyPort="14443" /&
&Engine name="Catalina" defaultHost="localhost"&
&Host name="localhost"
appBase="webapps"
unpackWARs="true" autoDeploy="true"&
&Valve className="org.apache.catalina.valves.RemoteIpValve"
remoteIpHeader="x-forwarded-for"
remoteIpProxiesHeader="x-forwarded-by"
protocolHeader="x-forwarded-proto"
ssl_certificate
ssl_certificate_key
ssl_session_cache
shared:SSL:10m;
ssl_session_timeout
ssl_ciphers
HIGH:!aNULL:!MD5;
ssl_prefer_server_
location / {
index.html index.
location /omc {
proxy_set_header Host $http_
proxy_set_header X-Real-IP $remote_
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_
proxy_set_header X-Forwarded-P
proxy_connect_timeout
proxy_send_timeout
proxy_read_timeout
proxy_pass http://localhost:9000; #默认连的是http的端口
#proxy_redirect https://$host/ / ;
登录请求确实都是https请求了,但是重定向(302)返回的https的端口丢失了(即被替换为默认的443)。查了很多资料,先弄了一个折中的处理方式,把hostname替换掉,即最后
的那一行proxy_redirect。
多半是http问题和多了端口的问题。我这是少端口了,但是还是有参考价值对proxy_redirect和port_in_redirect多了解一点:
nginx 和 Tomcat 集成后发生的重定向问题分析和解决
SSL+tomcat
,request.getScheme() 取到https正确的
Nginx + Tomcat + HTTPS 配置原来不需要在 Tomcat 上启用 SSL 支持
Setting up NGINX SSL reverse proxy for Tomcat
还有一些没啥卵用,还带点误导性质的,但是还是得把它帖出来(蜜汁尴尬):(注:不是说人家的有错,而是说和上面的Valve结合后不行了)
解决nginx https代理tomcat redirect问题
注:nginx/tomcat配置https的方法,请查看前一篇文章。
注2:还有tomcat里面Header是不区分大小写的:
org.apache.tomcat.util.http.MimeHeaders.getValue(String)
注3:如果配置proxyPort(而不是Valve的话)取到协议好像不对(没验证),并且配置Valve可以不影响Connector。
ssl_certificate
ssl_certificate_key
ssl_session_cache
shared:SSL:10m;
ssl_session_timeout
ssl_ciphers
HIGH:!aNULL:!MD5;
ssl_prefer_server_
location / {
index.html index.
location /omc {
proxy_set_header Host $http_
proxy_set_header X-Forwarded-Host $http_
proxy_set_header X-Real-IP $remote_
proxy_set_header X-Forwarded-Port $server_ # !!自定义port header
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_
proxy_set_header X-Forwarded-P
proxy_connect_timeout
proxy_send_timeout
proxy_read_timeout
proxy_pass http://localhost:9000;
#proxy_redirect https://$host/ / ;
# tomcat server.xml
&Service name="Catalina"&
&Connector port="9000" protocol="HTTP/1.1"
connectionTimeout="20000"
URIEncoding="UTF-8"
redirectPort="8443"
&Engine name="Catalina" defaultHost="localhost"&
&Host name="localhost"
appBase="webapps"
unpackWARs="true" autoDeploy="true"&
&Valve className="org.apache.catalina.valves.RemoteIpValve"
portHeader="x-forwarded-port"
remoteIpHeader="x-forwarded-for"
proxiesHeader="x-forwarded-by"
protocolHeader="x-forwarded-proto"
http://www.winseliu.com/blog//nginx-https-with-tomcat-http/
http://info.siven.net/posts/d925bb5d.html
https://www.omg
a.com/nginx-https-with-tomcat-http.html
本站部分文章源于互联网,本着传播知识、有益学习和研究的目的进行的转载,为网友免费提供。如有著作权人或出版方提出异议,本站将立即删除。如果您对文章转载有任何疑问请告之我们,以便我们及时纠正。
PS:推荐一个微信公众号: askHarries 或者qq群:,里面会分享一些资深架构师录制的视频录像:有Spring,MyBatis,Netty源码分析,高并发、高性能、分布式、微服务架构的原理,JVM性能优化这些成为架构师必备的知识体系。还能领取免费的学习资源,目前受益良多
转载请注明原文出处:
追心中的海,逐世界的梦
原文地址:, 感谢原作者分享。
您可能感兴趣的代码& & &运行在多进程模型的nginx在正常工作时,自然就会有多个进程实例,比如下图是在配置&worker_processes& 4;&情况下的显示,nginx设置的进程title能很好的帮助我们区分监控进程与工作进程,不过带上选项f的ps命令以树目录的形式打印各个进程信息也能帮助我们做这个区分。多进程联合工作必定要牵扯到进程之间的通信问题,下面就来看看nginx是如何做的。
& 采用socketpair()函数创造一对未命名的unix域套接字来进行进程之间的双向通信.
&基本的数据结构:
typedef struct {
* 进程退出的状态
* 进程的channel,通过socketpair创建的
ngx_socket_t
channel[2];
* 进程的初始化函数,在每次创建完worker进程时调用
ngx_spawn_proc_
* 向进程初始化函数传递的参数
* 进程的状态
respawn:1;
just_spawn:1;
detached:1;
exiting:1;
} ngx_process_t;
typedef struct {
* 向worker进程发送的命令
* 对应进程的id
* 对应的进程在ngx_processes数组中的下标
* 文件描述符
} ngx_channel_t;
static void
ngx_start_worker_processes(ngx_cycle_t *cycle, ngx_int_t n, ngx_int_t type)
.....for (i = 0; i & i++) {
cpu_affinity = ngx_get_cpu_affinity(i);
ngx_spawn_process(cycle, ngx_worker_process_cycle, NULL,
"worker process", type);
//创建子进程后调用 ngx_worker_process_cycle
ngx_pass_open_channel(cycle, &ch);
ngx_spawn_process函数:
#define NGX_MAX_PROCESSES
ngx_process_t
ngx_processes[NGX_MAX_PROCESSES];
ngx_spawn_process(ngx_cycle_t *cycle, ngx_spawn_proc_pt proc, void *data,
char *name, ngx_int_t respawn)
if (socketpair(AF_UNIX, SOCK_STREAM, 0, ngx_processes[s].channel) == -1)
..............
ngx_channel = ngx_processes[s].channel[1];
pid = fork(); //创建进程
ngx_close_channel(ngx_processes[s].channel, cycle-&log);//子进程调用
proc(cycle, data); //主进程掉用,ngx_worker_process_cycle
& & 在该函数进行fork()之前,先调用了socketpair()创建一对socket描述符,存放在变量ngx_processes[s].chanel内,(其中s标志在ngx_processes数组内第一个可用元素的下标,比如最开始产生第一个工作进程时,可用元素的下标s为0),而在fork() 之后,由于子进程继承了父进程的资源,那么父子进程都拥有一对socket描述符,而nginx将channel[0]给父进程使用, channel[1]给子进程使用,这样分别错开使用不同的描述符,即可实现父子进程之间的双向通信.
& & &除此之外,对于各个子进程也能进行双向通信.父子进程的通信channel设定是自然而然的事情,而子进程之间的通信channel设定就涉及到进程之间文件描述符(socket描述符也属于文件描述符)的传递,因为虽然后生成的子进程通过继承的channel[0]能够往前生成的子进程发送信息,但前生成的子进程无法获知后生成子进程的channel[0]而不能发送信息,所以后生成的子进程必须利用已知的前生成子进程的channel[0]进行主动告知。
& & 在子进程的初始话函数ngx_worker_process_init()里,会把ngx_channel(channel[1])加入到读事件监听集里,对应回调处理函数ngx_channel_handler();
& & ngx_worker_process_init() //worker进程初始化
static void
ngx_worker_process_init(ngx_cycle_t *cycle, ngx_uint_t priority)
if (ngx_add_channel_event(cycle, ngx_channel, NGX_READ_EVENT, ngx_channel_handler)
& & 而在父进程fork()生成一个新子进程后,就会立即通过ngx_pass_open_channel()函数把这个子进程的相关信息告知给其前面已生成的子进程:
static void
ngx_pass_open_channel(ngx_cycle_t *cycle, ngx_channel_t *ch)
for (i = 0; i & ngx_last_ i++) {
if (i == ngx_process_slot
|| ngx_processes[i].pid == -1
|| ngx_processes[i].channel[0] == -1)
...........
ngx_write_channel(ngx_processes[i].channel[0],
ch, sizeof(ngx_channel_t), cycle-&log);
& & &其中参数ch里包括刚创建新子进程的pid,进程信息全局数组的ngx_processes的下标,socket描述符channel[0]等信息,这里通过循环所有的存活的其他子进程,然后调用函数ngx_write_channel()通过继承的channel[0]描述符进行信息主动告知,而接收到这信息的子进程将执行回调函数ngx_channel_handler(),把接收到的新子进程A的相关信息存储在ngx_processes全局数组内。&
static void
ngx_channel_handler(ngx_event_t *ev)
for ( ;; ) {
n = ngx_read_channel(c-&fd, &ch, sizeof(ngx_channel_t), ev-&log);//读取channel
switch (ch.command) {
case NGX_CMD_OPEN_CHANNEL:
ngx_processes[ch.slot].pid = ch.
ngx_processes[ch.slot].channel[0] = ch.
最后,就目前nginx代码来看,子进程并没有往父进程发送任何消息,子进程之间也没有相互通信的逻辑,也许是因为nginx有其它一些更好的进程通信方式,比如共享内存等,所以这种channel通信目前仅做为父进程往子进程发送消息使用,但由于有这个基础在这,如果未来要使用channel做这样的事情,的确是可以的。
阅读(...) 评论()随笔- 111&
评论- 233&
&&&&&&&&&&&
前段时间在我的网站上用nginx做了一下反向代理,最近发现不能获取客户端ip了,都是拿到的127.0.0.1的本地ip。。。
通过查资料后,再去看了看我的配置文件,结果发现我没有如下配置:
nginx反向代理配置时,一般会添加下面的配置:
&&&&& proxy_set_header Host $&&&&&&proxy_set_header X-Real-IP $remote_&&&&&&proxy_set_header REMOTE-HOST $remote_&&&&&&proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_
location / {
   proxy_pass http://127.0.0.1:10678;
   proxy_set_header Host $
&&&&&&& proxy_set_header X-Real-IP $remote_
&&&&&&& proxy_set_header REMOTE-HOST $remote_
&&&&&&& proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_&&& }
这样就ok了。
阅读(...) 评论()nginx修改配置限制恶意爬虫频率
转载 &更新时间:日 10:56:50 & 投稿:daisy
这篇文章主要介绍在nginx中怎样修改相关配置,以限制恶意爬虫频率的方法,有需要的朋友参考下。
如何在nginx中限制恶意网络爬虫抓取内容呢?也就是限制下恶意爬虫的抓取频率。下面来一起看看。
今天在微博发现@金荣叶 的处理方法很灵活,可以动态设定一个爬虫的频率,达到减轻服务器负载,并且不至于封杀爬虫。
limit_req_zone $anti_spider zone=anti_spider:10m rate=15r/m;
#某个server中
limit_req zone=anti_spider burst=30
if ($http_user_agent ~* “xxspider|xxbot”) {
set $anti_spider $http_user_
超过设置的限定频率,就会给spider一个503。
以上就是nginx修改配置限制恶意爬虫频率的全部内容,希望对大家的工作和学习能有所帮助,如果有疑问可以留言交流。
您可能感兴趣的文章:
大家感兴趣的内容
12345678910
最近更新的内容
常用在线小工具nginx 禁止某些User Agent抓取网站
作者:用户
本文讲的是nginx 禁止某些User Agent抓取网站,
nginx配置步骤
进入到nginx安装目录下的conf目录,将如下代码保存为 agent_deny.conf
# cd /usr/local/nginx/conf
# vi agent_deny.conf
#禁止Scrapy等
nginx配置步骤
进入到nginx安装目录下的conf目录,将如下代码保存为 agent_deny.conf
# cd /usr/local/nginx/conf
# vi agent_deny.conf
#禁止Scrapy等工具的抓取
if ($http_user_agent ~* (Scrapy|Curl|HttpClient)) {
return 403;
#禁止指定UA及UA为空的访问
if ($http_user_agent ~ "WinHttp|WebZIP|FetchURL|node-superagent|java/|FeedDemon|Jullo|JikeSpider|Indy Library|Alexa Toolbar|AskTbFXTV|AhrefsBot|CrawlDaddy|Java|Feedly|Apache-HttpAsyncClient|UniversalFeedParser|ApacheBench|Microsoft URL Control|Swiftbot|ZmEu|oBot|jaunty|Python-urllib|lightDeckReports Bot|YYSpider|DigExt|HttpClient|MJ12bot|heritrix|EasouSpider|Ezooms|BOT/0.1|YandexBot|FlightDeckReports|Linguee Bot|^$" ) {
return 403;
#禁止非GET|HEAD|POST方式的抓取
if ($request_method !~ ^(GET|HEAD|POST)$) {
return 403;
然后,在网站相关配置中的 server段插入如下代码:
include agent_deny.
保存后,执行如下命令,平滑重启nginx即可:
/usr/local/nginx/sbin/nginx -s reload
当然如果不配置环境直接使用php也可以
//获取UA信息
$ua = $_SERVER['HTTP_USER_AGENT'];
//将恶意USER_AGENT存入数组
$now_ua = array('FeedDemon ','BOT/0.1 (BOT for JCE)','CrawlDaddy ','Java','Feedly','UniversalFeedParser','ApacheBench','Swiftbot','ZmEu','Indy Library','oBot','jaunty','YandexBot','AhrefsBot','MJ12bot','WinHttp','EasouSpider','HttpClient','Microsoft URL Control','YYSpider','jaunty','Python-urllib','lightDeckReports Bot');
//禁止空USER_AGENT,dedecms等主流采集程序都是空USER_AGENT,部分注入工具也是空USER_AGENT
if(!$ua) {
header("Content-type: text/; charset=utf-8");
wp_die('请勿采集本站,因为采集的站长木有小JJ!');
foreach($now_ua as $value )
//判断是否是数组中存在的UA
if(eregi($value,$ua)) {
header("Content-type: text/ charset=utf-8");
wp_die('请勿采集本站,因为采集的站长木有小JJ!');
apache屏蔽恶意 User Agent
使用 .htaccess 屏蔽 User Agent 的方法很多,这里使用 rewrite 规则把这些 User Agent 转移走,以达到屏蔽的效果。
RewriteCond %{HTTP_USER_AGENT} “.*EmbeddedWB.*” [OR]
RewriteCond %{HTTP_USER_AGENT} “.*QunarBot.*” [OR]
RewriteCond %{HTTP_USER_AGENT} “.*Windows 98.*” [OR]
RewriteCond %{HTTP_USER_AGENT} “^Mozilla/4.0$”
RewriteRule ^(.*)$ http://www.111cn.net/
使用 .htaccess 需要了解一些正则表达式语法,以正确匹配字符串。
如果你觉得有用,屏蔽恶意 User Agent 前,不妨先分析一下自己的网站日志,根据自己的需要定制。可以使用 Firefox+User Agent Switcher 测试效果,Chrome 也有类似的切换 User Agent 的扩展程序
以上是云栖社区小编为您精心准备的的内容,在云栖社区的博客、问答、公众号、人物、课程等栏目也有的相关内容,欢迎继续使用右上角搜索按钮进行搜索正则表达式
nginx user agent、nginx 判断user agent、nginx 防抓取、nginx agent、nginx 根据agent 拒绝,以便于您获取更多的相关知识。
弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率
40+云计算产品,6个月免费体验
稳定可靠、可弹性伸缩的在线数据库服务,全球最受欢迎的开源数据库之一
云服务器9.9元/月,大学必备
云栖社区(yq.aliyun.com)为您免费提供相关信息,包括
,所有相关内容均不代表云栖社区的意见!

我要回帖

更多关于 nginxweblogic 的文章

 

随机推荐