共享型网站源码分享?共享资源网站的设计与实现

大家好,如果您还对共享型网站源码分享不太了解,没有关系,今天就由本站为大家分享共享型网站源码分享的知识,包括共享资源网站的设计与实现的问题都会给大家分析到,还望可以解决大家的问题,下面我们就开始吧!

本文主要帮助大家熟悉Nginx有哪些应用场景、Nginx特点和架构模型以及相关流程、Nginx定制化开发的几种模块分类。读完本文你将对Nginx有一定的认识。

图片来自Pexels

本文将围绕如下几个部分进行讲解:

Nginx简介及特点Nginx应用场景Nginx框架模型介绍Nginx内部流程介绍Nginx自定义模块开发介绍Nginx核心时间点模块介绍Nginx分流模块介绍Nginx动态upstream模块介绍Nginxquery_upstrem模块介绍Nginxquery_conf模块介绍Nginx共享内存支持Redis协议模块介绍Nginx日志回放压测工具介绍

Nginx简介以及特点

Nginx(enginex)是一个高性能的Web服务器和反向代理服务器,也是一个IMAP/POP3/SMTP服务器:

它由俄罗斯程序员IgorSysoev于2002年开始开发。Nginx是增长最快的Web服务器,市场份额已达33.3%。全球使用量排名第二,2011年成立商业公司。

Nginx社区分支:

Openresty:作者@agentzh(章宜春)开发的,最大特点是引入了ngx_lua模块,支持使用Lua开发插件,并且集合了很多丰富的模块,以及Lua库。Tengine:主要是淘宝团队开发。特点是融入了因淘宝自身的一些业务带来的新功能。Nginx官方版本,更新迭代比较快,并且提供免费版本和商业版本。

Nginx源码结构(代码量大约11万行C代码):

源代码目录结构Core(主干和基础设置)Event(事件驱动模型和不同的IO复用模块)HTTP(HTTP服务器和模块)Mail(邮件代理服务器和模块)OS(操作系统相关的实现)Misc(杂项)

Nginx特点如下:

反向代理,负载均衡器高可靠性、单Master多Worker模式高可扩展性、高度模块化非阻塞事件驱动低内存消耗热部署

Nginx应用场景

Nginx的应用场景如下:

静态文件服务器反向代理,负载均衡安全防御智能路由(企业级灰度测试、地图POI一键切流)灰度发布静态化消息推送图片实时压缩防盗链

Nginx框架模型介绍

进程组件角色:

Master进程:监视工作进程的状态;当工作进程死掉后重启一个新的;处理信号和通知工作进程。Worker进程:处理客户端请求,从主进程处获得信号做相应的事情。CacheLoader进程:加载缓存索引文件信息,然后退出。CacheManager进程:管理磁盘的缓存大小,超过预定值大小后最少使用数据将被删除。

Nginx的框架模型如下图:

框架模型流程如下图:

Nginx内部流程介绍

Nginx框架模型流程如下图:

Master初始化流程,如下图:

Worker初始化:

Worker初始化流程图如下:

静态文件请求IO流程如下图:

HTTP请求流程如下图:

HTTP请求11个阶段,如下图所示:

upstream模块:

访问第三方Server服务器底层HTTP通信非常完善异步非阻塞上下游内存零拷贝,节省内存支持自定义模块开发

upstream框架流程,如下图:

upstream内部流程,如下图:

反向代理流程,如下图:

Nginx定制化模块开发

Nginx的模块化设计特点如下:

高度抽象的模块接口模块接口非常简单,具有很高的灵活性配置模块的设计核心模块接口的简单化多层次、多类别的模块设计

内部核心模块:

Handler模块:接受来自客户端的请求并构建响应头和响应体。

Filter模块:过滤(filter)模块是过滤响应头和内容的模块,可以对回复的头和内容进行处理。它的处理时间在获取回复内容之后,向用户发送响应之前。

Upstream模块:使Nginx跨越单机的限制,完成网络数据的接收、处理和转发,纯异步的访问后端服务。

Load_Balance:负载均衡模块,实现特定的算法,在众多的后端服务器中,选择一个服务器出来作为某个请求的转发服务器。

ngx_lua模块:

脚本语言内存开销小运行速度快强大的Lua协程非阻塞业务逻辑以自然逻辑书写

定制化开发Demo

Handler模块:

编写config文件编写模块产生内容响应信息

config\nngx_addon_name=ngx_http_test_module\nHTTP_MODULES=&34;\nNGX_ADDON_SRCS=&34;\n34;hellotest&39;GET&39;HEAD&39;tneedithere*/\nrc=ngx_http_discard_request_body(r);\n\nif(rc!=NGX_OK){\nreturnrc;\n}\n\n/*setthe&39;header*/\n/*\n*r->headers_out.content_type.len=sizeof(&34;)-1;\n*r->headers_out.content_type.data=(u_char*)&34;;\n*/\nngx_str_set(&r->headers_out.content_type,&34;);\n\n/*sendtheheaderonly,iftherequesttypeishttp&39;*/\nif(r->method==NGX_HTTP_HEAD){\nr->headers_out.status=NGX_HTTP_OK;\nr->headers_out.content_length_n=ngx_test_string.len;\n\nreturnngx_http_send_header(r);\n}\n\n/*setthestatusline*/\nr->headers_out.status=NGX_HTTP_OK;\nr->headers_out.content_length_n=ngx_test_string.len;\n\n/*sendtheheadersofyourresponse*/\nrc=ngx_http_send_header(r);\nif(rc==NGX_ERROR||rc>NGX_OK||r->header_only){\nreturnrc;\n}\n\n/*allocateabufferforyourresponsebody*/\nb=ngx_pcalloc(r->pool,sizeof(ngx_buf_t));\nif(b==NULL){\nreturnNGX_HTTP_INTERNAL_SERVER_ERROR;\n}\n\n/*attachthisbuffertothebufferchain*/\nout.buf=b;\nout.next=NULL;\n\n/*adjustthepointersofthebuffer*/\nb->pos=ngx_test_string.data;\nb->last=ngx_test_string.data+ngx_test_string.len;\nb->memory=1;/*thisbufferisinmemory*/\nb->last_buf=1;/*thisisthelastbufferinthebufferchain*/\n\n/*sendthebufferchainofyourresponse*/\nreturnngx_http_output_filter(r,&out);\n}

Nginx核心时间点模块介绍

解决接入层故障定位慢的问题,帮助OP快速判定问题根因,优先自证清白,提高接入层高效的生产力。

Nginx分流模块介绍

Nginx分流模块特点如下:

实现非常灵活的动态的修改策略从而进行切流量。实现平滑无损的方式进行流量的切换。通过秒级切换流量可以缩小影响范围,从而减少损失。按照某一城市或者某个特征,秒级进行切换流量或者禁用流量。容忍单机房级别容量故障,缩短了单机房故障的止损时间。快速的将流量隔离或者流量抽样。高效的灰度测试,提高生产力。

Nginx动态upstream模块介绍

让接入层可以适配动态调度的云环境,实现服务的平滑上下线、弹性扩/缩容。

从而提高接入层高效的生产力以及稳定性,保证业务流量的平滑无损。

Nginxquery_upstream模块介绍

链路追踪,梳理接口到后端链路的情况。查询location接口对应upstreamserver信息。

Nginxquery_conf模块介绍

获取Nginx配置文件格式化为json格式信息:

Nginx共享内存支持Redis协议模块介绍

根据配置文件来动态的添加共享内存:

https://github.com/lidaohang/ngx_shm_dict

ngx_shm_dict:共享内存核心模块(红黑树,队列)

ngx_shm_dict_manager:添加定时器事件,定时的清除共享内存中过期的Key,添加读事件,支持Redis协议,通过redis-cliget,set,del,ttl

ngx_shm_dict_view:共享内存查看

Nginx日志回放压测工具

解析日志进行回放压测,模拟后端服务器慢等各种异常情况:

https://github.com/lidaohang/playback-testing

方案说明:

客户端解析access.log构建请求的host,port,url,body。把后端响应时间,后端响应状态码,后端响应大小放入header头中。后端服务器获取相应的header,进行模拟响应body大小,响应状态码,响应时间。

使用方式:

拷贝需要测试的access.log的日志到logs文件夹里面。搭建需要测试的Nginx服务器,并且配置upstream指向后端服务器断端口启动后端服务器实例

server/backserver/main.go

进行压测

bin/wrk-c30-t1-sconf/nginx_log.luahttp://localhost:8095

作者:李航

简介:多年的底层开发经验,在高性能Nginx开发和分布式缓存RedisCluster有着丰富的经验,目前从事分布式存储工作。先后在58同城、汽车之家、优酷土豆集团工作。目前供职于滴滴基础平台-技术专家岗位,主要负责分布式Ceph系统。个人主要关注的技术领域:高性能Nginx开发、分布式缓存、分布式存储。

编辑:陶家龙

征稿:有投稿、寻求报道意向技术人请联络editor@51cto.com

OK,本文到此结束,希望对大家有所帮助。

Published by

风君子

独自遨游何稽首 揭天掀地慰生平