ITeye博客

deyimsf的博客

deyimsf · 共 27 篇文章

[置顶] Nginx系列文章-目录

》变量和脚本 ngx中的变量 ngx变量实现(上) ngx变量实现(下) ngx中的脚本(理论篇) ngx中的脚本(实战篇) 》 深入理解location匹配规则 》 双面if 》阶段和指令执行顺序 分阶段执行的http模块 指令的执行顺序 》ngx中的基本数据结构使用和实现 数组 内存池 队列 list集合 散列表 》 模块化的ngx 》编写ngx模块 编写一个核心模块 编写一个http模块 》和配置信息管理 管理模块配置信息 》事件模块实现方式 epoll 定时器 惊群和负载 》http请求过程 》filter作用和实现 过滤器组装和执行 ngx_http_copy_filter_mod…

2018-04-24 01:14 · Nginx · 评论(0)

模块化的ngx

提到ngx,一个永远绕不开的概念就是“模块”,模块在ngx中扮演者举足轻重的角色,你甚至可以认为在ngx中一切都是模块,它是一种或多种功能的一个组合体,是ngx实现灵活扩展的一个基本保障。 其实这个模块的概念跟积木及其相似,在生活中,我们可以用一堆各式各样的积木拼成各种东西,比如房子、动物、飞船等,如果现有的积木无法完成你想要拼成的东西,你并不需要否定现有的积木,而是可以引入新的积木并与之进行配合。比如在拼装汽车时缺少一个轮胎形状的积木,那我们可以单独造一个这样的积木,而不是修改现有的积木(有可能修改完后又无法拼成之前的了)。 在ngx配置文件中无法明确看出模块的影子,但其实一切皆模块,配置…

2019-05-23 17:17 · Nginx · C · 评论(0)

写一个核心模块

在 上一篇 中有提到目前ngx共有六种模块,分别是: NGX_CORE_MODULE NGX_CONF_MODULE NGX_HTTP_MODULE NGX_MAIL_MODULE NGX_EVENT_MODULE NGX_STREAM_MODULE 如果按照一种更抽象的方式来划分,除了NGX_CONF_MODULE外,我们基本上可以把ngx模块类型划分为两种,一种是核心类型(NGX_CORE_MODULE),另一种是非核心类型。 核心类型模块主要用来搭建ngx基础功能和为非核心类型模块起支撑作用,比如核心模块src/http/ngx_http.c的主要作用就是支撑(或管理)所有http模块…

2019-05-23 17:15 · Nginx · C · 评论(0)

Nginx指令的执行顺序

在我们接触的大部分计算机语言中,代码的执行都是有顺序的,而且大部分都是“过程性的”,通俗点就是代码的执行顺序跟书写顺序是一致的。如果把nginx的配置文件看成是一个“微型语言”,那么nginx中的指令,我们自然也会认为它是按照书写顺序执行的。 对于这样一个配置( 并不完整,只贴出了关键指令) : server { set $a a; location / { set $a b; return 200 I am $a; } } 按照它的书写顺序,先定义一个变量$a并赋值为“a”,然后在一个location块内重新为它赋值为“b”,如果指令的执行是过程性的,那么任何请求的输出结果都应该是“I a…

2019-04-03 13:26 · 评论(0)

关于阶段

阶段一词来自于英文中的phase,对于刚接触nginx的同学来说,即便翻遍nginx的官方文档,你也不太可能找到官方对它的解释,因为它只是nginx的一个内部实现机制,是nginx处理http请求的一个固定流程或步骤。 在计算机程序的世界里,通常在做一件复杂功能的时候,为了让其更有调理,效率更高或者把功能变的不那么复杂。一般都会把功能进行相应的拆解,将其拆成更小的功能,然后再设定一套固有的流程或步骤来调度这些小功能,并最终完成整个复杂的大功能。并且在这期间,每个小功能都各司其职,不敢(不会)越雷霆半步。 对于上面说到的固有流程或步骤,一个比较接近的例子是在网络上传输数据用到的分层模型。比如我…

2019-03-01 07:59 · Nginx · C · 评论(0)

双面if

在介绍nginx变量时我们说过,nginx具有语言的特性,并为此举了大量的例子,以及讲解了一些它的实现方式。而今天,我们将要介绍nginx的另外一个语言特性:if判断语句。以及if的另外一个非语言特性:location,是的,你没有看错,就是location,只不过它“隐藏”的很深,只有通过代码才能看到它作为location的“影子”。 好,我们开始吧。 1 作为判断语句的if 任何接触过计算机语言的同学,对于if判断语句都不会陌生,几乎所有的计算机语言都会有if语句,只不过语法上或多或少有些区别,比如下面这种带分支的if形式: if (condition) { // something }…

2019-01-16 23:09 · Http · Nginx · C · 评论(0)

深入理解location匹配规则

在前面几篇文章中,为了表述某个问题,我们都会举例说明,其中用的最多的都是以locaiton开头的配置例子,形式基本如下: location / { // 一些指令 } 特别是在 ngx中的变量 中出现的最多,它就是我们这篇文章要介绍的核心内容。 1 什么是location 它是nginx基于http协议跟外界沟通的桥梁,用来匹配并执行一个规范化的(normalized)URI,任何http请求都需要经过它的“同意”才能通过nginx的大门。那究竟什么样的请求可以进入这个大门呢?这取决于location 后面配置的是什么样的规则,比如我们常见的一种配置: location /a { retur…

2018-12-05 07:30 · Nginx · C · 评论(0)

nginx中的脚本(实战篇)

上一篇基本以理论为主,介绍了ngx中脚本实现的基本要素,这一篇以如何编译为切入点,通过实际例子,来详细介绍ngx如何通过脚本来完成变量支持的。 1 从复杂值(complex value)开始 在nginx的整个配置文件中,并非所有的配置项都涉及编译概念,对于如下nginx配置: location / { return 200 “hello world”; } 涉及到编译概念的,只有return这条配置指令,其后面的参数“hello world”在nginx内部作为一个复杂值被编译和获取。 1.1复杂值概念 复杂值(complex value)在nginx中是这样定义的: A complex …

2018-10-22 22:50 · Nginx · C · 评论(0)

nginx中的脚本(理论篇)

按照常规的打法或者按照常规的思路,针对变量的开发,也就是我们在 ngx变量实现原理 中介绍的那样:定义指令、设计结构体保存指令值、设计方法支持变量插入、利用自带的方法创建注册变量、利用自带的方法获取变量值等等,利用这些基本知识或功能点来开发变量完全没有任何问题。 但当你带着这些知识点去看nginx源码的时候,你会发现,变量的实际实现方式与我们前面介绍的变量实现方式很难一一对应上,代码里面会多出一些带"script"字样的结构体和方法,无论是变量的解析还是变量的获取,似乎都跟带"script"字样的方法和结构体脱离不了关系。 最初我知道nginx本身支持一些语言的特性,所以当我看到"scrip…

2018-09-06 08:07 · Http · Nginx · C · 评论(0)

Nginx中变量的实现(上)

上一篇 主要描述的是变量的使用,所以没涉及任何代码,而这一篇主要描述变量的实现原理,避免不了会涉及到一些底层代码,对于不了解c语言的同学读起来可能会有点吃力,这部分同学可以尝试一下两篇结合着读, 比如先读一个知识点的用法,然后再回到这篇来看一下实现原理,以此来加深理解。如果 在读的过程中你有发现任何问题,还请反馈给我,我会非常感激。 1.ngx内部如何表示变量 nginx内部用了两种结构体来表示变量,一个用来表示变量的名字,另一个用来表示变量的值,分别是: src/http/ngx_http_variables.h/ngx_http_variable_t; src/http/ngx_http…

2018-06-22 07:07 · Nginx · C · 评论(0)

Nginx中变量的实现(下)

这是Nginx中变量的实现下篇,上篇可以点 这里 1.初始化变量 尽管是同一个变量,但在定义和索引的时候nginx会创建两个ngx_http_variable_t结构体,然后分别存在于两个不同的容器中。一般情况下定义变量的时候该变量携带的信息更全,而索引变量时则相对少一些。 初始化变量的过程其实就是两个容器融合的过程,这个过程在nginx中对应ngx_http_variables_init_vars()方法。因为最后cmcf->variables_keys容器是要被销毁的,所以融合的一个主要目的是把变量定义时是携带的信息(比如get_handler方法)迁移到cmcf->variables容…

2018-06-22 06:56 · Nginx · C · 评论(0)

Nginx中的变量

在计算机语言中,变量是用来存储和表示数据的,但不同的语言表示变量的方式不同,像java语言会把变量抽象成各种类型,并且每种类型都会用一个特殊的符号表示,比如表示一个整数需要这样: int age = 25; 用int去声明age是一个变量,并且是一个表示整数的变量。 另外一种语言比如lua,在使用的时候并不需要预先声明其类型,他可以在程序运行的时候确定变量的类型,甚至在变量前面都不需要任何关键字直接拿来就用,比如: age = 25; name = “张三”; 在没有任何征兆的情况下就定义了两个变量,而且该语言会动态的识别变量的数据类型。 可以看到,虽然都是变量,但不同的语言表示变量的方式且…

2018-05-11 07:11 · Nginx · 评论(0)

Web开发中文乱码深入分析

概述 前段时间陆陆续续有一些同事跟我询问中文乱码问题,每个人的问题也都大同小异。而我最早之前也一直想写一篇这样的文章,无奈都腾不出富裕的时间,或者说拖延症比较严重(其实还是懒),这次就索性对自己狠一把,对这个问题做一个总结。 我们知道http协议是请求-响应式的,平常出现的乱码问题也就都隐藏在这一问一答之中,如果能明白字符在这个期间所走的链路,以及在这个链路中都经历了怎样的字符转换,那么遇到任何烦人的乱码问题也能够迎刃而解。 下面我会根据自身工作中的经历,讲述基于http协议在开发过程中遇到的字符乱码问题。 响应(response)时遇到的乱码问题 两千多年前孔子看见颜回煮饭时先偷偷吃了一些…

2017-02-07 16:04 · 企业应用 J2EE · Http · 编码 · 评论(0)

URL编码

URL编码又称为百分号编码,编码方式很简单,就是把单个字节用16进制表示,然后在其前面放置一个百分号。 比如有"abc"这样一个串,我们把他转换成ascii的字节序后,用16进制表示成这样: 61 62 63 把他进行百分号编码就是在各个字节前加上“%”,结果如下: *%61%62%63 * 在URL的表示中并非所有的字符都需要进行百分号编码,RFC3986(URI规范)中规定保留字符和非保留字符可以不用编码,其它字符必须用百分号编码。 RFC1738(URL规范)规定保留和非保留字符可以直接用于URL中。 保留字符: *! * ' ( ) ; : @ & = + $ , / ? # * 非…

2016-07-20 17:39 · 编码 · 评论(0)

高并发下的读服务

系统背景 几乎所有的互联网系统从开始都是一体化设计的,基本上所有的功能代码都是耦合在一起的。后续随着用户的不断增多业务也越来越多样化,系统需要的维护人员也会越来越多,相应的系统的复杂度、稳定性、可维护性也就越来越难控制,这时系统的拆分以及服务化就成了必然的选择。 系统被拆分后实现方式也就多样化起来,各个系统可以根据自己的业务需求、技术特性、方便程度、甚至个人喜好来选择使用不同的语言;服务化后各种功能被拆分的越来越细,原来可能一次请求能够完成的事,现在就需要多次请求并将结果进行融合。 服务化的好处是系统的职责变得清晰,可以突破单一资源限制等,比如突破数据库连接资源的限制(包括关系型数据库、非关…

2016-07-08 17:43 · 评论(0)