创刊号－linux的流量控制技术-Ubicomp - 新浪BLOG

Linux的流量控制技术
Linux操作系统提供了当前所有操作系统中最复杂、最完善的QoS机制，其核心就是在网络拥塞的情况下，对不同的数据进行调度和处理，即流量控制（TC）。通过路由工具包Iproute2中提供的TC（traffic control）命令，可进行复杂的带宽管理，该系统支持分类、有限、共享和输入、输出流量限制等，可与专用的带宽管理系统相媲美。
现有的流量控制主要包括以下几种方式：
SHAPING(限制)
当流量被限制，它的传输速率就被控制在某个值以下。限制值可以大大小于有效带宽，这样可以平滑突发数据流量，使网络更为稳定。shaping（整形）只适用于向外的流量。
SCHEDULING(调度)
通过调度数据包的传输，可以在带宽范围内，按照优先级分配带宽。SCHEDULING(调度)也只适于向外的流量。
POLICING(策略)
SHAPING用于处理向外的流量，而POLICIING(策略)用于处理接收到的数据。
DROPPING(丢弃)
如果流量超过某个设定的带宽，就丢弃数据包，不管是向内还是向外。流量控制模块与内核绑定，包括三个基本的构成成块：qdisc(队列规定)、class(类)和filter(过滤器)。通过三者的有机组合，实现复杂的带宽管理功能。
队列规定QDisc（queueing discipline）
可理解为设备的流量/数据包管理器，是理解流量控制的基础。队列规定内封装了其他两个主要TC组件（类和分类器），控制数据的流动。无论何时,内核如果需要通过某网络接口发送数据报,它都需要按照该接口配置的Qdisc 把数据报加入队列。然后,内核会尽可能地按照规则从Qdisc 里面取出数据报交给网络适配器驱动模块。
最简单的QDisc是pfifo，它不对进入的数据包做任何的处理，数据包采用先入先出的方式通过队列。不过，它会保存网络接口一时无法处理的数据包。 类（class）
类与队列规定是紧密联系，上述分类的队列规定可以包含一些类，不同的类中可以包含更深入的队列规定，通过这些细分的队列规定还可以为进入相应队列的数据包排队。通过设置各种类别数据包的离队次序，队列规定可以设置网络数据流量的优先级。 FILTER(过滤器)
filter(过滤器)根据数据报的某些特征，如数据报的源IP地址、目的IP地址、协议类型、TOS字节、网络接口、端口等，对数据进行分类，决定它们按照何种QDisc进入队列。无论何时数据包进入一个划分子类的类别中，都需要进行分类。分类的方法可以有多种，使用filter(过滤器)就是其中之一。使用filter(过滤器)分类时，内核会调用附属于这个类(class)的所有过滤器，直到返回一个判决。如果没有判决返回，就作进一步的处理，而处理方式和QDISC有关。
需要注意的是，filter(过滤器)是在QDisc内部，它们不能作为主体。
目前，可用的过滤器有：fwmark 分类器，u32 分类器，基于路由的分类器和RSVP 分类器(分别用于IPV6、IPV4) 等；其中，fwmark 分类器允许我们使用Linux netfilter代码选择流量，而u32 分类器允许选择基于ANY 头的流量。
Linux 中队列规则被分成两类:Classless Qdisc (无类队列规定) 和Classful Qdisc(分类队列规定)。
无类队列规定
无类队列规定包括：
[p|b]fifo
最简单的qdisc，纯粹的先进先出。只有一个参数：limit，用来设置队列的长度,pfifo是以数据包的个数为单位；bfifo是以字节数为单位。
pfifo_fast
在编译内核时，如果打开了高级路由器(Advanced Router)编译选项，pfifo_fast就是系统的标准QDISC。它的队列包括三个波段(band)。在每个波段里面，使用先进先出规则。而三个波段(band)的优先级也不相同，band 0的优先级最高，band 2的最低。如果band里面有数据包，系统就不会处理band 1里面的数据包，band 1和band 2之间也是一样。数据包是按照服务类型(Type of Service,TOS)被分配多三个波段(band)里面的。
red
Random Early Detection随机早期探测。如果使用这种QDISC，当带宽占用接近于规定的带宽时，系统会随机地丢弃一些数据包。它非常适合高带宽应用。
sfq
Stochastic Fairness Queueing随机公平队列。它按照会话(session--对应于每个TCP连接或者UDP流)为流量进行排序，然后循环发送每个会话的数据包。
tbf
Token Bucket Filter令牌桶过滤器，适合于把流速降低到某个值
无类队列规定的配置
如果没有可分类队列规定，无类队列规定只能附属于根设备。用法如下：
tc qdisc add dev DEV root QDISC QDISC-PARAMETERS
要删除一个无类队列规定，命令如下：
tc qdisc del dev DEV root
一个网络接口上如果没有设置QDisc，pfifo_fast就作为缺省的QDisc。
分类的队列规定
分类的队列规定包括：
CBQ
Class Based Queueing类基队列。它实现了一个丰富的连接共享类别结构，既有限制(shaping)带宽的能力，也具有带宽优先级管理的能力。带宽限制是通过计算连接的空闲时间完成的。空闲时间的计算标准是数据包离队事件的频率和下层连接(数据链路层)的带宽。
HTB
Hierarchy Token Bucket分层令牌桶。通过在实践基础上的改进，它实现了一个丰富的连接共享类别体系。使用HTB可以很容易地保证每个类别的带宽，虽然它也允许特定的类可以突破带宽上限，占用别的类的带宽。HTB可以通过TBF(Token Bucket Filter)实现带宽限制，也能够划分类别的优先级。
PRIO
PRIO QDisc不能限制带宽，因为属于不同类别的数据包是顺序离队的。使用PRIO QDisc可以很容易对流量进行优先级管理，只有属于高优先级类别的数据包全部发送完毕，才会发送属于低优先级类别的数据包。为了方便管理，需要使用iptables或者ipchains处理数据包的服务类型(Type Of Service，ToS)。
操作原理
类(Class)组成一个树，每个类都只有一个父类，而一个类可以有多个子类。某些QDisc(如CBQ和HTB)允许在运行时动态添加类，而其它的QDisc(例如：PRIO)不允许动态建立类。
允许动态添加类的QDisc可以有零个或者多个子类，由它们为数据包排队。
此外，每个类都有一个叶子QDisc，默认情况下，这个叶子QDisc使用pfifo的方式排队，我们也可以使用其它类型的QDisc代替这个默认的QDisc。而且，这个叶子叶子QDisc有可以分类，不过每个子类只能有一个叶子QDisc。
当一个数据包进入一个分类QDisc，它会被归入某个子类。我们可以使用以下三种方式为数据包归类，不过不是所有的QDisc都能够使用这三种方式。
tc过滤器(tc filter)
如果过滤器附属于一个类，相关的指令就会对它们进行查询。过滤器能够匹配数据包头所有的域，也可以匹配由ipchains或者iptables做的标记。
服务类型(Type of Service)
某些QDisc有基于服务类型（Type of Service,ToS）的内置的规则为数据包分类。
skb->priority
用户空间的应用程序可以使用SO_PRIORITY选项在skb->priority域设置一个类的ID。
树的每个节点都可以有自己的过滤器，但是高层的过滤器也可以直接用于其子类。
如果数据包没有被成功归类，就会被排到这个类的叶子QDisc的队中。相关细节在各个QDisc的手册页中。
命名规则
所有的QDisc、类和过滤器都有ID。ID可以手工设置，也可由内核自动分配。
ID由一个主序列号和一个从序列号组成，两个数字用一个冒号分开。
QDISC
一个QDisc会被分配一个主序列号，叫做句柄(handle)，然后把从序列号作为类的命名空间。句柄采用象10:一样的表达方式。习惯上，需要为有子类的QDisc显式地分配一个句柄。
类(CLASS)
在同一个QDisc里面的类分享这个QDisc的主序列号，但是每个类都有自己的从序列号，叫做类识别符(classid)。类识别符只与父QDisc有关，和父类无关。类的命名习惯和QDisc的相同。
过滤器(FILTER)
过滤器的ID有三部分，只有在对过滤器进行散列组织才会用到。详情请参考tc-filters手册页。
命令格式
tc qdisc [ add | change | replace | link ] dev DEV [ parent qdisc-id | root ] [ handle qdisc-id ] qdisc [ qdisc specific parameters ]
tc class [ add | change | replace ] dev DEV parent qdisc-id [ classid class-id ] qdisc [ qdisc specific parameters ]
tc filter [ add | change | replace ] dev DEV [ parent qdisc-id | root ] protocol protocol prio priority filtertype [ filtertype specific parameters ] flowid flow-id
tc [-s | -d ] qdisc show [ dev DEV ]
tc [-s | -d ] class show dev DEV tc filter show dev DEV
操作内容
tc可以使用以下命令对QDisc、类和过滤器进行操作：
add
在一个节点里加入一个QDisc、类或者过滤器。添加时，需要传递一个祖先作为参数，传递参数时既可以使用ID也可以直接传递设备的根。如果要建立一个QDisc或者过滤器，可以使用句柄(handle)来命名；如果要建立一个类，可以使用类识别符(classid)来命名。
remove
删除有某个句柄(handle)指定的QDisc，根QDisc(root)也可以删除。被删除QDisc上的所有子类以及附属于各个类的过滤器都会被自动删除。
change
以替代的方式修改某些条目。除了句柄(handle)和祖先不能修改以外，change命令的语法和add命令相同。换句话说，change命令不能一定节点的位置。
replace
对一个现有节点进行近于原子操作的删除／添加。如果节点不存在，这个命令就会建立节点。
link
只适用于DQisc，替代一个现有的节点。
参考：
1．   Linux流量控制手册页：TC
2． “Linux Advanced Routing & Traffic Control HOWTO”，Bert Hubert
3.  《Linux系统QoS原理与应用》，李锐，安徽大学学报，2003年6月