关于Docker的网络虚拟化

× 文章目录
  1. 0. Linux网络基础
  2. 1. Linux Network Namespace
  3. 2. 连接Network Namespace
    1. 2.1 Veth Pair直连
    2. 2.2 通过Linux bridge连接
  4. 3. 连接Network Namespace与外部网络
  5. 总结
  6. 参考

网络虚拟化是虚拟化技术的一部分，Docker的网络虚拟化除了Network Namespace之外还包含veth，bridge，NAT，iptables等很多关键因素。

0. Linux网络基础

由于网络虚拟化涉及到很多网络相关的基础知识，发现自己对很多基本概念还是没有理清楚，Linux中网络相关的东西跟《计算机网络》里面的内容还是有很大距离。

经过几天对Linux网络的摸索，将网络中关键模块的层级依赖关系大概总结成这么一个图：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
+-----------------------------------------------------------------------------+
|                                                                             |
|                                        +------------+                       |
|         User Space                     |Applications|                       |
|                                        +-----+------+                       |
|                                              |                              |
+------------------------------------------+---v----+-------------------------+
|                                          | Socket |                         |
|                                          +---+----+                         |
|                                              |                              |
|                             +----------------v------------------+           |
|                             |                |  Transfer Layer  |           |
|         Kernel Space        | Protocol Stack |------------------+           |
|                             |                |  Network Layer   |           |
|                             +-----------------------------------+           |
|                                              |                              |
|                                     +--------v------------+                 |
|                                     |Network Device Driver|                 |
+----------------------------------------------+------------------------------+
|                                              |                              |
|                                              |                              |
|                                   +----------v--------------+               |
|        Physical Device            |Network Interface(Device)|               |
|                                   +-------------------------+               |
|                                                                             |
+-----------------------------------------------------------------------------+

有了一些新的认识：

  • Linux内核中的协议栈（Protocol Stack）只实现了传输层和网络层的协议（TCP、UDP、ARP、IP、ICMP等），应用层的协议（HTTP、SFTP、FTP等）由用户态的应用程序自行实现，链路层的协议（ethernet、802.11等）由网络设备的驱动和硬件实现
  • 实际的网络系统并不是严格按照协议分层去实现的，分层协议模型只是一个理论模型，各种分层模型中TCP/IP四层模型比较接近于现代互联网的实现
  • Socket连接着应用层和传输层，也连接着内核空间和用户空间，是协议栈向外暴露的统一接口。用户空间中的应用程序可以通过Socket接口创建各种协议连接
  • ifconfig命令列出的是所有的Network Interface，其中有物理网络设备也有虚拟网络设备，ens33，eth0等都是典型的物理网络设备，lo、docker0、veth等都是典型的虚拟网络设备。内核集成了一些物理网络设备的驱动（但应该也有工作在用户态下的驱动），通过驱动控制物理网络设备发送接收数据。内核提供的虚拟网络设备应该是对网络设备驱动和物理网络设备的虚拟化，工作在协议栈之下
  • 路由表（routing tables）建立了一些IP地址和Network Interface的映射，协议栈中的网络层根据这些映射选择发送包的具体Network Interface
  • 用户态（User Mode）和（Kernel Mode）是指程序运行的状态（State），运行在Kernel Mode下的程序可以不受限制的直接访问系统设备，运行在User Mode下的程序需要通过内核提供的系统调用（System Call）接口受限制的访问设备。User Space和Kernel Space是对内存空间的划分，User Mode的程序运行在User Space中，Kernel Mode的程序运行在Kernel Space中。Userland是指运行在User Mode下的软件集合

1. Linux Network Namespace

Docker的网络虚拟化基于Linux内核提供的Network Namespace特性实现，每一个Network Namespace都有自己的Network Stack，即网络接口，路由表，防火墙规则等，大概就是上面那个图中内容。

首先，抛开Docker，看看Linux中的Network Namespace是什么样的？

创建一个新的Network Namespace test1

1
2
3
root@ubuntu:~# ip netns add test1
root@ubuntu:~# ip netns list
test1

在test1内执行ip a，列出所有网络接口

1
2
3
root@ubuntu:~# ip netns exec test1 ip a
1: lo: <LOOPBACK> mtu 65536 qdisc noop state DOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00

发现只有一个用于本地通信的回环（loopback）接口，处于DOWN状态

1
2
root@ubuntu:~# ip netns exec test1 ping 127.0.0.1
connect: Network is unreachable

ping自身失败，启动lo设备，再ping，发现成功

1
2
3
4
5
6
7
8
9
10
11
12
13
root@ubuntu:~# ip netns exec test1 ip link set dev lo up
root@ubuntu:~# ip netns exec test1 ip link
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN mode DEFAULT group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
root@ubuntu:~# ip netns exec test1 ping 127.0.0.1
PING 127.0.0.1 (127.0.0.1) 56(84) bytes of data.
64 bytes from 127.0.0.1: icmp_seq=1 ttl=64 time=0.016 ms
64 bytes from 127.0.0.1: icmp_seq=2 ttl=64 time=0.049 ms
64 bytes from 127.0.0.1: icmp_seq=3 ttl=64 time=0.046 ms
^C
--- 127.0.0.1 ping statistics ---
3 packets transmitted, 3 received, 0% packet loss, time 2032ms
rtt min/avg/max/mdev = 0.016/0.037/0.049/0.014 ms

2. 连接Network Namespace

此时test1这个Network Namespace只能内部通信，无法与其他Network Namespace通信，例如就无法与宿主机所在的Default Network Namespace通信，因此要将它们连接起来。

2.1 Veth Pair直连

连接Network Namespace有点像物理世界中的计算机组网，要连接两台计算机最简单粗暴的方式就是用一根网线直接将它们连接起来。连接两个Namespace需要用到Veth Pair，Veth是Linux内核提供的一种网络虚拟化设备，总是成对存在，就像一根虚拟网线的两端，分别连接到需要接通的两个Network Namespace上。

​ The veth devices are virtual Ethernet devices. They can act as tunnels between network namespaces to create a bridge to a physical network device in another namespace, but can also be used as standalone network devices.
​ veth devices are always created in interconnected pairs.

​ –veth(4) - Linux manual page - man7.org

Veth Pair连接到两个Network Namespace的示意如图：

1
2
3
4
5
6
7
8
9
+-------------------------------+                       +-------------------------------+
|                               |                       |                               |
|  Default Network Namespace    |                       |    test1 Network Namespace    |
|                               |                       |                               |
|                     +---------+      veth pair        +---------+                     |
|                     | veth-a  <----------------------->  veth-b |                     |
|                     +---------+                       +---------+                     |
|                               |                       |                               |
+-------------------------------+                       +-------------------------------+

在Default Network Namespace上创建一对Veth

1
2
3
4
5
6
7
8
9
10
11
12
root@ubuntu:~# ip link add veth-a type veth peer name veth-b
root@ubuntu:~# ip link
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN mode DEFAULT group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP mode DEFAULT group default qlen 1000
    link/ether 00:0c:29:d9:7e:f2 brd ff:ff:ff:ff:ff:ff
5: docker0: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 1500 qdisc noqueue state DOWN mode DEFAULT group default
    link/ether 02:42:87:84:d5:2b brd ff:ff:ff:ff:ff:ff
14: veth-b@veth-a: <BROADCAST,MULTICAST,M-DOWN> mtu 1500 qdisc noop state DOWN mode DEFAULT group default qlen 1000
    link/ether ea:96:83:5a:1e:81 brd ff:ff:ff:ff:ff:ff
15: veth-a@veth-b: <BROADCAST,MULTICAST,M-DOWN> mtu 1500 qdisc noop state DOWN mode DEFAULT group default qlen 1000
    link/ether f2:2d:dc:62:3a:79 brd ff:ff:ff:ff:ff:ff

将veth-b移动到test1中

1
2
3
4
5
6
7
8
9
root@ubuntu:~# ip link set veth-b netns test1
root@ubuntu:~# ip netns exec test1 ip link
……
14: veth-b@if15: <BROADCAST,MULTICAST> mtu 1500 qdisc noop state DOWN mode DEFAULT group default qlen 1000
    link/ether ea:96:83:5a:1e:81 brd ff:ff:ff:ff:ff:ff link-netnsid 0
root@ubuntu:~# ip link
……
15: veth-a@if14: <BROADCAST,MULTICAST> mtu 1500 qdisc noop state DOWN mode DEFAULT group default qlen 1000
    link/ether f2:2d:dc:62:3a:79 brd ff:ff:ff:ff:ff:ff link-netnsid 0

要使得veth-a和veth-b正常工作，还需要启动它们，并为它们设置ip地址从而连接协议栈底层的网络层

设置Default中的veth-aip为192.168.2.1/24

1
2
3
4
5
6
7
8
root@ubuntu:~# ip addr add 192.168.2.1/24 dev veth-a
root@ubuntu:~# ip link set veth-a up
root@ubuntu:~# ip addr
……
15: veth-a@if14: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 1500 qdisc noqueue state LOWERLAYERDOWN group default qlen 1000
    link/ether f2:2d:dc:62:3a:79 brd ff:ff:ff:ff:ff:ff link-netnsid 0
    inet 192.168.2.1/24 scope global veth-a
       valid_lft forever preferred_lft forever

设置test1中的veth-bip为192.168.2.2/24

1
2
3
4
5
6
7
8
9
10
root@ubuntu:~# ip netns exec test1 ip addr add 192.168.2.2/24 dev veth-b
root@ubuntu:~# ip netns exec test1 ip link set veth-b up
root@ubuntu:~# ip netns exec test1 ip addr
……
14: veth-b@if15: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default qlen 1000
    link/ether ea:96:83:5a:1e:81 brd ff:ff:ff:ff:ff:ff link-netnsid 0
    inet 192.168.2.2/24 scope global veth-b
       valid_lft forever preferred_lft forever
    inet6 fe80::e896:83ff:fe5a:1e81/64 scope link
       valid_lft forever preferred_lft forever

此时两个Network Namespace已经可以通过veth-a和veth-b通信

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
root@ubuntu:~# ping 192.168.2.2
PING 192.168.2.2 (192.168.2.2) 56(84) bytes of data.
64 bytes from 192.168.2.2: icmp_seq=1 ttl=64 time=0.039 ms
64 bytes from 192.168.2.2: icmp_seq=2 ttl=64 time=0.043 ms
64 bytes from 192.168.2.2: icmp_seq=3 ttl=64 time=0.065 ms
64 bytes from 192.168.2.2: icmp_seq=4 ttl=64 time=0.051 ms
^C
--- 192.168.2.2 ping statistics ---
4 packets transmitted, 4 received, 0% packet loss, time 3073ms
rtt min/avg/max/mdev = 0.039/0.049/0.065/0.012 ms
root@ubuntu:~# ip netns exec test1 ping 192.168.1.1
connect: Network is unreachable
root@ubuntu:~# ip netns exec test1 ping 192.168.2.1
PING 192.168.2.1 (192.168.2.1) 56(84) bytes of data.
64 bytes from 192.168.2.1: icmp_seq=1 ttl=64 time=0.114 ms
64 bytes from 192.168.2.1: icmp_seq=2 ttl=64 time=0.038 ms
64 bytes from 192.168.2.1: icmp_seq=3 ttl=64 time=0.103 ms
^C
--- 192.168.2.1 ping statistics ---
3 packets transmitted, 3 received, 0% packet loss, time 2042ms
rtt min/avg/max/mdev = 0.038/0.085/0.114/0.033 ms

2.2 通过Linux bridge连接

在为物理主机组网时，用网线只能连接两台计算机，要想为两台以上的计算机组网，就需要用到交换机、路由器等网络设备。Network Namespace的连接也一样，要想连接将两个以上的Network Namspace连接起来，就需要用到虚拟交换机（virtual network switch），Docker使用的Linux bridge就是虚拟交换机的一种，是Linux提供一种虚拟交换机解决方案。

A bridge is a piece of software used to unite two or more network segments. A bridge behaves like a virtual network switch, working transparently (the other machines do not need to know or care about its existence). Any real devices (e.g. eth0) and virtual devices (e.g. tap0) can be connected to it.

​ – Network bridge, ArchLinux

用Linux bridge连接两个Network Namespace的示意如图：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
+----------------------+                     +----------------------+
|                      |                     |                      |
| ns1 Network Namespace|                     |ns2 Network Namespace |
|                      |                     |                      |
|            +---------+                     +---------+            |
|            | veth-a  |---+            +----|  veth-b |            |
|            +---------|   |            |    |---------+            |
+----------------------+   |            |    +----------------------+
                           |            |
                           |            |
                           |            |
                +----------+--+      +--+----------+
                | br-veth-a   |      | br-veth-b   |
                +-------------+------+-------------+
                |            bridge br0            |
                +----------------------------------+

创建两个Network Namespace并用bridge连接的命令行代码如下：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
#! /bin/bash

# 创建两个Network Namespace
ip netns add ns1
ip netns add ns2

# 创建bridge，禁用stp
brctl addbr br0
brctl stp br0 off

# 创建两对veth，连接到Namespace和bridge
ip link add veth-a type veth peer name br-veth-a
ip link add veth-b type veth peer name br-veth-b
ip link set veth-a netns ns1
brctl addif br0 br-veth-a
ip link set veth-b netns ns2
brctl addif br0 br-veth-b

# 为veth设置ip
ip netns exec ns1 ip addr add 192.168.2.2/24 dev veth-a
ip netns exec ns2 ip addr add 192.168.2.3/24 dev veth-b

# 启动bridge，veth
ip link set br0 up
ip netns exec ns1 ip link set veth-a up
ip netns exec ns2 ip link set veth-b up
ip link set br-veth-a up
ip link set br-veth-b up

执行成功后，用ping进行测试

1
2
ip netns exec ns1 ping 192.168.2.3
ip netns exec ns2 ping 192.168.2.2

在ubuntu 16.04上进行实验时，出现了ping不通的情况，查了资料后发现是iptables的原因，bridge上的流量经过iptables处理时走到了FORWARD链上，而主机的iptables没有设置转发规则，因此触发FORWARD链的默认策略（Default Policy）丢弃（Drop），执行下面的命令使得bridge上的流量不经过iptables处理，从而解决问题，参考How To disable netfilter on Linux KVM bridge

1
echo 0 > /proc/sys/net/bridge/bridge-nf-call-iptables

3. 连接Network Namespace与外部网络

要使得Network Namespace组成的子网能够访问外部网络，还需要两方面条件

  • 一方面要为这个子网设置一个网关（本例中为br0）与外部网络连通
    • 为br0设置一个IP地址
    • 将br0的IP地址设置为ns1和ns2的网关地址
  • 另一方面需要default中与外部网络连接的网卡（本例中为ens33）帮助转发br0子网与外部网络通信的数据包
    • 打开主机内核的IP FORWARD功能，这样主机就会像路由器这种传递设备一样转发数据包，而不是作为端设备只处理目的地址为自身数据
    • 设置default iptables的转发规则，允许ens33<->br0之间的数据包转发
    • 设置default iptables的SNAT策略，将来自br0网段的数据包源地址修改为ens33（iptables会自动为ICMP协议进行DNAT，这样从br0子网内部就能够ping通外部网络了）

经过上述设置后的网络如下图（因为是在虚拟机上进行的实验，所以主机标记为VM）：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
+---------------------------------------------------------------+-----------------------------------------+-----------------------------------------+
|                               VM                              |                  ns1                    |                  ns2                    |
|                                                               |                                         |                                         |
|      +------------------------------------------------+       |       +-------------------------+       |       +-------------------------+       |
|      |             Newwork Protocol Stack             |       |       |  Newwork Protocol Stack |       |       |  Newwork Protocol Stack |       |
|      +------------------------------------------------+       |       +-------------------------+       |       +-------------------------+       |
|           ↑             ↑                                     |                   ↑                     |                    ↑                    |
|...........+.............+.....................................|...................+.....................|....................+....................|
|           ↓             ↓                                     |                   ↓                     |                    ↓                    |
|       +-------+    +--------+                                 |               +--------+                |                +--------+               |
|       | .1.100|    |  .2.1  |                                 |               |  .2.2  |                |                |  .2.3  |               |
|       +-------+    +--------+     +---------+                 |               +--------+                |                +--------+               |
|       | ens33 |    |   br0  +<--->+br-veth-a|                 |               | veth-a |                |                | veth-b |               |
|       +-------+    +--------+     +---------+                 |               +--------+                |                +--------+               |
|           ↑             ↑             ↑                       |                   ↑                     |                    ↑                    |
|           +             +             +-------------------------------------------+                     |                    +                    |
|           |             ↓                                     |                                         |                    |                    |
|           |        +---------+                                |                                         |                    |                    |
|           |        |br-veth-b|                                |                                         |                    |                    |
|           |        +---------+                                |                                         |                    |                    |
|           |             ↑                                     |                                         |                    |                    |
|           |             +----------------------------------------------------------------------------------------------------+                    |
|           |                                                   |                                         |                                         |
|           |                                                   |                                         |                                         |
|           |                                                   |                                         |                                         |
+-----------+---------------------------------------------------+-----------------------------------------+-----------------------------------------+
            ↓
          VM Network  (192.168.1.0/24)

完成上述设置的Shell脚本：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
#! /bin/bash

# 创建两个Network Namespace
ip netns add ns1
ip netns add ns2

# 创建bridge，禁用stp
brctl addbr br0
brctl stp br0 off

# 创建两对veth，连接到Namespace和bridge
ip link add veth-a type veth peer name br-veth-a
ip link add veth-b type veth peer name br-veth-b
ip link set veth-a netns ns1
brctl addif br0 br-veth-a
ip link set veth-b netns ns2
brctl addif br0 br-veth-b

# 为veth设置ip
ip netns exec ns1 ip addr add 192.168.2.2/24 dev veth-a
ip netns exec ns2 ip addr add 192.168.2.3/24 dev veth-b

# 启动bridge，veth，lo
ip link set br0 up
ip netns exec ns1 ip link set veth-a up
ip netns exec ns1 ip link set lo up
ip netns exec ns2 ip link set veth-b up
ip netns exec ns2 ip link set lo up
ip link set br-veth-a up
ip link set br-veth-b up

# bridge上的流量不经iptables处理
echo 0 > /proc/sys/net/bridge/bridge-nf-call-iptables

# 为bridge设置ip，设置bridge为ns1，ns2的默认网关
ip addr add 192.168.2.1/24 dev br0
ip netns exec ns1 \
	ip route add default via 192.168.2.1
ip netns exec ns2 \
	ip route add default via 192.168.2.1

# 开启宿主机IP FORWARD
echo 1 > /proc/sys/net/ipv4/ip_forward

# 配置SNAT，宿主机在转发来自192.168.2.0/24的包时会进行NAT转换，修改source IP
iptables -t nat -A POSTROUTING -s 192.168.2.0/24 -o ens33 -j MASQUERADE

# 默认的FORWARD规则为DROP，指定ens33->br0和br0->ens33的包ACCEPT
iptables -t filter -A FORWARD -i ens33 -o br0 -j ACCEPT
iptables -t filter -A FORWARD -o ens33 -i br0 -j ACCEPT

上面实现的网络结构，与Docker的网络虚拟化网络结构已经很接近了，Docker的网络结构如下：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
+----------------------------------------------------------------+-----------------------------------------+-----------------------------------------+
|                          Host                                  |              Container 1                |              Container 2                |
|                                                                |                                         |                                         |
|       +------------------------------------------------+       |       +-------------------------+       |       +-------------------------+       |
|       |             Newwork Protocol Stack             |       |       |  Newwork Protocol Stack |       |       |  Newwork Protocol Stack |       |
|       +------------------------------------------------+       |       +-------------------------+       |       +-------------------------+       |
|            ↑             ↑                                     |                   ↑                     |                    ↑                    |
|............+.............+.....................................|...................+.....................|....................+....................|
|            ↓             ↓                                     |                   ↓                     |                    ↓                    |
|        +------+   +----------+                                 |            +------------+               |             +------------+              |
|        |.x.xxx|   |172.17.0.1|                                 |            | 172.17.x.x |               |             | 172.17.x.x |              |
|        +------+   +----------+     +----------+                |            +------------+               |             +------------+              |
|        | eth0 |   | docker0  +<--->+  vethxx  |                |            |    eth0    |               |             |    eth0    |              |
|        +------+   +----------+     +----------+                |            +------------+               |             +------------+              |
|            ↑             ↑             ↑                       |                   ↑                     |                    ↑                    |
|            +             +             +-------------------------------------------+                     |                    +                    |
|            |             ↓                                     |                                         |                    |                    |
|            |         +----------+                              |                                         |                    |                    |
|            |         |  vethxx  |                              |                                         |                    |                    |
|            |         +----------+                              |                                         |                    |                    |
|            |             ↑                                     |                                         |                    |                    |
|            |             +----------------------------------------------------------------------------------------------------+                    |
|            |                                                   |                                         |                                         |
|            |                                                   |                                         |                                         |
|            |                                                   |                                         |                                         |
+------------+---------------------------------------------------+-----------------------------------------+-----------------------------------------+
             ↓
     Physical Network

（图参考来源进行了修改）

总结

  • Docker网络的实现总的来说，基于Network Namespace实现了网络隔离，借助Linux提供的虚拟化网络设备veth，bridge进行了组网
  • 看到一个对虚拟化很精炼的总结：虚拟化就是由位于下层的软件模块，根据上层的软件模块的期待，抽象（虚拟）出一个虚拟的软件或硬件模块，使上一层软件直接运行在这个与自己期待完全一致的虚拟环境上
  • 以前对网络认识就停留在《计算机网络》中的分层模型，看看实际中的实现才知道并不是那么回事，理论模型和实际实现之间还有很长一段距离。只学习理论是无意义的，理论模型没法创造出实际的价值，仅从实践出发不去思考是低效和盲目的，多将实践中的经验进行抽象的总结才能有提升
  • 同样的东西不同的时候看的结果是不同的

参考

Linux Network Namespace Introduction http://docker-k8s-lab.readthedocs.io/en/latest/docker/netns.html

Linux Switching – Interconnecting Namespaces http://www.opencloudblog.com/?p=66

Linux 虚拟网络设备 veth-pair 详解 https://www.cnblogs.com/bakari/p/10613710.html

Linux虚拟网络设备之veth https://segmentfault.com/a/1190000009251098

Linux虚拟网络设备之bridge(桥) https://segmentfault.com/a/1190000009491002

Linux Manual Pageshttp://man7.org/linux/man-pages/man4/veth.4.html

使用 Linux bridge 将 Linux network namespace 连接外网 https://www.cnblogs.com/sammyliu/p/5763513.html

Using network namespaces and a virtual switch to isolate servers https://ops.tips/blog/using-network-namespaces-and-bridge-to-isolate-servers/

What’s a network interface? https://jvns.ca/blog/2017/09/03/network-interfaces/

Anatomy of the Linux networking stack http://140.120.7.21/LinuxRef/Network/LinuxNetworkStack.html