网络编程

发表于 更新于 分类于 本文字数： 7.5k 阅读时长 ≈ 7 分钟

1 网络

  • 学习网络编程的目的是为了开发一个CS架构或者BS架构的软件
    Client————网络——————Server
    Browser———–网络——————Server
  • 什么是网络？
    网络=物理连接设备+互联网通信协议（就是计算机界的英语）
  • 为何要有网络？
    网络-》信息高速公路
    为了方便数据传输

arp协议、子网划分、tcp

2 arp协议

arp：负责把ip解析成mac地址

2.1 通信分为两大类：

  • 1、目标主机在局域网内
  • 2、目标主机不在局域网内

    2.2 ip地址与子网掩码

  • ip的作用有二：*
  • 1、arp协议会依据ip地址解析成mac地址
  • 2、ip+子网掩码按位与运算会得到网络地址，以此来判断源于模板是否在一个局域网内

通信的前提是：先拿到目标的ip与端口

2.3 arp协议的工作步骤

  • 1、依据自己的ip与子网掩码计算出自己的网络地址

  • 2、依据对方的ip与子网掩码计算出对方的网络地址

  • 3、判断1和2的网络地址是否一样

    • 如果一样，证明源于目标在同一个局域网内，只需要走交换机即可
      发arp协议的广播包-》拿到目标主机的mac地址
      自己的mac FF-FF-FF-FF-FF-FF 自己的ip地址 对方的ip地址 数据部分
      发送真实的数据包
      自己的mac 目标主机的mac地址 自己的ip地址 对方的ip地址 源端口 目标端口 数据部分

    • 如果不一样，证明源于目标不在同一个局域网内，需要走交换机、再发给路由器，路由器再转发给运营商的网络
      发arp协议的广播包-》拿到网关的mac地址
      自己的mac FF-FF-FF-FF-FF-FF 自己的ip地址 网关的ip地址 数据部分

      发送真实的数据包
      自己的mac 网关的mac地址 自己的ip地址 对方的ip地址 源端口 目标端口 数据部分
      交互机只有两种情况广播：
      1、目标mac为FF-FF-FF-FF-FF-FF
      2、目标mac地址不在mac地址表中

      3 子网划分

      子网划分：借主机位给网络位用，把原来一个网段变成多个网段用
      效果：

  • 1、减少了ip的浪费

  • 2、缩小了广播域

    4 tcp

    参考

    4.1 osi七层，tcp/ip 5层

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    1 cs架构和bs架构
    2 互联网
    3 osi七层、5层（5层名字记住：重点）
    	-物理层
        	-网线，光纤
        -数据链路层
        	-网卡
        -网络层
        	-路由器
        -传输层（运输层）
        	-四层路由器
        -应用层(会话层，表示层，应用层)
        	-http协议，ftp协议，websocket协议。。。

    4.2 每一层功能

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    1 物理层
    	-网线----》01010101电信号---》从网线中传输电信号
        -8个比特位是一个字节
    2 数据链路层
    	-数据帧：一组电信号是一个数据帧，有头和数据部分
    	-网卡---》mac地址---》全球唯一---》网卡出厂--》烧在了网卡上
        -48位二进制---》看到的都是16进制表示
        -广播：
       		-局域网内通信，所有人都会接受到，通过mac地址确定给谁的数据报，如果不是自己的就不处理
        -广播风暴
     3 网络层
    	-跨局域网通信，需要经过网络层
        -IP地址：0.0.0.0-255.255.255.255
        -子网掩码：
        -192.168.1.1  255.255.255.0
        -192.168.2.1  255.255.255.0
        -ARP：ip和mac的对照表
        
     4 传输层：
    	-端口：0--65535，一个应用程序可以监听多个端口，但是一个端口只能属于一个应用程序
        -TCP协议：可靠传输（可靠传输如何保证？三次握手，四次挥手）
        -UDP协议：不可靠传输
    5 应用层
    	-htpp，ftp，websocket....

    4.3 常用端口号

应用程序 FTP TFTP TELNET SMTP DNS HTTP SSH MYSQL
熟知端口 21,20 69 23 25 53 80 22 3306
传输层协议 TCP UDP TCP TCP UDP TCP TCP TCP

DNS:把网址转换成ip地址

从浏览器发送出去的数据，都是http协议，默认是80端口

4.4 Tcp三次握手四次挥手（面试题）

4.4.1 三次握手

  • 最开始的时候客户端和服务器都是处于CLOSED状态。主动打开连接的为客户端，被动打开连接的是服务器。
  1. TCP服务器进程先创建传输控制块TCB，时刻准备接受客户进程的连接请求，此时服务器就进入了LISTEN（监听）状态；
  2. TCP客户进程也是先创建传输控制块TCB，然后向服务器发出连接请求报文，这是报文首部中的同部位SYN=1，同时选择一个初始序列号 seq=x ，此时，TCP客户端进程进入了 SYN-SENT（同步已发送状态）状态。TCP规定，SYN报文段（SYN=1的报文段）不能携带数据，但需要消耗掉一个序号。
  3. TCP服务器收到请求报文后，如果同意连接，则发出确认报文。确认报文中应该 ACK=1，SYN=1，确认号是ack=x+1，同时也要为自己初始化一个序列号 seq=y，此时，TCP服务器进程进入了SYN-RCVD（同步收到）状态。这个报文也不能携带数据，但是同样要消耗一个序号。
  4. TCP客户进程收到确认后，还要向服务器给出确认。确认报文的ACK=1，ack=y+1，自己的序列号seq=x+1，此时，TCP连接建立，客户端进入ESTABLISHED（已建立连接）状态。TCP规定，ACK报文段可以携带数据，但是如果不携带数据则不消耗序号。
  5. 当服务器收到客户端的确认后也进入ESTABLISHED状态，此后双方就可以开始通信了。
    120-TCP三次握手和四次挥手-三次握手静态.jpg?x-oss-process=style/watermark

    4.4.2 四次挥手

  • 数据传输完毕后，双方都可释放连接。最开始的时候，客户端和服务器都是处于ESTABLISHED状态，然后客户端主动关闭，服务器被动关闭。
  1. 客户端进程发出连接释放报文，并且停止发送数据。释放数据报文首部，FIN=1，其序列号为seq=u（等于前面已经传送过来的数据的最后一个字节的序号加1），此时，客户端进入FIN-WAIT-1（终止等待1）状态。 TCP规定，FIN报文段即使不携带数据，也要消耗一个序号。
  2. 服务器收到连接释放报文，发出确认报文，ACK=1，ack=u+1，并且带上自己的序列号seq=v，此时，服务端就进入了CLOSE-WAIT（关闭等待）状态。TCP服务器通知高层的应用进程，客户端向服务器的方向就释放了，这时候处于半关闭状态，即客户端已经没有数据要发送了，但是服务器若发送数据，客户端依然要接受。这个状态还要持续一段时间，也就是整个CLOSE-WAIT状态持续的时间。
  3. 客户端收到服务器的确认请求后，此时，客户端就进入FIN-WAIT-2（终止等待2）状态，等待服务器发送连接释放报文（在这之前还需要接受服务器发送的最后的数据）。
  4. 服务器将最后的数据发送完毕后，就向客户端发送连接释放报文，FIN=1，ack=u+1，由于在半关闭状态，服务器很可能又发送了一些数据，假定此时的序列号为seq=w，此时，服务器就进入了LAST-ACK（最后确认）状态，等待客户端的确认。
  5. 客户端收到服务器的连接释放报文后，必须发出确认，ACK=1，ack=w+1，而自己的序列号是seq=u+1，此时，客户端就进入了TIME-WAIT（时间等待）状态。注意此时TCP连接还没有释放，必须经过2∗ *∗MSL（最长报文段寿命）的时间后，当客户端撤销相应的TCB后，才进入CLOSED状态。
  6. 服务器只要收到了客户端发出的确认，立即进入CLOSED状态。同样，撤销TCB后，就结束了这次的TCP连接。可以看到，服务器结束TCP连接的时间要比客户端早一些。

120-TCP三次握手和四次挥手-四次挥手静态.png?x-oss-process=style/watermark

1
2
3
4
5
6
7
8
9
10
11
12
13
14
1 tcp可靠传输：三次握手，四次挥手保证数据可靠
2 三次握手
	-客户端向服务端发送链接请求  1
    -服务端回复可以建立，并且带着跟客户端建立链接的数据报  2
    -客户端收到后，链接建好了    3
    
3 这个过程后就可以可靠传输数据

4 断开链接（4四挥手）
	-客户端告诉服务端，要断开   1
    -服务端收到，回复ok        2
    -服务端可能还有数据在传递，暂时还没断开---等数据传完
    -服务端告诉客户端，我要断了  3 
    -客户端收到，回复ok        4

4.4.3 面试题

  • 为什么客户端最后还要等待2MSL？

MSL（Maximum Segment Lifetime），TCP允许不同的实现可以设置不同的MSL值。

  1. 保证客户端发送的最后一个ACK报文能够到达服务器，因为这个ACK报文可能丢失，站在服务器的角度看来，我已经发送了FIN+ACK报文请求断开了，客户端还没有给我回应，应该是我发送的请求断开报文它没有收到，于是服务器又会重新发送一次，而客户端就能在这个2MSL时间段内收到这个重传的报文，接着给出回应报文，并且会重启2MSL计时器。
  2. 防止类似与“三次握手”中提到了的“已经失效的连接请求报文段”出现在本连接中。客户端发送完最后一个确认报文后，在这个2MSL时间中，就可以使本连接持续的时间内所产生的所有报文段都从网络中消失。这样新的连接中不会出现旧连接的请求报文。
  • 为什么建立连接是三次握手，关闭连接确是四次挥手呢？

建立连接的时候，服务器在LISTEN状态下，收到建立连接请求的SYN报文后，把ACK和SYN放在一个报文里发送给客户端。而关闭连接时，服务器收到对方的FIN报文时，仅仅表示对方不再发送数据了但是还能接收数据，而自己也未必全部数据都发送给对方了，所以己方可以立即关闭，也可以发送一些数据给对方后，再发送FIN报文给对方来表示同意现在关闭连接，因此，己方ACK和FIN一般都会分开发送，从而导致多了一次。

  • 7.3 如果已经建立了连接，但是客户端突然出现故障了怎么办？

TCP还设有一个保活计时器，显然，客户端如果出现故障，服务器不能一直等下去，白白浪费资源。服务器每收到一次客户端的请求后都会重新复位这个计时器，时间通常是设置为2小时，若两小时还没有收到客户端的任何数据，服务器就会发送一个探测报文段，以后每隔75秒发送一次。若一连发送10个探测报文仍然没反应，服务器就认为客户端出了故障，接着就关闭连接。

5 Socket层

1
2
1 Socket抽象层,从osi七层抽象出来的，抽象了网络层和传输层，跟语言无关，任何语言都会有socket的封装
2 专门给开发人员用的

6 基于Tcp的socket套接字(重点)

6.1 服务端

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34

# 导入socket模块
import socket
import time
# 第一个socket是模块名，第二个socket是类名
#类实例化得到对象，得到一个socket对象
# server=socket.socket(family=socket.AF_INET,type=socket.SOCK_STREAM)
#不写默认就是他
server=socket.socket()

# 绑定地址跟端口  ,传一个元组，监听的地址，监听的端口
server.bind(('192.168.11.28',8008))
#监听
# 半连接池是5，可以缓冲5个
server.listen(5)

#等待用户连接(看源码，有两个返回结果)
# sock是连接对象，以后这个服务端和客户端交互，使用这个对象交互
# addr是客户端地址（ip和端口）
sock,addr=server.accept()

# 接收客户端发给我的消息
data=sock.recv(1024)
# 打印
print(data)

#服务端给客户端发送消息（必须是byte格式）
sock.send(b'helloworld')
time.sleep(1)
# 关闭连接对象
sock.close()

#关闭服务
server.close()

6.2 客户端

1
2
3
4
5
6
7
8
9
10
11
12
13
14
import socket

# 创建socket对象
client=socket.socket()
# 连接服务端
client.connect(('127.0.0.1',8008))
#给服务端发了一个sb
client.send(b'sb')
# 收到了服务端给我的
data=client.recv(1024)

print(data)
# 关闭
client.close()

作业

1
2
3
4
1 整理今天讲的内容到md文件
2 写一个tcp的套接字服务端，和客户端--->你跟你同桌俩人相互测试
3 写一个套接字服务端，和客户端，当客户端向服务端一建立链接，就能收到一个文件（内容是sb）

7 加入链接循环的套接字服务端

7.1 服务端

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
'''

2.1 基于文件类型的套接字家族
套接字家族的名字：AF_UNIX
unix一切皆文件，基于文件的套接字调用的就是底层的文件系统来取数据，两个套接字进程运行在同一机器，可以通过访问同一个文件系统间接完成通信


2.2 基于网络类型的套接字家族
套接字家族的名字：AF_INET

(还有AF_INET6被用于ipv6，还有一些其他的地址家族，不过，他们要么是只用于某个平台，要么就是已经被废弃，或者是很少被使用，或者是根本没有实现，所有地址家族中，AF_INET是使用最广泛的一个，python支持很多种地址家族，但是由于我们只关心网络编程，所以大部分时候我么只使用AF_INET)
'''

import socket
#实例化得到一个对象
#type=socket.SOCK_STREAM   TCP服务端
#type=socket.SOCK_DGRAM   UDP服务端
server=socket.socket(family=socket.AF_INET, type=socket.SOCK_STREAM)

# 绑定地址和端口
server.bind(('127.0.0.1',80))

# listen:监听

server.listen(1)

# 等待用户连接
print('开始等待客户端连接了')
while True:
    sock,addr=server.accept()

    print(sock)
    print('客户端的地址是：',addr)

    data=sock.recv(1024)
    print(data)

    # 这不是字符串的upper
    sock.send(data.upper())

    sock.close()
server.close()

7.2 客户端

1
2
3
4
5
6
7
8
9
10
11
import socket

client=socket.socket()
client.connect(('127.0.0.1',80))

client.send('sb'.encode('utf-8'))

data=client.recv(1024)
print(data)

client.close()

8 加入通信循环的套接字服务端

8.1 服务端

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
import socket
server=socket.socket(family=socket.AF_INET, type=socket.SOCK_STREAM)

server.bind(('127.0.0.1',81))


server.listen(1)

print('开始等待客户端连接了')
while True:

    sock,addr=server.accept()
    print(sock)
    print('客户端的地址是：',addr)


    # 等待客户端发送过来的数据，如果客户端没有发送数据，会一直等着
    while True:
        try:
            data=sock.recv(1024)
            if len(data)==0: # 这个表示客户端正常断开了，结束通信循环
                break
            print(data.decode('utf-8'))
            sock.send(data.upper())
        except Exception as e:
            print(e) #客户端非正常断开，需要异常捕获
            break


    sock.close()
server.close()

8.2 客户端

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
import socket

client=socket.socket()
client.connect(('127.0.0.1',81))


while True:

    input_data=input('请输入发送给客户端的内容（输入q退出）：')

    if input_data=='q':
        break
    client.send(input_data.encode('utf-8'))

    data=client.recv(1024)
    print(data.decode('utf-8'))

client.close()

9 基于UDP的套接字客户端和服务端

9.1 服务端

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
import socket

# udp的服务端
server = socket.socket(type=socket.SOCK_DGRAM)

# 监听地址和端口
server.bind(('127.0.0.1', 82))

# 不需要listen，直接建立链接
print('等待客户端发送数据：')
while True:
#recvfrom回返回数据和客户端的地址
    data,addr = server.recvfrom(1024)
    print(data)
    print(addr)
    server.sendto(data.upper(), addr)

server.close()

9.2 客户端

1
2
3
4
5
6
7
8
9
10
11
12
import socket


client=socket.socket(type=socket.SOCK_DGRAM)
client.sendto(b'sb',('127.0.0.1',82))
# data,addr=client.recvfrom(1024)
# data,_=client.recvfrom(1024)
data=client.recv(1024)
print(data)
# print(addr)

client.close()