<sub id="zjhrx"></sub>

          <listing id="zjhrx"><meter id="zjhrx"></meter></listing>

            當前位置:數據網絡技術專區 → 正文

            從socket到TCP協議,透徹理解網絡編程

            責任編輯:zsheng |來源:企業網D1Net  2019-02-18 15:26:56 本文摘自:百家號

            進行程序開發的同學,無論Web前端開發、Web后端開發,還是搜索引擎和大數據,幾乎所有的開發領域都會涉及到網絡編程。比如我們進行Web服務端開發,除了Web協議本身依賴網絡外,通常還需要連接數據庫,而數據庫連接通常是通過網絡連接數據庫服務器,或者數據庫集群,如果負載太高還要搞個緩存集群。

            我們在上學的時候基本學了網絡編程和網絡協議。但兩者之間的具體關系可能有些摸不到頭腦。這里我們首先重點介紹2個概念,一個概念是網絡編程,另外一個是協議。

            我們知道網絡協議是一個分層的協議族,也就是是有一組協議構成,從下往上各自負責各自的功能。那什么是協議呢?協議的字面意思是共同計議,商議。簡單的理解其實就是多方進行溝通的規定。而網絡協議其實就是在網絡中多個計算節點進行交互、溝通的規定。如果根我們日常生活對比的話,協議可以理解為語言,比如漢語普通話。兩個人交流如果都用不通話,那么彼此都能理解對方表達的意圖。例如,一個人用四川話,而另外一個用浙江話,那溝通起來估計幾乎不太可能。網絡協議也是一樣的,通過對數據格式的規范化,從而使計算機之間能夠彼此明確對方的意圖。

            下面本文介紹一下網絡編程,網絡編程也稱為socket編程,socket通常譯作“套接字”,但原意其實意譯應該為”接口“。也就是操作系統提供給開發人員進行網絡開發的API接口。這套接口通常可以參數的調整支持多種協議,包括TCP、UDP和IP等等。下面本文從套接字編程和協議兩方面分別詳細的進行介紹。

            網絡編程

            為了便于理解,本文先從具體的內容開始,也就是通過一個實例介紹一下網絡編程是怎么回事。

            本文將以TCP協議為例介紹網絡編程和協議之前的關系。為了簡單,便于理解,本文以Python為例進行介紹,如果不了解Python編程語言關系也不大,下面代碼很容易理解。我們知道在網絡通信中無論是BS架構還是CS架構,通常分為服務端和客戶端,只不過BS架構中的瀏覽器就是客戶端。因此,本文的示例也包含服務端和客戶端2部分的代碼。代碼功能很簡單,就是實現客戶端和服務端發送字符串。

            客戶端服務端通信模型

            這個代碼清單是服務端的代碼,這段代碼的作用就是在服務端的某個端口建立監聽,并等待客戶端建立連接。完成連接建立后,等待客戶端發送數據,并將數據回傳給客戶端。

            #!/usr/bin/env python3#-*- coding:utf-8 -*-from socket import *from time import ctimehost = ''port = 12345buffsize = 2048ADDR = (host,port)# 創建一個基于TCP協議的套接字tctime = socket(AF_INET,SOCK_STREAM)tctime.bind(ADDR)# 在指定的地址和端口監聽tctime.listen(3)while True:print('Wait for connection ...') tctimeClient,addr = tctime.accept()print("Connection from :",addr) while True: data = tctimeClient.recv(buffsize).decode() if not data: breaktctimeClient.send(('[%s] %s' % (ctime(),data)).encode())tctimeClient.close()tctimeClient.close()

            閱讀服務端的代碼可以看出主要包括,socket、bind、listen、accept、recv和send幾個。其中值得關注的是listen和accept,兩者分別用于監聽端口和接受客戶端的連接請求。

            下面代碼清單是客戶端的實現,這里特別的地方是有一個connect函數,該函數實現與服務端建立連接。

            #!/usr/bin/env python3#-*- coding:utf-8 -*-from socket import *HOST ='localhost'PORT = 12345BUFFSIZE=2048ADDR = (HOST,PORT)tctimeClient = socket(AF_INET,SOCK_STREAM)tctimeClient.connect(ADDR)while True:data = input(">") if not data: breaktctimeClient.send(data.encode()) data = tctimeClient.recv(BUFFSIZE).decode() if not data: breakprint(data)tctimeClient.close()

            通過上述示例代碼可以看出服務端通常是被動的,而客戶端則要主動一些。服務端程序建立對某個端口的監聽,等待客戶端的連接請求。客戶端向服務端發送連接請求,不出意外的情況下連接建立成功,這時客戶端和服務端之前就可以互發數據了。當然,在實際生產環境中意外是經常的,因此從協議和接口層面,需要處理各種意外,本文在協議部分將詳細介紹。

            另外,本文實現了一個基本的客戶端和服務端通信的程序,這個模式的通信在實際生產中幾乎不再使用。在實際生產中為了提高數據傳輸和處理的效率,通常采用異步模式,這些內容超出了本文的介紹范圍,后續文章會逐漸介紹。

            TCP協議詳解

            前文說了網絡協議是網絡中不同計算機信息通信的語言,為了實現交互,這個語言就需要有一定的格式。本文以TCP協議為例進行介紹。

            TCP協議是一個可靠的傳輸協議,其可靠性表現在2方面,一方面是保證數據包可以按照發送的順序到達,另外一方面是保證數據包一定程度的正確性(后文詳解為什么是一定程度上的正確性)。其可靠性的實現則基于2點技術,一點是具有一個CRC校驗,這樣如果數據包中的某些數據出現錯誤可以通過該校驗和發現;另外一點是每個數據包都有一個序號,這樣就能保證數據包的順序性,如果出現錯位的數據包可以請求重發。

            既然說到了格式,那我們先看一下TCP數據包的數據格式。如下圖是TCP數據包的格式,包括原端口、目的端口、序列號和標識位等等內容,內容有些多,看著可能有點眼花。但從大的方面理解,這個數據包其實只包含2部分內容,一個是包頭,另外一個則是具體需要傳輸的數據。在TCP協議的控制邏輯中,包頭起著最為關鍵的作用,它是TCP協議中諸如建立連接、斷開連接、重傳和錯誤校驗等各種特性的基礎。

            包頭的其它信息的含義都比較明了,本文僅僅介紹幾個標志位(URG、ACK、PSH、RST、SYN和FIN)的含義。具體含義如下:

            ACK: 確認序號有效。

            RST:重置連接

            SYN:發起一個新連接

            FIN:釋放一個連接

            連接的建立TCP在具體傳輸數據之前需要建立連接。這里的連接并不是物理連接,物理連接基于底層的協議已經建立完成,而且TCP建立連接也是要假設底層連接已經成功,TCP的連接其實是一個虛擬的,邏輯的連接。簡單粗暴的理解,就是客戶端和服務端分別記錄了各自接受到的數據包的序號,并且將自身設置為某種狀態。在TCP協議中,連接的建立通常成為3次握手,從字面的概念可以看出,連接的建立需要經過3次確認的過程。

            TCP協議3次握手的過程如圖所示,初始狀態客戶端和服務端都處于關閉狀態。主要過程分為3步:

            客戶端發送預連接數據包: TCP的連接是由客戶端主動發起建立,客戶端會發送一個數據包(報文)給服務端,需要注意的是數據包中的SYN標識位為1。我們前文已經介紹,如果SYN為1,則說明為建立連接的數據包。同時,在該數據包中包含一個請求序列號,該序列號也是建立連接的依據。

            服務端回復連接確認: 服務端確認可以建立連接(服務端不一定可以建立連接,因為系統中套接字的數量是有限的)的情況下會向客戶端發送一個應答數據包。在應答數據包中會將ACK標志位設置為1,表示為服務端應答數據包。同時,在應答數據包中會設置請求序列號和應答序列號的值,具體參考圖3.

            客戶端回復連接確認: 最后,客戶端再次發送一個連接確認數據包,告訴服務端連接建立成功。

            從上面流程可以看出,連接的建立需要經過多次交互,這就是我們日常中所說的建立連接是高成本的操作。在實際生產環境中,為了應對這個問題,會減少連接建立的頻度,通常的做法是建立連接池,傳輸數據時直接從連接池中獲取連接,而不是新建連接。

            有人可能覺得可以對建立連接的過程進行優化,比如將客戶端最后一次的確認取消掉,覺得這個沒有卵用。對于正常情況確實沒有多大的作用,這里主要是應對異常情況。因為網絡拓撲是非常復雜的,特別是在廣域網中,有著數不清的網絡節點,因此會出現各種異常情況。因此,TCP協議在設計的時候必須要保證異常情況下的可靠性。

            我們這里舉一個例子,就是連接請求超時的情況。假設客戶端向服務端發送一個連接請求,由于各種原因,請求一直沒有到達服務端,因此服務端也就沒有回復連接確認消息。客戶端連接超時,因此客戶端重新發送一個連接請求到服務端,這次比較順利,很快到達了,并且順利建立了連接。之后,前一個數據包經過長途跋涉最終還是到了服務端,服務端也向客戶端發送了回復數據包,服務端認為連接是建立成功的,并且會維持連接。但客戶端層面認為連接是超時的,因此將永遠不會關閉該連接。這樣就會造成服務端有殘留的資源,從而造成服務端資源浪費,久而久之可能會導致服務端無新連接資源可用。

            另外一個需要說明的是客戶端和服務端的套接字都有相應的狀態,而且狀態會隨著連接的不同階段變化。初始狀態都是CLOSE,最終連接建立成功后都是ESTABLISHED,具體變化過程如圖3所示。后面本文會詳細介紹狀態變化情況。

            傳輸數據完成連接建立之后,客戶端和服務端就可以進行數據傳輸了。我們知道TCP是可靠的傳輸,那么傳輸的可靠性是通過什么來保證的呢?主要就是通過包頭中的校驗和、請求序列號和應答序列號(參考圖2)。

            TCP數據內容的可靠性是通過校驗和保證的。TCP在發送數據時都會計算整個數據包的校驗和,并存儲在包頭的校驗和字段中。接收方會按照規則進行計算,從而確認接收到的數據是否是正確的。發送發計算校驗和的流程大概如下:

            把偽首部、TCP包頭和TCP數據分為16為的字,并把TCP包頭中的校驗和字段置0

            用反碼加法累加所有16位數字

            對計算結果去反,將其填充到TCP包頭的校驗和字段

            接收方將所有原碼相加,高位疊加,如果全為1則表示數據正確,否則說明數據有錯誤。

            TCP數據包順序的可靠性是通過請求序列號和應答序列號保證的。在數據傳輸中的每個請求都會有一個請求序列號,而在接收方接收到數據后會發送一個應答序列號,這樣發送方就能知道數據是否被正確接收,而接收方也能知道數據是否出現亂序,從而保證數據包的順序性。

            斷開連接TCP關閉連接分為4步,稱為4次揮手。連接的關閉不一定是在客戶端發起,服務端也可以發起關閉連接。關閉連接的過程如下:

            發起方發送一個FIN置位的數據包,用來請求關閉發送方到接收方的連接

            接收方發送一個應答,ACK標志位為1,確認關閉。此時完成了發起方到接收方的連接,也即發送方無法再向接收方發送數據,但接收方還可以向發送方發送數據。

            接收方數據傳輸完成后向發起方發送一個FIN為1的包,表示請求斷開連接

            發起方回復一個ACK包,確認關閉成功

            關閉連接流程示意圖

            TCP是全雙工通信,因此關閉連接時需要雙向關閉連接。首先是關閉發起方關閉本端的連接,然后是關閉接收方在收到發起方的關閉請求后,除了回復關閉應答外,還要確保數據傳輸完成后發起一個關閉連接的請求,保證雙向同時關閉。

            截止到這里,本文介紹了基于TCP協議進行網絡編程的主要內容。當然這個只是入門級的,如果需要真正理解TCP協議和網絡編程還需要學習很多內容。后續本號將陸續介紹給大家。

            關鍵字:網絡 協議 TCP

            本文摘自:百家號

            從socket到TCP協議,透徹理解網絡編程 掃一掃
            分享本文到朋友圈

            關于我們聯系我們版權聲明友情鏈接廣告服務會員服務投稿中心招賢納士

            企業網版權所有©2010-2019 京ICP備09108050號-6

            ^
            北京时时彩开奖结果走势图

                    <sub id="zjhrx"></sub>

                    <listing id="zjhrx"><meter id="zjhrx"></meter></listing>

                              <sub id="zjhrx"></sub>

                              <listing id="zjhrx"><meter id="zjhrx"></meter></listing>