獲得真實IP的6種方法

當數(shù)據(jù)包從負載均衡器往后端轉發(fā)時候，真實源IP可在L3、L4、L7實現(xiàn)，并且分別有2種方法可以獲得真實IP，因此共有6種方法：

保持L3層源IP不變，根據(jù)連接次數(shù)可以分為

● 一次連接模式，如lvs

● 二次連接模式，如haproxy的透明模式

在L4層數(shù)據(jù)里，添加源IP信息，有2種模式

● 在4層的option字段里增加源IP信息，比如tcp option、udp option

● 在4層末尾和7層開頭之間，增加proxy protocol信息

在L7層數(shù)據(jù)里，增加源IP信息，有2種模式

● 協(xié)議自帶，例如HTTP的X-FORWARD-FOR

● 業(yè)務程序自行實現(xiàn)

一次連接與二次連接

一次連接：負載均衡器對數(shù)據(jù)包僅做轉發(fā)，而不對后端重新發(fā)起三次握手

二次連接：和一次連接相對應，在tcp轉發(fā)時候，對后端重新進行了三次握手。上面所講的L4和L7方法的負載均衡，都是二次連接

可以通過對比源端口是否有改變來簡單判斷是一次連接還是二次連接，端口沒改變，可以理解為一次連接，有改變就是二次連接

方法1： L3的一次連接模式

介紹：是指在網絡層不對源IP做修改，直接將數(shù)據(jù)包轉發(fā)給后端，當后端接收到數(shù)據(jù)的時候，源IP就是真實IP。

實現(xiàn)：LVS-DR、LVS-NAT、LVS-TUNNEL模式。其中LVS-TUNNEL比較特別，是在原有數(shù)據(jù)包的開頭封裝了IP頭，當后端收到數(shù)據(jù)的時候，將封裝的IP頭進行解封裝，獲得的就是原有數(shù)據(jù)包。

優(yōu)點：邏輯簡單，當負載均衡器故障切換的時候，從客戶端到后端的tcp連接不會中斷

缺點：對網絡架構有要求，比如DR模式，要求后端配VIP，并且回包要能直接回到客戶機；NAT模式，要求回包經過負載均衡器；TUNNEL模式要求后端支持IPIP隧道

方法2： L3的二次連接模式

介紹：是指負載均衡器和后端重新進行三次握手，但保持數(shù)據(jù)包的源IP為真實IP。

實現(xiàn)：haproxy（開啟tproxy透明代理模式）+ iptables（fwmark打標記）+ 策略路由這3者組合才能實現(xiàn)

優(yōu)點：可以實現(xiàn)L7層（如HTTP/HTTPS）的負載均衡，而一次連接主要實現(xiàn)L4層的負載均衡

缺點：配置最復雜，同時要求回包經過負載均衡器

方法3： L4的toa模式

介紹：在4層的option字段里增加源IP信息，比如在tcp option里增加源IP信息（稱為toa）、udp option里增加源IP信息（稱為uoa）

實現(xiàn)：負載均衡器配置lvs-fullnat（只支持toa），iqiyi/dpvs（支持toa和uoa）；后端要加載toa、uoa模塊，這個模塊的作用是替換了后端應用程序獲取IP的系統(tǒng)接口的鉤子

優(yōu)點：對網絡架構要求低

缺點：lvs-fullnat需要編譯內核，且只支持rhel/centos 6的內核，另外多年未更新；iqiyi/dpvs功能強大，但需要dpdk的支持；后端都需要加載toa/uoa模塊，且只支持linux系統(tǒng)。

方法4： L4的proxy protocol模式

介紹：在L7層開頭增加proxy protocol數(shù)據(jù)（該協(xié)議是haproxy發(fā)明），目前有v1（明文）和v2（二進制）版本

實現(xiàn)：負載均衡器和后端同時開啟proxy protocol，haproxy和nginx均支持，不過haproxy的配置顆粒度更小，另外nginx轉發(fā)數(shù)據(jù)時候只支持v1

優(yōu)點：對網絡架構要求低，只要程序支持即可，因此理論上沒有操作系統(tǒng)限制

缺點：目前支持proxy protocol的程序較少，且兩端只能都開啟或者都不開啟該協(xié)議，不能一端開一端不開

方法5： L7協(xié)議自帶，例如HTTP的X-FORWARD-FOR

介紹：最常見的方法，協(xié)議自帶源IP信息，或者可定制插入

實現(xiàn)：例如HTTP協(xié)議有X-FORWARD-FOR，也可以自己將源IP插入到HTTP頭部信息里

優(yōu)點：對網絡架構要求低，配置簡便

缺點：容易被偽造

方法6： L7層業(yè)務程序自行實現(xiàn)

介紹：最好的方法，就是業(yè)務方自行實現(xiàn)

實現(xiàn)：業(yè)務自行實現(xiàn)，例如在client端插入源IP信息，帶到server端

優(yōu)點：對網絡架構無要求，只要網絡可通即可，只要安全做好，不容易被偽造

缺點：業(yè)務方要有一定開發(fā)能力

總結

如果能做到無狀態(tài)，不需要真實源IP，是最好的。因為這樣對底層架構沒有要求，底層架構就可以做的更高級更彈性。

如果一定要獲得真實源IP，推薦方案的順序就是倒推，從L7到L3，即首選方法6，如果不行再選用方法5，以此類推到方法1。