正所謂,工欲善其事,必先利其器。
所有業務前端的產品和服務,甚至市場營銷活動。
都需要依靠後端的系統和技術支撐,這也是網際網路公司的核心競爭力。
尤其是在現在易趣的業務線已經非常多。
各種不同的業務類型,對後台技術的需求也越來越複雜的前提下。
打造一個能夠為前方一線提供足夠支撐和良好用戶體驗的後台系統,
就成為新成立的「大中台」事業群的核心工作目標。
可這並不容易……
就拿電商平台來看:
易趣公司早期的後台系統,是由龐勇一個人寫的(易趣網B2C)。
在97年的時候,還用的是C語言和ASP(Active Server Pages,動態伺服器頁面)技術,資料庫用的是SQL Server。
而新成立的淘寶網,則採用了最新的Linux+MySQL+PHP的架構。
之所以採用這個架構,是因為一方面用到的技術是開源、免費的,而且無需編譯,發布快速。
這樣一來,光是要將電商平台在後台系統做整合,就需要對整個系統架構進行重新升級……
更不用說,還要涉及到,一點也不比電商平台系統簡單的搜索平台和社交平台了。
所以,隋波剛剛布置完一系列的業務線工作,
就被龐勇請來,參加技術委員會的會議。
希望讓他聽一聽大家的討論,最後定下一個方案來。
隋波雖然對技術細節一竅不通,
但是他一直都是公司產品的「首席體驗官」。
可以從用戶體驗的角度,提出需求和改進意見。
這樣,技術部門也可以有針對性的,來進行系統改造和技術升級。
另外最重要的是,無論是升級系統,還是改進技術,增加伺服器、購買資料庫軟體……
這些都是需要耗費大量資金的。
如果不讓隋波這個大老闆來聽一聽。
到時候報預算,審批下來也慢啊……
在技術委員會上,龐勇簡單介紹了目前電商平台的系統架構情況。
現在暫時來看,整合難度最大的是易趣網和淘寶網。
像百度搜索,從王川最初開始研發,就有一整套獨立的後台系統。
現階段只需要做數據接口,打通用戶信息就可以。
等到後期,電商和搜索業務交叉的需求增加的時候,再做更進一步的整合。
電商平台所有產品和功能的底層,其實都是商品管理和交易管理兩大系統。
其中主要包括:存儲資料庫、開發語言、負載均衡、緩存、CDN等。
同時,要想形成真正具備整合能力的「大中台」,將各種業務線整合在一起,還必須有中間件系統(SOA,分布式組件架構),如高性能的服務框架、分布式的數據訪問工具等。
簡單來說,首先是商品管理系統。
舉個例子,電商平台商品管理系統,在後台系統有個專用名詞叫商品類目屬性。
比如服裝,就要分成男裝、女裝,按照季節,又要分為春夏裝、秋冬裝……
再繼續細分,還可以分為大衣、T恤、褲子……
甚至還能再細分到材質,是蕾絲還是純棉……
這樣,商品的類目屬性就會形成非常複雜的網狀結構。
對此,技術部門最後做出了一個名為Forest(森林)系統,來對商品的數據信息進行結構化,以便於前後台的調用。
另外有一個難點,就是圖片存儲系統。
前兩年,因為網速和用戶體驗的考慮,易趣網上圖片很少。
但現在,無論是易趣網還是淘寶網上,都已經開始出現了大量圖片。
畢竟圖片無論是在商品展示上,還是交易系統中都非常重要。
「無圖無真相」、「一張好圖勝過千言」。
現在電商平台的流量中,圖片的訪問流量要占到90%以上。
這麼多的圖片數據,和這麼大的流量,會給後台系統帶來非常大的壓力。
尤其是大規模的小文件存儲和讀取,這就需要在存儲技術和緩存技術上,進行升級和創新。
同時也對,基礎網絡的帶寬提出了更高的要求。
另外,因為電商平台所有的功能都需要依賴用戶信息,用戶中心模塊必須單獨拿出來,否則以後系統無法擴展。
這就需要一個中心系統UIC(User Information Center),
可是UIC拿出來之後,應用系統每天訪問UIC,UIC訪問資料庫讀取用戶信息。
以易趣網和淘寶網現在的流量,幾乎每天都有數千萬甚至上億次的讀取,資料庫很快就會崩潰。
這樣,一方面需要進行資料庫的分布式數據分層訪問,另外就是緩存技術。
從前端的緩存,和全局負載均衡設置,傳遞到後端,流量就非常均衡和分散了,對前端的相應性能也大大提高。
無論是資料庫、負載均衡、緩存、開發語言等,這些還是屬於純技術研發的問題。
可CDN就是真正的硬體投入+軟體研發了。
什麼是CDN?
CDN(Content Delivery Network,即內容分發網絡),
它涉及到硬體(伺服器)、軟體(系統)、帶寬(就近分布)三個方面。
現在易趣公司在全國已經分布了十多個伺服器節點,在電信機房和地方信息港。
但之前10M的帶寬,已經遠遠不能滿足現在的網站需求。
首先要升級到100M帶寬,同時對伺服器硬體進行升級,並且升級CDN的架構,提高伺服器的單機性能。
可以說,CDN直接關係到資料庫存儲、緩存、負載、流量。
會影響到所有平台系統的效率,和前端所有業務產品的用戶體驗……
一大堆的技術名詞,聽得隋波雲山霧繞。
「老龐,你能不能從一個用戶的使用角度,簡單直接的來告訴我,這個系統的後台運作流程?」
龐勇點點頭,整理了一下思路,說道:
「這麼來說吧……
當用戶想要上網買一個商品,他會首先打開我們電商網站,這時,瀏覽器會首先查詢DNS伺服器,把網址轉換為IP位址,這會因為不同的地區和不同的網絡,轉換後的IP位址不同。
這首先涉及到負載均衡的第一步,通過DNS解析域名,把你的訪問分配的不同的入口,儘可能保證是所有訪問入口中,最快的一個。」
隋波點點頭,這樣說的確很清晰。
龐勇繼續道:「當你通過入口成功訪問我們電商網站時,就產生了一個PV(Page View,頁面訪問量)。
同時你作為一個獨立用戶,這次訪問網站的所有頁面均算成一個UV(Unique Vistor,用戶訪問)。」
隋波繼續點點頭,PV和UV是網站規模的重要指標。
「因為同一時刻訪問網站的人數太多,所以,生成網站首頁頁面的伺服器不能是僅僅一台,目前我們用戶生成易趣和淘寶兩個電商網站首頁的伺服器就接近100台,通過負載均衡系統,後台系統會分配給其中一台伺服器完成。」
隋波明白了,負載均衡系統是第一步。
「通過一系列複雜的邏輯運算和數據處理,給你看的網站首頁的HTML內容就生成了。
瀏覽器下一步會加載頁面中用到的CSS、JS(JavaScript)、圖片等樣式、腳本和資源文件。
因為同一個域名下並發加載的資源數量有限,為了保證用戶訪問網站的速度,就需要採用CDN,來保證流量的分散,分配到就近的CDN節點。」
隋波默默點頭,對CDN他還是有一定了解的。
前世時,BAT三大巨頭都在全國大規模的布置CDN,就是出於數據存儲和網站的訪問效率。
龐勇繼續介紹:「當用戶開始瀏覽首頁,你可能只是沒有明確的購物意圖和目標,只是隨意看看,也可能是有一定的購物意圖,主要是屬性上的需求,又或者已經有了明確的目標,只是進行表和挑選。
這就需要通過網站內的分類目錄和搜索來完成。
其中分類目錄背後,就是剛才我提到的Forest系統。
而搜索,目前我們暫時採用了站內搜索的方式,後續會和百度搜索團隊溝通,借鑑更精確的搜索技術,做到站外搜索能夠直接連結到商品頁面。」
隋波點頭表示知道了。
「你找到心儀的商品後,可能會有打開圖片,或者瀏覽商品詳情,加入購物車等等行為。
不論你是否進行了交易,你的訪問行為都會被系統如實記錄下來,用於後續的業務邏輯和數據分析。
這就涉及到了分布式數據存儲和用戶信息中心系統。
就這樣,用戶的瀏覽數據、交易數據和其他數據記錄,就不斷保存和積累在我們的資料庫中。
並通過我們基於數據計算平台的,由數百台伺服器組成的數據系統,進行不斷的分析和挖掘。」
隋波聽到這裡,這才笑道:「你早這麼給我介紹,就很清楚明白了!」
我聽了一下,現在你們「大中台」事業群的問題是兩個方面。
一個是硬體上的升級,一個是軟體上的升級,對吧?」
龐勇噎了一下,無奈點頭:「這麼說……,也沒錯。」
那麼多複雜的問題,被隋波這麼歸納了一下,也只能感嘆。
像隋波這麼牛的人,終於也有缺點啊,他是真不懂技術……
隋波也從來不諱言這一點。
所以他一直對技術團隊都非常重視,這也是龐勇、周楓、王川這幫人,跟了他這麼久,依然覺得跟他混還挺不錯的原因。
除了易趣一直在事業上不斷前進所帶來的成就感,也有隋波的尊重和支持。
否則,這兩年那麼多新出現的網際網路創業公司,都曾想過挖易趣的技術團隊,從股份到高薪,也是各種誘惑。
但易趣的核心技術團隊,沒有一個離開的。
隋波當即拍板:「伺服器增加,你按照三年內用戶增加到5000萬為標準,需要增加多少伺服器,直接報預算。
另外帶寬方面,我們直接和電信談一個全國範圍的合作,所有伺服器CDN節點都把帶寬升級,100M不夠就300M。
你說的電商平台的整合和技術升級,我沒意見。
需要購買國外的資料庫軟體的就買,需要自己研發的,你來組織團隊開發。
你不是已經開始調各業務線的技術人員到總部了嗎?這裡面總能找出高手來。
項目研發的團隊獎勵,按照公司規定,之外再加50%!
我就提兩個要求:
第一,系統和技術升級,不能影響到前台的用戶體驗,至於你們怎麼做我不管。
第二,時間,我給你3個月的時間,你必須完成公司各業務線的系統整合。」
龐勇拉他來參加技術委員會,就是為了得到他的支持。
聞言興奮的點頭道:「我明白了,波總,你放心!一定完成任務。」
隋波又說道:
「百度搜索的資料庫和整體系統,複雜程度不亞於電商平台。
同時搜索團隊現在在優化搜尋引擎技術的同時,還在開發營銷平台。
你和王川你們兩個,平時要多溝通,經驗方面要多交流。」
王川也是技術委員會的成員,聞言和龐勇一起點頭。
作為文科生,查技術資料簡直崩潰瘋掉……,這章簡單普及一下相關技術,比較干,後面就不再詳寫了。若有錯誤,希望專業人士勘正。