# DE锛堟暟鎹�宸ョ▼锛夊畬鏁存敾鐣�
鍦ㄥ�備粖鐨勬暟鎹�椹卞姩鏃朵唬锛屾暟鎹�宸ョ▼锛圖ata Engineering锛岀畝绉癉E锛変綔涓轰竴闂ㄦ柊鍏撮�嗗煙锛岃秺鏉ヨ秺鍙楀埌鍚勮�屽悇涓氱殑闈掔潗銆傛棤璁烘槸绉戞妧鍏�鍙搞�侀噾铻嶆満鏋勮繕鏄�浼犵粺浼佷笟锛岄兘闇�瑕佷緷闈犳暟鎹�宸ョ▼甯堟潵澶勭悊銆佸瓨鍌ㄥ拰鍒嗘瀽娴烽噺鏁版嵁銆傛湰鏂囧皢浠庢暟鎹�宸ョ▼鐨勫畾涔夈�佹妧鑳借�佹眰銆佸伐鍏蜂笌鎶�鏈�銆佸�︿範璺�寰勫拰鑱屼笟鍙戝睍绛夋柟闈㈣繘琛岃�︾粏闃愯堪锛屽府鍔╄�昏�呮洿濂藉湴浜嗚В鏁版嵁宸ョ▼銆�
## 涓�銆佷粈涔堟槸鏁版嵁宸ョ▼锛�
鏁版嵁宸ョ▼鏄�鎸囦笌澶ф暟鎹�鐩稿叧鐨勬暟鎹�澶勭悊鍜岀�＄悊杩囩▼锛屾秹鍙婃暟鎹�鐨勯噰闆嗐�佸瓨鍌ㄣ�佸�勭悊鍜屽垎鏋愩�傛暟鎹�宸ョ▼甯堢殑涓昏�佽亴璐ｆ槸鏋勫缓鍜岀淮鎶ゆ暟鎹�鍩虹��璁炬柦锛岀‘淇濇暟鎹�鑳藉�熼珮鏁堛�佸彲闈犮�佸畨鍏ㄥ湴娴佸姩锛屽苟涓烘暟鎹�绉戝�﹀�躲�佸垎鏋愬笀鎻愪緵鎵�闇�鐨勬暟鎹�鏀�鎸併��
## 浜屻�佹暟鎹�宸ョ▼甯堢殑鎶�鑳借�佹眰
瑕佹垚涓轰竴鍚嶄紭绉�鐨勬暟鎹�宸ョ▼甯堬紝浠ヤ笅鎶�鑳芥槸蹇呬笉鍙�灏戠殑锛�
### 1. 缂栫▼鎶�鑳�
鏁版嵁宸ョ▼甯堥渶瑕佺啛缁冩帉鎻＄紪绋嬭��瑷�锛屽挨鍏舵槸Python銆丣ava鍜孲cala銆侾ython鍦ㄦ暟鎹�澶勭悊鍜孍TL锛堟彁鍙栥�佽浆鎹�銆佸姞杞斤級浠诲姟涓�闈炲父甯歌�侊紝鑰孞ava鍜孲cala甯哥敤浜庡ぇ鏁版嵁妗嗘灦锛堝�侶adoop鍜孲park锛変腑銆�
### 2. 鏁版嵁搴撶�＄悊
鏁版嵁宸ョ▼甯堥渶瑕佸�瑰叧绯诲瀷鏁版嵁搴擄紙濡侻ySQL銆丳ostgreSQL锛夊拰闈炲叧绯诲瀷鏁版嵁搴擄紙濡侻ongoDB銆丆assandra锛夋湁娣卞埢鐨勭悊瑙ｃ�傝兘澶熻繘琛孲QL鏌ヨ��銆佷紭鍖栨暟鎹�搴撴�ц兘浠ュ強璁捐�￠珮鏁堢殑鏁版嵁妯″瀷鏄�蹇呬笉鍙�灏戠殑鎶�鑳姐��
### 3. 澶ф暟鎹�鎶�鏈�
浜嗚В澶ф暟鎹�鐢熸�佺郴缁熸槸鏁版嵁宸ョ▼甯堢殑鏍稿績鑳藉姏銆傜啛鎮塇adoop銆丼park銆並afka绛夊ぇ鏁版嵁澶勭悊妗嗘灦锛岃兘澶熸湁鏁堝�勭悊娴烽噺鏁版嵁鏄�鏁版嵁宸ョ▼甯堢殑閲嶈�佽亴璐ｃ��
### 4. 鏁版嵁寤烘ā
鏁版嵁寤烘ā鏄�鏁版嵁宸ョ▼甯堢殑閲嶈�佸伐浣滀箣涓�锛屽寘鎷�鐞嗚В涓氬姟闇�姹傚苟灏嗗叾杞�鍖栦负鏁版嵁妯″瀷銆傝兘澶熻�捐�℃暟鎹�浠撳簱鍜屾暟鎹�婀栨槸鎻愬崌鏁版嵁宸ョ▼鏁堢巼鐨勫叧閿�銆�
### 5. ETL宸ュ叿
鎺屾彙ETL宸ュ叿锛堝�侫pache NiFi銆乀alend銆丄irflow绛夛級鏄�鏁版嵁宸ョ▼甯堢殑鍩烘湰瑕佹眰锛岃繖浜涘伐鍏风敤浜庢暟鎹�鐨勬娊鍙栥�佽浆鎹㈠拰鍔犺浇杩囩▼銆�
### 6. 浜戣�＄畻
闅忕潃浼佷笟瀵逛簯鏈嶅姟鐨勫箍娉涢噰鐢�锛屼簡瑙ｄ簯璁＄畻骞冲彴锛堝�侫WS銆丟CP銆丄zure锛夊強鍏舵湇鍔★紙濡係3銆丷edshift銆丅igQuery锛変篃鏄�鏁版嵁宸ョ▼甯堢殑閲嶈�佹妧鑳戒箣涓�銆�
## 涓夈�佸伐鍏蜂笌鎶�鏈�
鏁版嵁宸ョ▼宸ヤ綔涓�闇�瑕佷娇鐢ㄧ殑涓昏�佸伐鍏蜂笌鎶�鏈�鍖呮嫭锛�
1. **Apache Hadoop**锛氱敤浜庡ぇ瑙勬ā鏁版嵁瀛樺偍涓庡�勭悊鐨勫紑婧愭�嗘灦銆� 2. **Apache Spark**锛氬揩閫熼�氱敤鐨勯泦缇よ�＄畻绯荤粺锛屾敮鎸佹壒澶勭悊鍜屾祦澶勭悊銆� 3. **Kafka**锛氬垎甯冨紡娴佸�勭悊骞冲彴锛屽箍娉涚敤浜庡疄鏃舵暟鎹�娴佺殑鏋勫缓銆� 4. **ELT/ETL宸ュ叿**锛氬�侫pache NiFi銆乀alend銆丄irflow锛屽�勭悊鏁版嵁鐨勬彁鍙栥�佽浆鎹�涓庡姞杞姐�� 5. **鏁版嵁搴�**锛氬寘鎷�鍏崇郴鏁版嵁搴擄紙MySQL銆丳ostgreSQL锛夊拰NoSQL鏁版嵁搴擄紙MongoDB銆丆assandra锛夈�� 6. **浜戞湇鍔�**锛氫緥濡侫WS锛圧edshift銆丼3锛夈�丟oogle Cloud锛圔igQuery銆丆loud Storage锛夈�丮icrosoft Azure绛夈��
## 鍥涖�佸�︿範璺�寰�
鎯宠�佹垚涓烘暟鎹�宸ョ▼甯堬紝鍙�浠ユ寜鐓т互涓嬭矾寰勮繘琛屽�︿範锛�
### 1. 鍩虹��鐭ヨ瘑
棣栧厛闇�鎺屾彙缂栫▼鍩虹��锛屽�侾ython鎴朖ava銆傚悓鏃讹紝瀛︿範SQL璇�瑷�锛屼簡瑙ｅ叧绯诲瀷鏁版嵁搴撶殑鍩烘湰姒傚康銆�
### 2. 娣卞叆瀛︿範鏁版嵁澶勭悊
鎺ヤ笅鏉ワ紝瀛︿範鏁版嵁澶勭悊鐨勫熀鏈�姒傚康锛屽寘鎷�鏁版嵁棰勫�勭悊銆佹竻娲楀拰杞�鎹�锛岀啛鎮夊父鐢ㄧ殑ETL宸ュ叿銆�
### 3. 瀛︿範澶ф暟鎹�鎶�鏈�
鎺屾彙Hadoop鍜孲park绛夊ぇ鏁版嵁鎶�鏈�锛屼簡瑙ｅ畠浠�鐨勬灦鏋勫拰浣跨敤鍦烘櫙銆傚彲浠ラ�氳繃鍦ㄧ嚎璇剧▼銆佽嚜瀛︽垨鍙傚姞鍩硅��鐝�鏉ヨ幏鍙栬繖浜涙妧鑳姐��
### 4. 瀹炶返椤圭洰
鍙備笌寮�婧愰」鐩�鎴栬嚜宸卞姩鎵嬪仛涓�浜涙暟鎹�鍒嗘瀽鍜屽�勭悊鐨勯」鐩�锛岀Н绱�瀹為檯缁忛獙銆傝繖涓嶄粎鍙�浠ユ彁鍗囨妧鑳斤紝杩樿兘涓烘湭鏉ユ眰鑱屽�炲姞绛圭爜銆�
### 5. 鍏虫敞浜戣�＄畻
鍦ㄥ�︿範瀹屽熀纭�鐭ヨ瘑鍚庯紝鍙�浠ュ紑濮嬩笂鎵嬩簯璁＄畻锛屽�︿範濡備綍鍦ˋWS銆丟CP鎴朅zure涓婃瀯寤哄拰绠＄悊鏁版嵁鍩虹��璁炬柦銆�
## 浜斻�佽亴涓氬彂灞�
鏁版嵁宸ョ▼甯堢殑鑱屼笟鍙戝睍鏂瑰悜涓昏�佹湁涓や釜锛�
### 1. 鎶�鏈�璺�绾�
闅忕潃缁忛獙鐨勭Н绱�锛屾暟鎹�宸ョ▼甯堝彲浠ヤ笉鏂�娣卞叆鎶�鏈�棰嗗煙锛屾垚涓烘暟鎹�鏋舵瀯甯堟垨棣栧腑鏁版嵁宸ョ▼甯堬紝璐熻矗璁捐�″拰瑙勫垝鏁翠綋鏁版嵁鏋舵瀯銆�
### 2. 绠＄悊璺�绾�
鏁版嵁宸ョ▼甯堣繕鍙�浠ラ�夋嫨绠＄悊璺�绾匡紝鎴愪负鏁版嵁鍥㈤槦鐨勮礋璐ｄ汉锛岃礋璐ｅ洟闃熺殑绠＄悊涓庨」鐩�鐨勫崗璋冦��
## 鍏�銆佹�荤粨
鏁版嵁宸ョ▼鏄�涓�涓�鍏呮弧鏈洪亣鍜屾寫鎴樼殑棰嗗煙锛屾帉鎻″繀瑕佺殑鎶�鑳藉拰宸ュ叿鏄�鎴愬姛鐨勫叧閿�銆傚笇鏈涢�氳繃鏈�鏂囩殑鏀荤暐锛岃兘澶熷府鍔╂湁蹇椾簬鎴愪负鏁版嵁宸ョ▼甯堢殑璇昏�呬滑鏄庣‘鏂瑰悜锛岃繀閫熷叆闂�锛屾湭鏉ュ湪鏁版嵁椹卞姩鐨勪笘鐣屼腑鍙栧緱绐佺牬鎬ц繘灞曘�傞�氳繃涓嶆柇瀛︿範涓庡疄璺碉紝鎮ㄥ皢鑳藉�熻�捐�″嚭楂樻晥鐨勬暟鎹�澶勭悊绯荤粺锛屼负鏁版嵁椹卞姩鐨勫喅绛栨彁渚涘潥瀹炵殑鍩虹��銆�