Otu esi enyocha ụyọkọ Apache Spark?
Ugbu aApache Spark abụrụla otu nhọrọ kachasị ewu ewu maka nhazi data na nyocha buru ibu. Ikike ya ịrụ ọrụ ekesa na ya arụmọrụ dị elu mee ka ọ dị mma maka gburugburu mmepụta ihe. Agbanyeghị, mgbe ị na-arụ ọrụ na ụyọkọ Spark, ọ dị mkpa ịnweta ngwaọrụ kwesịrị ekwesị iji nyochaa ma chọpụta arụmọrụ ụyọkọ. N'ime edemede a, anyị ga-enyocha ụfọdụ omume na ngwaọrụ kachasị mma dị maka nyochaa ụyọkọ Apache Spark.
1. Ngwa ọrụ nlekota nwa afọ
Apache Spark na-enye ọtụtụ ngwaọrụ ala iji nyochaa ụyọkọ na ịnakọta metrik arụmọrụ. Otu n'ime ngwaọrụ ndị a na-ejikarị bụ Spark Web UI, nke na-enye interface eserese iji hụ ọkwa nke ụyọkọ ahụ, ojiji akụrụngwa, oge ọrụ, na ndị ọzọ. Na mgbakwunye, Spark na-enyekwa ikike jiri metrik arụmọrụ site na JMX ma ọ bụ REST API, na-enye ohere ijikọ na ngwaọrụ nlekota ndị ọzọ dị.
2. Njikọ na usoro nlekota nke mpụga
Na mgbakwunye na ngwa Spark nke ala, enwere ngwọta nleba anya nke mpụga nke nwere ike inye echiche zuru oke na nkọwa zuru ezu banyere arụmọrụ ụyọkọ. Ihe ngwọta ndị a na-enye atụmatụ ndị ọzọ dị ka Mkpu, mkpu na nhụta ahaziri onwe, nke na-eme ka ọ dị mfe ịchọpụta na dozie nsogbu dị na ụyọkọ ahụ. Examplesfọdụ ihe atụ Ngwá ọrụ ndị a ma ama gụnyere Prometheus, Grafana, na Datadog, nke na-enye ohere ijikọ na Apache Spark na nlekota ụyọkọ na-aga n'ihu.
3. Omume kacha mma maka nlekota ụyọkọ
Na mgbakwunye na iji ngwaọrụ kwesịrị ekwesị, ọ dị mkpa ịgbaso ụfọdụ omume kacha mma iji hụ na nleba anya nke ọma nke ụyọkọ Apache Spark. Otu akụkụ dị mkpa bụ ịkọwapụta kpọmkwem metrik na mkpu nke na-enye anyị ohere ịchọpụta nsogbu ndị nwere ike ime ngwa ngwa na nke ọma. A na-atụkwa aro ya centralize Spark ndekọ iji kwado ọchụchọ na nyocha nke ihe omume. Na mgbakwunye, inwe na-arụ ọrụ ịbịaru nso na guzobe usoro nleba anya na nyocha oge ga-enyere aka hụ na arụmọrụ kacha mma nke ụyọkọ ahụ n'oge niile.
Na nchịkọta, ileba anya ụyọkọ Apache Spark dị mkpa iji nọgide na-arụ ọrụ kacha mma yana chọpụta nsogbu ndị nwere ike ime ozugbo. Ma iji ngwa Spark nke ala, ijikọ usoro nleba anya mpụga, ma ọ bụ ịgbaso omume kachasị mma, ịnwe ngwaọrụ kwesịrị ekwesị na ịmepụta usoro nleba anya siri ike dị oke mkpa iji hụ na ọganiihu na gburugburu ebe nrụpụta.
1. Nhazi mbido nke Apache Spark cluster
Nhazi izizi nke ụyọkọ Apache Spark:
Nhazi izizi nke ụyọkọ Apache Spark bụ nzọụkwụ dị mkpa iji hụ na arụmọrụ kacha mma yana nleba anya nke ọma. Ebe a anyị na-ewetara gị isi nzọụkwụ Iji soro hazie ụyọkọ gị nke ọma:
1. Wụnye Apache Spark: Nzọụkwụ mbụ bụ ịwụnye Apache Spark na ọnụ ụyọkọ nke ọ bụla. Ị nwere ike ibudata ụdị Apache Spark kachasị ọhụrụ site na webụsaịtị gọọmentị wee soro ntuziaka nwụnye ka sistemụ arụmọrụ gị kpọmkwem. Gbaa mbọ hụ na ọnụ ụzọ niile arụnyere otu ụdị ka ịzenarị nsogbu ndakọrịta.
2. Ịtọlite faịlụ nhazi: Ozugbo etinyere ya, ọ dị mkpa ịhazi faịlụ nhazi maka oghere ọ bụla na ụyọkọ. Faịlụ ndị a gụnyere faịlụ nhazi bụ isi, spark-env.sh na spark-defaults.conf. N'ime faịlụ ndị a, ị nwere ike ịtọ ebe nchekwa ekenyere na Spark, ntọala caching na paramita ndị ọzọ dị mkpa. Jide n'aka na ịhazigharị ntọala ndị a dabere na akụrụngwa dị na ụyọkọ gị.
3. Nhazi njikwa ụyọkọ: Na mgbakwunye na ịhazi Spark, ọ dị mkpa ịhazi onye njikwa ụyọkọ kwesịrị ekwesị maka ụyọkọ gị. Ị nwere ike ịhọrọ n'etiti YARN, Mesos ma ọ bụ Spark Standalone, dabere na mkpa na mmasị gị. Onye nchịkwa ụyọkọ ọ bụla nwere usoro nhazi nke ya yana ihe achọrọ, yabụ ọ dị mkpa ime nyocha na soro ntuziaka kwesịrị ekwesị.
Site na ịgbaso usoro nhazi mbụ ndị a, ị ga-adị njikere inyocha ụyọkọ Apache Spark gị. rụọ ọrụ nke ọma ma hụ na ịrụ ọrụ kacha mma na ngwa gị na ọrụ nhazi data. Cheta ịlele ndekọ Spark, jiri ngwaọrụ nleba anya, ma dozie nhazi dịka ọ dị mkpa iji kwalite arụmọrụ nke ụyọkọ gị. Jisie ike!
2. Ngwa nlekota oru maka Apache Spark
Otu n'ime ụzọ kachasị mma iji nyochaa ụyọkọ Apache Spark bụ iji dị iche iche ngwaọrụ nlekota. Ngwá ọrụ ndị a na-enye ndị nchịkwa na ndị mmepe aka nyochaa arụmọrụ ụyọkọ, chọpụta ihe mgbochi ma dozie nsogbu n'ụzọ dị irè.
E nwere ọtụtụ ngwaọrụ nlekota oru dị maka Apache Spark, gụnyere:
- Ganglia: Ngwá ọrụ nlekota ewu ewu nke na-enye ozi ozugbo gbasara arụmọrụ nke oghere ụyọkọ Spark na akụrụngwa.
- UI nlekota Spark: Ejikọtara ngwa a n'ime Apache Spark ma na-enye interface eserese eserese iji nyochaa ọkwa ụyọkọ, ọrụ na-agba ọsọ, na ojiji akụrụngwa.
- Prometheus: Igwe nleba anya na ịdọ aka ná ntị nke a na-ejikarị na nnukwu gburugburu data, nke nwekwara ike ijikọ na Apache Spark iji nakọta metrik na iji anya nke uche na-arụ ọrụ ụyọkọ.
Site na iji ndị a ngwaọrụ nlekotaNdị ọkachamara data na ndị mmepe nwere ike nweta ọhụhụ zuru oke na arụmọrụ nke ụyọkọ Apache Spark ha. Nke a na-enye ha ohere ịchọpụta ngwa ngwa yana dozie nsogbu ọ bụla nwere ike imetụta arụmọrụ na oge nzaghachi nke ngwa Spark na ọrụ ha.
3. Nyochaa akụrụngwa ụyọkọ
Nlekọta ụyọkọ akụrụngwa Apache Spark Ọ dị mkpa iji hụ na arụmọrụ kacha mma yana ịchọpụta nsogbu ndị nwere ike tupu ha emetụta ọrụ. Enwere ọtụtụ ngwaọrụ dịnụ iji mee nlebanya a na ngalaba a, anyị ga-enyocha ụfọdụ omume kacha mma maka nyochaa ụyọkọ Spark gị.
Ngwakọta akụrụngwa akụrụngwa
Iji nyochaa ụyọkọ Apache Spark nke ọma, ọ dị mkpa ịtụle metrics isi ihe ndị a:
- Iji CPU: Metiriki a na-atụ pasentị nke oge CPU nke ụyọkọ ahụ na-arụ ọrụ. Ọnụ ahịa dị elu nwere ike igosi oke ibu na sistemụ.
- Ojiji ebe nchekwa: Nleba anya ojiji ebe nchekwa dị mkpa iji gbochie ọnọdụ anaghị echekwa ma hụ na arụmọrụ kwụsiri ike. Ọ ga-ekwe omume nyochaa ma nke anụ ahụ na nke mebere ebe nchekwa itinye n'ọrụ.
- Ike nchekwa: Oghere nchekwa dị dị mkpa maka nhazi na nchekwa data na ụyọkọ. Ọ dị mkpa iji nlezianya nyochaa ikike ejiri mee ihe iji gbochie usoro ahụ ịpụpụ ohere.
Ngwa maka nyochaa ụyọkọ Spark
Enwere ọtụtụ ngwaọrụ nwere ike inyere gị aka nyochaa ụyọkọ Apache Spark gị nke ọma. Ụfọdụ n'ime ihe ndị a na-ejikarị gụnyere:
- Ganglia: Ngwá ọrụ nlekota ihe mepere emepe na-enye eserese n'ime ozugbo yana metrik zuru ezu na ojiji nke akụrụngwa ụyọkọ, dị ka CPU, ebe nchekwa na bandwidth netwọk.
- Prometheus: Ngwá ọrụ a na-elekwasị anya na nchịkọta na nleba anya nke usoro metrics nke oge, na-enye ohere nlekota CPU, ebe nchekwa, latency netwọk, na àgwà ndị ọzọ dị mkpa na ụyọkọ Spark.
- datadog: Ọrụ nlekota na-ewu ewu n'igwe ojii nke na-enye atụmatụ dị iche iche maka nlekota Spark ụyọkọ, gụnyere ọkwa ahaziri ahazi na dashboards mmekọrịta.
Nkwenye
Nlebanya akụ ụyọkọ Apache Spark dị mkpa iji hụ na arụmọrụ kacha mma ma zere nsogbu scalability. Site n'ịgbaso omume kachasị mma yana iji ngwaọrụ nleba anya kwesịrị ekwesị, ị nwere ike ịchọpụta ihe nwere ike ime ka ọ rụọ ọrụ wee bulite arụmọrụ ụyọkọ gị. Cheta ileba anya na metrics isi, dị ka iji CPU, ojiji ebe nchekwa, na ikike nchekwa, ma jiri ngwaọrụ dị ka Ganglia, Prometheus, ma ọ bụ DataDog maka nleba anya zuru oke ma dị irè.
4. Nyochaa arụmọrụ Spark
Spark bụ nnukwu igwe nhazi data dị ike ejiri n'ọtụtụ ụyọkọ gburugburu ụwa. Agbanyeghị, iji hụ na ụyọkọ Apache Spark gị na-arụ ọrụ dịka a tụrụ anya, ụzọ dị mma, nlekota oru mgbe nile dị mkpa. Nke a ga-enye gị ohere ịchọpụta ihe nwere ike ime ka ọ dị mma ma bulie akụrụngwa dị na ụyọkọ gị. Nke a bụ ụfọdụ atụmatụ isi maka nleba anya dị mma:
1. Metrics na nhazi mkpu: Maka nleba anya dị mma, ọ dị mkpa ịhazi na nyochaa metrik Spark isi. Ị nwere ike iji ngwaọrụ dịka Spark's JMX nlekota oru ma ọ bụ ngwọta ndị ọzọ dị ka Prometheus iji nakọta ma jiri anya nke uche hụ metric ndị a. Na mgbakwunye, ọ dị mma ịtọ mkpu iji nata amamọkwa mgbe ụfọdụ oke ọrụ gafere, na-enye gị ohere ịchọpụta ngwa ngwa wee dozie nsogbu.
2. Nyocha ndekọ na nchọpụta nsogbu: Nyochaa ndekọ bụ akụkụ dị oke mkpa nke ịchọpụta nsogbu arụmọrụ na ụyọkọ Spark gị. Ị nwere ike hazie mmepụta ndekọ nke ọma wee jiri ngwaọrụ dị ka ELK Stack (Elasticsearch, Logstash, Kibana) ịnakọta na nyochaa ndekọ nke Spark mepụtara. Nke a ga-enye gị ohere ịchọpụta nsogbu, dị ka iji ebe nchekwa gabigara ókè ma ọ bụ igbochi ọrụ, wee mee ihe ndozi n'oge.
3. Nkwalite arụmọrụ: nlekota oru na-enyekwa gị ohere ịkwalite ụyọkọ Spark gị. Nke a gụnyere ịhazigharị ntọala, dị ka nha ebe nchekwa na myirịta, iji kwalite ojiji akụrụngwa dị. Na mgbakwunye, ị nwere ike iji usoro dị ka nkewa data kwesịrị ekwesị ma ọ bụ iji cache iji kwalite arụmọrụ nke ngwa Spark gị. Nleba anya arụmọrụ na-aga n'ihu na-enye gị ohere inyocha mmetụta nke njikarịcha ndị a wee mee mgbanwe dịka ọ dị mkpa.
Na nchịkọta, nyochaa mgbe niile arụmọrụ nke ụyọkọ Apache Spark gị dị mkpa iji hụ na ọ na-arụ ọrụ nke ọma. Site n'ịhazi metrik na oti mkpu, nyochaa ndekọ na ịchọpụta nsogbu, na ịkwalite arụmọrụ, ị nwere ike idobe ụyọkọ gị n'ọnọdụ kachasị elu wee bulie uru nke ngwa Spark gị. Echefula na atụmatụ nleba anya siri ike na-agụnyekwa ịkpachara anya ka ị dị njikere iji merie nsogbu ndị nwere ike ime yana hụ na arụmọrụ kacha mma nke ụyọkọ Spark gị.
5. Nleba anya maka mmejọ na ọdịda ụyọkọ
Nyochaa mperi na ọdịda na ụyọkọ
Enwere ọtụtụ ngwaọrụ na usoro enwere ike iji nyochaa ma chọpụta njehie na ọdịda na ụyọkọ Apache Spark. Nke mbụ, ọ dị mkpa iji usoro ndekọ osisi kwesịrị ekwesị, dị ka Apache Log4j, iji banye ma chekwaa ozi njehie na mmemme sistemụ. Nke a na-enye anyị ohere ịchọpụta na nyochaa njehie ozugbo, na-eme ka ọ dị mfe ịchọta nsogbu na ịkwalite arụmọrụ.
Na mgbakwunye na ndekọ ihe omume, ọ dịkwa mkpa iji ngwaọrụ nleba anya na nhụta anya, dị ka Apache Zeppelin ma ọ bụ Grafana, iji nweta nkọwa nke ọnọdụ ụyọkọ ahụ ozugbo. dị ka CPU na ebe nchekwa, yana ịchọpụta ihe ọ bụla anomaly ma ọ bụ saturation na ụyọkọ. Ọ dịkwa ike ịhazi ọkwa ọkwa iji nweta ọkwa ma ọ bụrụ na njehie ma ọ bụ ọdịda dị egwu mere.
Usoro ọzọ bara uru maka nyochaa mperi na ọdịda na ụyọkọ Apache Spark bụ iji mmegide mmejọ arụnyere na usoro mgbake. n’elu ikpo okwu. Spark na-enye usoro dị ka ichekwa data etiti na diski yana ikike ịmegharị ọrụ ndị dara ada na-akpaghị aka. Usoro ndị a na-achọpụta na nhazi data na-aga n'ihu ọbụlagodi na ọdịda, si otú a na-ebelata mmetụta nke njehie na arụmọrụ ụyọkọ na nnweta. Site na nhazi na nhazi nke ọma nke usoro ndị a, anyị nwere ike hụ na ụyọkọ ahụ siri ike ma bụrụ ndị a pụrụ ịdabere na ya.
6. Spark ọrụ nlekota na nhazi oge
Nyochaa ọrụ Spark na nhazi oge dị mkpa iji hụ na arụmọrụ kacha mma na arụmọrụ nke ụyọkọ Apache Spark. Iji bulie ikike nke ụyọkọ ahụ wee gbochie nsogbu ndị nwere ike ime, ọ dị mkpa iji nlezianya nyochaa ọnọdụ ọrụ yana ịhazi ọrụ Spark nke ọma.
Nyochaa ọrụ:
Otu n'ime ngwa bara uru maka nlekota oru na Spark bụ Spark Web UI. Ihe interface a na-enye gị ohere ịlele ọkwa nke ọrụ ozugbo, yana iji akụrụngwa na ọganihu ọrụ n'ozuzu ya. Na mgbakwunye, ọ na-enye ozi bara uru na metrik arụmọrụ, dị ka oge mmebe ọrụ, ojiji ebe nchekwa, na ndekọ njehie. Nleba anya na nyochaa metrik ndị a dị oke mkpa iji chọpụta mkpọmkpọ ebe na ịkwalite nhazi ụyọkọ.
Mmemme Spark:
Spark mmemme dabere na echiche nke mgbanwe y mbak. Mgbanwe bụ arụmọrụ na-etinye ezi uche na data ahụ, dị ka nzacha, eserese, ma ọ bụ mkpokọta. N'aka nke ọzọ, omume bụ arụmọrụ na-eweghachite uru ma ọ bụ chekwaa nsonaazụ ya na sistemụ nchekwa. Mgbe ị na-eme atụmatụ Spark, ọ dị mkpa ịtụle ọrụ nke ọrụ ọ bụla na mmetụta ya na arụmọrụ na scalability na mgbakwunye, ọ bụ ihe amamihe dị na ya iji usoro dịka nkewa data na nkwụsi ike n'ime nchekwa iji melite arụmọrụ nke arụmọrụ dị mgbagwoju anya.
Ngwa mgbakwunye:
Na mgbakwunye na Spark Web UI, enwere ngwaọrụ ndị ọzọ bara uru maka nlekota Spark na mmemme. Nyochaa Spark is a ọba akwụkwọ nke na-enye metrics ndị ọzọ maka nleba anya, dị ka ojiji CPU na ọkwa onye ọrụ. Prometheus na Grafana, ka imepụta dashboards omenala wee lelee metrics Spark nke ọma. Ngwa ndị a na-enye ọhụụ miri emi n'ime ụyọkọ ahụ ma mee ka ọ dị mfe ịchọpụta nsogbu ndị nwere ike tupu ha emetụta arụmọrụ sistemụ. Na nkenke, nleba anya nke ọma na nhazi oge dị oke mkpa iji nweta ohere zuru oke nke ike nke ụyọkọ Apache Spark na iji hụ na arụmọrụ ya kachasị mma Site na ngwá ọrụ na usoro ziri ezi, ọ ga-ekwe omume ịchọpụta nkwụsịtụ, kwalite ọrụ na dozie nsogbu tupu ha emetụta àgwà nke ọrụ.
7. Nlebanya ụyọkọ mgbanaka njikarịcha
Na-ebuli nyocha ụyọkọ Spark
Nleba anya nke ọma nke ụyọkọ Apache Spark dị ezigbo mkpa iji nọgide na-arụ ọrụ kacha mma yana bulie akụrụngwa dịnụ. Ka ụyọkọ na mgbagwoju anya ngwa na-abawanye, ọ dị oke mkpa ịhụ na ahaziri nlekota nke ọma. N'akụkụ a, anyị ga-eleba anya na ụfọdụ atụmatụ na usoro iji kwalite nlekota nke ụyọkọ Spark.
1. Metrics na alerts nhazi
Otu n'ime ihe mbụ anyị kwesịrị ime iji kwalite nyocha ụyọkọ Spark bụ ịhazi metrik na ọkwa dị mkpa. Nke a ga-enye anyị ohere soro arụmọrụ ụyọkọ ozugbo wee nweta amamọkwa mgbe ebutere ọnụ ụzọ dị oke mkpa. Ụfọdụ n'ime metrics igodo anyị kwesịrị ịtụle gụnyere ojiji CPU, ebe nchekwa ejiri, ọnụego mbufe netwọkụ, na ojiji diski. Site n'ịtọlite ọkwa maka metrik ndị a, anyị ga-enwe ike ịchọpụta na dozie nsogbu, si otú ahụ zere nsogbu ndị nwere ike ịrụ ọrụ.
2. Iji ngwaọrụ nlekota oru
Enwere ngwaọrụ nleba anya dị iche iche nwere ike inyere anyị aka ịkwalite nlebanya ụyọkọ Spark Ngwa ndị a nwere ike ịnye ozi zuru ezu gbasara arụmọrụ ọnụ nke onye ọ bụla, ojiji akụrụngwa, yana usoro metrik. Ụfọdụ ngwaọrụ ndị ama ama gụnyere Grafana, Prometheus, na Ganglia. Site n'iji ngwa ndị a, anyị nwere ike iji anya nke uche hụ ma nyochaa data nlekota oru nke ọma, na-achọpụta ngwa ngwa n'ime karama na mpaghara maka imeziwanye na ụyọkọ anyị.
3. Nyochaa ọrụ na ọrụ
Na mgbakwunye na nleba anya sistemu na akụrụngwa, ọ dị mkpa ịnwe nyocha zuru oke nke ọrụ na ọrụ ndị na-arụ na ụyọkọ Spark. Nke a ga-enyere anyị aka ịchọpụta ihe nwere ike ime mkpọmkpọ ma ọ bụ adịghị arụ ọrụ na mmezu nke ọrụ ahụ. Ụfọdụ metrik dị mkpa ị ga-eburu n'uche gụnyere oge mmezu ọrụ, ọnụọgụ ọrụ emechara, yana ọnụọgụ ọrụ dara ada. Site n'ịtụle data a, anyị ga-enwe ike ịkwalite ọrụ anyị ma melite arụmọrụ mkpokọta nke ụyọkọ ahụ.
Na nchịkọta, ịkwalite nlebanya ụyọkọ Spark bụ isi ihe iji hụ na ịrụ ọrụ kacha mma yana ịbawanye akụrụngwa dịnụ, jiri ngwaọrụ nleba anya dị irè, wee soro ọrụ na ọrụ zuru ezu bụ ụfọdụ atụmatụ dị mkpa anyị nwere ike mejuputa. Site na imeziwanye nlekota anyị, anyị ga-enwe ike ịchọpụta na dozie nsogbu arụmọrụ, na-ahụ na ọganiihu nke ngwa anyị na Apache Spark.
Abụ m Sebastián Vidal, onye injinia kọmpụta nwere mmasị na teknụzụ na DIY. Ọzọkwa, abụ m onye okike tecnobits.com, ebe m na-ekerịta nkuzi iji mee ka nkà na ụzụ nwetakwuo ohere na nghọta maka onye ọ bụla.