??? ????? Big Data ? ??? ? ???? ?????????

Big Data ?????????? ????? ?????? ??????, ??????? ?????????? ???????????? ???????? ????????? ??-?? ????????? ???????, ???????? ????????? ? ???????????? ????????. ??????????? ???????? ????????? ?????????? ????????? ?????? ?? ????????????? ????????.

??????? ? ???????? ?????????? ???????????? ????????? ??????. ??????? ?????? ??????????? ? ?????????????. ????? ?????????? ????????? ?? ???????????. ????? ????? ???????? ??????????? ????????? ??? ??????????? ???????????????. ?????????????? ???? — ??????????? ?????? ??? ????????? ???????.

?????????? Big Data ????????? ????????? ???????? ???????????? ??????. ????????? ???????? ????????? ??????????????? ?????????. ????????? ???????????? ????????? ???????? ?????? ? ?????? ????????? ???????. ????????? ?????????? ???????? ???????? ??? ????????????? ???????.

??????????????? ????????? Big Data

?????? ???????????? ?????? ?????????? ?? ???? ??????? ??????????, ??????? ???????? ????? V. ?????? ???????? — Vol­ume, ?? ???? ??????? ??????????. ??????????? ??????????? ????????? ? ????????? ???????? ?????????. ?????? ???????? — Veloc­i­ty, ???????? ???????????? ? ?????????. ?????????? ??????? ?????????? ???????? ??????? ?????? ???????. ?????? ?????????????? — Vari­ety, ???????????? ????? ????????.

?????????????? ?????? ??????????? ? ???????? ? ??????? ?????? ? ????????. ??????????????? ???????? ?? ???????? ??????? ????????????? ???????????. ??????????, ???????????, ????????? ????????? ????????? ? ???? ??????. ????????????????????? ???????? ????? ????????????? ??????. XML-????? ? JSON-????????? ?????? ???????? ????? ??? ???????????????? ??????????.

??????????? ??????? ?????????? ?????? ???????? ?? ???????????? ???????? ????????????. ???????? ????????? ???????????? ???????? ??? ????????????? ???????????. ???????????????? ???????????? ??????????? ?????????? ??????? ??? ?????????? ?????????. ?????????????????? ???????????? ??????????? ???????? ??? ?????? ?? ????? ???????????. ???????????? ????????? ????????? ?????? ?? ????????????? ??????? ??? ???????? ???????????? ? ??????????? ?????????.

????????? ???????????? ??????

??????????? ????????? ????????? ?????? ?? ???? ????????. ?????? ?????? ?????????? ????????????? ????????? ?????????? ??? ??????? ?????????.

???????? ??????? ?????????? ?????????? ????????:

• ?????????? ????????? ?????????? ?????????? ?????, ????????, ????? ? ?????????? ? ???????????????? ????????????. ??????? ?????????? ?????, ??????? ? ???????????.
• ???????? ????? ??????????? ????? ????????, ??????? ? ?????????. ??????????? ??????? ????????? ???????????? ????????. ????????? ?????????? ??????????? ?????????? ? ??????????? ? ??????????????????.
• ?????????????? ????????? ???????????? ????????? ???????? ? ????????????. ?????????? ?????????? ????????? ??????????. ??????????? ?????? ?????? ???????????? ? ?????? ???????????? ?????? ?????? ??? ????????? ?????????.
• ???-??????? ??????????? ???? ?????????, ????? ? ????????? ?? ????????. ????????? ?????? ????????? ?????? ?????????????.
• ??????????? ??????? ??????????? ?????????????? ?????????? ? ?????????? ?? ?????????????? ????????????.

?????? ?????????? ? ?????????? ??????????

?????????? ???????? ???????? ??????????? ??????????????? ???????????? ????????. API ???????????? ???????? ????????????? ????????? ???????? ?? ????????? ????????. ???-????????? ???????? ?????????? ? ????????-???????. ??????????? ?????????? ???????????? ?????????? ??????????? ?????????? ?? ???????? ? ?????? ????????? ???????.

??????????? ?????????? ?????????? ?????? ?????????????? ?? ????????? ?????????. ??????????? ??????? ????????????? ?????????? ? ???????? ?? ????????????. NoSQL-????????? ?????????? ???????????? ????????? ??? ??????????????????? ??????????. ???????????????????????? ???? ?????? ?????? ? ??????? JSON ??? XML. ???????? ????????? ??????????????? ?? ?????????? ???????????? ????? ?????????? ?????? ?????? ??? ??????? ?????????? ????????.

??????????? ???????? ??????????? ????????? ???????? ?? ?????? ?????. Hadoop Dis­trib­uted File Sys­tem ????? ?????? ?? ????????? ? ????????? ?? ??? ????????????. ???????? ????????? ?????????? ??????????? ?????????. Ama­zon S3, Google Cloud Stor­age ? Microsoft Azure ????????????? ?????????? ?? ?????? ????? ????.

??????????? ??????????? ?????????? ? ????? ????????????? ????????. ??????? ?????? ?????????? ???????? ? ??????????? ?????? ??? ????????????? ???????. ????????????? ??????? ????? ???????????? ?????? ?? ??????????? ?????????.

?????????? ????????? Big Data

Apache Hadoop ???????????? ????? ????????? ??? ?????????????????? ??????? ???????? ????????. MapRe­duce ?????? ???????? ?? ?????? ????????? ? ????????? ????????? ??????????? ?? ?????? ????????. YARN ????????? ????????????? ???????? ? ??????? ???????? ????? ?????? ?????? ??????. Hadoop ?????????????? ????????? ?????????? ? ?????????? ?????????????.

Apache Spark ???????? Hadoop ?? ???????? ??????? ????????? ???????????? ??????????? ??????. ????????? ???????????? ???????? ? ??? ??? ??????????? ???????????? ??????. Spark ???????????? ????????? ??????, ?????????? ?????????, ???????? ???????? ? ??????? ??????????. ???????????? ????????? ??????? ?? Python, Scala, Java ??? R ??? ???????????? ????????????? ????????.

Apache Kaf­ka ??????????? ??????????? ???????? ?????????? ????? ????????????. ?????????? ???????????? ???????? ??????? ? ??????? ? ?????????????? ??????. Kaf­ka ????????? ?????????????????? ??????? ?????? ?????? ??? ??????????? ??????? ? ?????????? ? ????? ????????????? ??????? ??????.

Apache Flink ??????????????? ?? ????????? ?????????? ???????? ? ?????????? ???????. ?????????? ??????? ???????? ?? ???? ?? ??????? ??? ????. Elas­tic­search ?????????????? ? ???? ?????? ? ??????? ?????????????. ?????????? ???????????? ?????????????? ?????? ? ?????????????? ??????????? ??? ????????, ??????????? ? ???????.

????????? ? ???????? ????????

???????????? ???????????? ???????? ????????? ?????? ?????????????? ?? ??????? ??????. ????????????? ???????? ???????????? ???????????? ???????. ????????????????? ????????? ????????????? ????? ??????????. ??????????????? ???????? ????????????? ??????? ??????????? ?? ?????? ??????????? ??????. ?????????????? ?????? ?????????? ??????????? ????.

???????? ???????? ???????? ????????? ????????? ? ??????????. ????????? ?????? ?? ??????? ? ?????????????? ???????????? ????????????. ??????????? ???????? ????????? ??????????? ?????????? ??? ?????????????. ????????? ???????????? ?????? ????????? ??? ???????? ????????.

???????????????? ???????? ?????????? ????????? ??????????? ? ????????????? ??????????. ????????????? ?????????? ??????????? ??????? ??? ??????????? ????????????. ???????? ? ????????????? ???????????? ??????? ???????? ?????? ?????? ??? ?????????? ??????????????.

???????? ???????? ?????????? ????????? ???? ??? ??????????? ?????????. ?????????? ??????????? ??????? ????????. ???????????? ?????? ??????????? ????????? ????? ? ??????????????? ??????????????????.

??? ???????????? Big Data

???????? ???????? ?????????? ??????? ?????? ??? ???????????????? ???????????????? ?????. ???????? ??????? ?????? ???????????? ? ??????? ?????????????? ??????. ??????? ????????????? ???????????????? ?? ????????? ? ??????????? ????????? ???????. ???????? ???????????? ??????????? ???????????? ??? ????????? ?????????? ???????.

?????????? ??????? ???????? ?????? ??? ??????????? ?????????????? ????????. ????? ??????? ??????? ?????????? ????????????? ? ????????? ?????????????? ?????????? ? ????????? ???????. ????????? ????????? ????????? ?????????????????? ???????? ?? ???? ???????????? ?????????. ?????????? ??????????? ??????? ??? ???????????? ???????? ?????????.

???????? ?????????? ??????????? ??? ????????? ????????????? ?????????. ??????????? ????????? ??????????? ????? ?????? ? ???????? ?????? ???????? ?????????. ???????? ????????? ?????? ?????? ???????????? ???-?????????????????? ??? ???????? ???????????? ???????. ??????????? ??????? ????????? ?????????? ???????? ? ????????? ? ??????? ??????????.

???????????? ????? ?????????????? ????????????? ???? ? ?????????????? ????????? ??????????. ???????? ????????? ?????? ??????? ? ???? ???????????????. ???????????????? ?????????? ???????????? ????????? ????????????? ? ???????????? ???????????. ????????????? ????????? ????????????? ????? ?? ????????? ? ????????????? ?????.

??????? ?????? ? ???????????

?????? ???????? ?????????? ???????? ???????????? ?????? ??? ????????. ?????? ???????? ???????? ???????????? ???????? ????????????, ????????? ?????? ? ??????? ????????????????. ??????????? ?????????? ??????? ????????? ?????? ? ???????? ? ????????????? ???????. ???????????????? ??????? ???? ??? ??????? ????????? ??????.

???????????? ????????? ?????????? ?? ???????????????????? ?????????????. ?????? ????????? ?????????? ? ?????????? ????????? ??? ??????? ??????. ????? ?????? ???????? ?????? ??? ???????? ?? ???? ? ???????? ?? ???????. ?????????????? ?????????????? ????????????? ???????????? ???????? ????? ??????????????? ?????.

??????????? ???????? ?????? ??????? ??????????? ?????? ??????????. ??????????? ???????? GDPR ??????? ????????? ????????? ?? ?????????? ????????. ???????? ????????? ????????????? ???????? ? ?????????? ?????????????? ??????. ?????????? ??????????? ??????? ?? 4% ?? ???????? ???????.

???????????? ??????? ?????????? ???????? ?? ???????? ????????. ?????? ?????? ?????, ?????? ? ???????????? ??????. ???????????????? ??????????? ????????? ?????????????? ????????? ? ???????????. ?????? ???? ??????? ???????? ??? ???????????? ?????????? ?????????? ?????????. ?????? ??????????? ????????? ?????????? ????????? ?? ???????? ???????? ??????.

??????????? ???????????? ???????????? ??????

????????? ???????? ??????????? ?????? ??????? ??????. ????????? ?????? ??????????? ??????? ??????? ?? ??????? ?????? ???. ??????? ??????? ???????????? ??????, ????????? ????????? ? ????????????? ???????????? ????. ?????????? ??????????? ????????? ? ???????? ????????? ???????????.

???????????? ???????? ????????? ????????? ?????????? ????? ? ?????? ?????????. ??????? ???????????? ?????????? ???????? ??? ???????? ? ??????. ?????? ??????? ?????????? ? ????????? ???????????? ????????. ??????????????? ?????????? ????????? ????????????? ? ????????????? ????????? ??????????? ?? ?????.

????????????? ????????? ?????????? ???????????? ????????? ????????????? ????????????. ?????????????????? ???????? ???????? ???????? ??????????? ?????? ??? ??????? ????????????. ????????? ???? ????????? ????????????? ?????? ??? ???????? ??????. ??????? ???????? ????????? ??????? ? ????????? ??????????? ? ????????????.

?????????????????? ???????? ?????? ????????? ??????????? ????????? ?? ?????????????????? ????????? ??? ??????? ????????. ??????? ??????? ?????? ??????????? ??????, ???????? ??????????????????. ???????? ????????????? ????????? ??????? ? ?????????????? ????????????. ?????????? ??????????? ????????????? ?????????? ? ?????????? ?? ?????????.