大数据究竟是什么？大数据有哪些技术呢？( 二 )

文章插图
需要分布式数据存储。比如Hadoop的HDFS 。

文章插图
数据的流动
上述1000万个答案。会有1亿的人阅读。提供服务的系统成百上千。这些数据需要在网上各个系统间来回传播。需要消息系统比如Kafka 。

文章插图
在线用户量
同时在线的用户量在高峰时可能达到几千万。如此高的访问量需要数前台服务器同时提供一致的服务。为了给用户提供秒级的服务体现。需要加缓存系统比如redis 。
机器学习。智能推荐
所有的内容包括图片都会还用来机器学习的分析。从而得到每个用户的喜好。给用户推荐合适的内容和广告。还有如此大量的数据。必须实时的分析。审核。审核通过才能发布。人工审核肯定做不到。必须利用机器来智能分析。需要模式识别。机器学习。深度学习。实时计算需要Spark 。Flink等流式计算技术。

文章插图
服务器的管理
几千台服务器。协同工作。网络和硬件会经常出问题。这么多的资源能够得到有效利用需要利用云计算技术。K8S等容器管理工具。还需要分布式系统的可靠性和容灾技术。

文章插图
本人。@小马过河Vizit 。专注于分布式系统原理和实践分享。希望利用动画生动而又准确的演示抽象的原理。欢迎关注。
【大数据究竟是什么？大数据有哪些技术呢？】关于我的名字。小马过河Vizit 。意为凡事像小马过河一样。需要自己亲自尝试。探索才能获得乐趣和新知。Vizit是指Visualize it的缩写。一图胜千言。希望可以利用动画来可视化一些抽象的原理。