你试图让部署的Hadoop或Spark系统正常运行起来，但可能无法如愿以偿，这一方面恐怕归咎于你抱着以为它们就是灵丹妙药的幻想。这就是知名调研机构Gartner的研究主任尼克·霍德克（Nick Heudecker）在该公司召开的2017年悉尼数据和分析峰会（Data & Analytics Summit 2017）上发表的一场演讲的核心内容。

上个月就出现了警告，要注意为采用不安全的默认设置的软件保驾护航，可是Hadoop分布式文件系统（HDFS）集群的管理员显然对此没有放在心上。据GDI基金会的三名安全研究人员维克托·格弗斯（Victor Gevers）、尼尔·梅里甘（Niall Merrigan）和马特·布罗米莱（Matt Bromiley）声称，针对Hadoop集群的攻击已删除了至少165个集群的数据。这三人声称，目前大约有5300个Hadoop集群暴露在互联网面前，其中一些可能岌岌可危。

Hadoop迎来了10周年的生日。关于Hadoop，有很多大事件依然历历在目：Hadoop成为Apache的子项目并获得命名，第一版Hadoop代码发布，第一批用户部署了该代码。为了纪念这些事件，大数据供应商的高管们为该分布式处理框架过去十年中在数据管理和分析处理上的影响给予了高度的赞誉。

大多数企业大数据应用案例尚处于实验和试点阶段，对于少数首次在生产环境部署Hadoop系统的用户来说，最常遇到的就是扩展问题，此类问题往往导致企业因噎废食，终止大数据应用项目。部署和扩展Hadoop系统是一件高度复杂的事情，如果用户能提前对Hadoop扩展可能会遇到的各种问题和危险信号有所了解，就能避免很多“救火”场面。

最近这几周大数据领域可谓动作频频，初创公司和老牌企业都纷纷发布新品，更新或改进现有的产品系列，以及达成战略性关系。行业观察人士表示，许多企业拿来试点阶段的大数据系统(尤其是那些整合Hadoop平台的系统)后，将它们部署到更广泛的生产环境。本文介绍的新闻主要旨在帮助公司进行这种转型。

本文介绍了多款知名的开源应用软件，科技公司可以用它们来管理自己的IT基础设施、开发产品。

谈到大数据，相信大家对Hadoop和Apache Spark这两个名字并不陌生。但我们往往对它们的理解只是提留在字面上，并没有对它们进行深入的思考，下面不妨跟我一块看下它们究竟有什么异同。

2016 年大数据领域会发生什么情况？考虑到如今在深层神经网络和规范性分析方面取得的进展，你可能觉得这个问题很好回答。而实际上，来自业界的大数据预测大不相同，本文精选出了最值得关注的 33 个

过去几年里，应用程序和网页的使用规模不断扩大，用户量已经达到上几百万甚至几亿级。在这种大流量、大数据的趋势下，昔日的应用架构开始土崩瓦解。最近，使用海量数据的趋势，已经激发了市场催生一个全新的科技团体