Published on

READING: Big Data

Authors

两本和Big Data 相关的书, 一本是媒体书, 一本是技术书

"Big Data" 里讲到大数据的核心是预测。

Jeff Hawkins做Neural Networks也说AI的核心是预测(On Intelligence)。可以参考之前的blog: 由《暗时间》所引起的读书计划。大数据时代,逐步放弃对精确性的追求。可以在google scholar上查一查big data对hedge fund, social network, twitter, finance, privacy, 大选,民调等领域的影响。大数据时代的隐私所面对的挑战不是单一数据源上的问题,而是多数据源合并,通过reverse-anonymization技术带来的挑战。

大数据和物联网,物联网时代每一个物体都在产生数据,核心将从功能转化成数据。比如Fuel Band就是一个数据收集器。

大数据不是指数据绝对意义上的多,而是采用全量不是采样的分析方法。

预测只需要知道关联关系,不需要知道因果关系。相关关系只是缺少一个人工的解释。存在即合理。

Tera data数据分析公司

分析中国股市和社交网络数据的关系,检查利用手机Sensor累计数据的应用,比如步速。

量变引起质变。

在物理测量中,极大极小意义上的测量和普通意义上的测量完全不同。极小对应量子力学。不确定原理。极大对应相对论,超光速,黑洞等。

数据处理也一样,同样的计数,在小数据的情况下,普通的计数器。在大数据的情况下,同步,一致性等诸多问题。

所以大数据时代产出的理论如同广义相对论,囊括了各种不同情况下的描述。而万有引力只是一种近似。

找一本大数据的书,讲述亚马逊的推荐系统。

大数据时代的隐私保护。privacy preserving in big data era。

家具制造,物流,企业配料,赌球赔率。