王敬先是来自京东的一名技术大牛,他主要负责京东自营业务的大数据应用和架构设计,带领团队开发了多个大数据项目。2018年,王敬先在中国国际大数据产业博览会上分享了新一代京东大数据中台的建设与实践模式。
据王敬先介绍,京东的大数据中台实际上是由多个中台组成的生态系统,目前涵盖了数据采集、计算、存储、分析、应用等多个方面。其中,数据采集端部分是使用JetStream来实现的,使用Kafka作为消息总线,结合阿里云的MognosDB进行数据存储。计算部分则使用Spark和Hadoop等技术,实现对原始数据的可靠、高效计算,输出Parquet格式的数据文件,用于广泛应用。
王敬先表示,新一代京东大数据中台的建设,主要围绕着三个关键点:可靠性、效率和扩展性。通过可靠的消息传递、可控的计算和高效的存储等手段,实现了对数据的快速获取、快速处理和快速输出,同时支持面向业务、面向应用的扩展,提高了数据集成和应用的灵活性。