全部版块 我的主页
论坛 数据科学与人工智能 数据分析与数据科学 数据分析与数据挖掘
1039 0
2020-11-13
一次性技术:时代到来的概念
想象一下……想象一下,您在挑战1x1的比赛中扮演国家篮球协会历史上最伟大的三分射手Steph Curry时遇到了挑战。 是的,对于我们当中99.9999999%的人来说,这是可以预见的结果。
但是现在可以想象,斯蒂芬·库里(Steph Curry)在1x1游戏中必须穿着骑士的盔甲。 体重增加,视力受阻以及缺乏灵活性,敏捷性和机动性,甚至可能使普通篮球运动员击败他。
欢迎今天的技术架构挑战!
对于许多公司而言,它们的技术体系结构已不再是阻碍创造价值的障碍,它更像是一种考古挖掘,将古老的技术层层叠在更古老的技术之上。结果:体重增加,视力受阻,缺乏灵活性,敏捷性和移动性。
诸如Google,Facebook,Twitter,Apple,Netflix,Amazon和AirBnB之类的现代数字公司已经采用了一种技术架构方法,越来越多地使用开源技术将技术基础结构视为“一次性”。
以我的拙见,采用这种开放式方法的原因有两个:
首先,基于开源技术的发展为公司提供了灵活性,敏捷性和移动性,使他们可以迁移到次佳技术,而不受传统技术的约束和体系结构锁定。传统技术以专有技术供应商的速度发展,专有技术供应商在9到12个月的不间断,严格的产品发布时间表中规定了新的技术功能,为此,客户有幸支付30%以上的年度维护费。现代数字公司 将其技术基础结构建立在开源技术的基础上,这不仅可以防止供应商体系结构锁定,还可以使他们以自己的步调和业务步调提高技术能力。
其次,更重要的是,这些数字公司明白,技术不是业务价值和差异化的源泉。他们了解业务价值和差异化的源泉是:1)这些组织通过每次与客户的互动以及对产品或服务的每次使用而熟练地收集的数据,以及2)对客户,产品和运营的洞察力(形式为知识产权)客户,产品和运营倾向,趋势,关联,关系和模式),从而带来新的知识产权(IP)货币化和商业化机会。
让我们深入研究这两个原则,以了解有兴趣对以数字方式转换其业务模型的企业进行复制的任何公司。
了解现代数字业务架构
数字公司知道,尝试使用传统技术进行比赛就像斯蒂芬·库里(Steph Curry)在参加篮球比赛时被迫穿着骑士的盔甲。 对于现代技术方面的重要课程,让我们看一下Lyft构建其技术体系结构的策略(摘自文章“ Lyft在大数据技术中的选择背后是什么”)。
公司:
小号tarted与AWS红移,但过渡到Apache蜂巢,当它开始运行到可伸缩性问题。
迁移到Presto,以提供功能更强大的查询引擎,该引擎支持跨多个数据源的数据探索分析。
使用Apache Spark支持大规模ETL批处理并训练其机器学习模型。
使用Druid,这是 面向列的内存中OLAP数据存储,擅长对大量高维数据执行下钻和上滚。
使用Jupyter(数据科学团队),PySpark库(一种流行的笔记本样式界面,用于处理数据和机器学习算法)。
使用Apache Airflow创建可重复的数据工程和数据科学工作流,这些工作流可在工作流编排工具Kubernetes上执行。
结合使用Apache Kafka,Apache Flink和Spark来构建流服务。
Hive,Presto,Spark,Druid,Jupyter,Airflow,Kafka,Flink,Kubernetes……疯狂的开源技术名称,这在过去的单片技术供应商中找不到(见图1)。
图 1: 来源:Hortonworks
Lyft和其他现代数字公司明白,他们的技术架构应满足两个基本目的:
促进对公司宝贵数据资产的捕获,完善,管理,共享,管理,治理和分析。
建立不会阻碍第一点的技术架构。
现代商业经济学
数据是具有持久价值和差异化价值的经济资产。 数据是客户,产品和运营洞察力的来源,现代公司使用这些数据来区分其产品和服务,同时追求卓越运营(例如,减少计划外停机时间,减少采购/物流/库存/制造/分销成本,增加客户获取/保留/成熟/倡导)。 数据科学是数据价值创造过程的核心。
这些以数据和分析为中心的公司正在紧密整合数据科学和业务团队,以定义分析成功的参数。识别,捕获和运营客户,产品和运营价值创造的来源(参见图2)。
图2 :数据科学价值工程框架
这些组织正在掌握DataOps,Data Science和DevOps学科的集成,以推动其数据货币化价值链的发展(见图3)。
图3 :数据货币化价值链
DataOps,Data Science,DevOps –都专注于加速《经济学人》杂志宣布为“世界上最有价值的资源”的资产的货币化。 有关将世界上最有价值的资源货币化的更多信息,请参见“数据策划:将原始数据编织成业务黄金”。
一次性技术摘要
那么,我们可以从现代数字公司那里汲取什么教训呢?
第1课:专注于使组织协调一致,以识别,捕获和运营公司数据中所隐含的新客户,产品和运营价值的新来源。
第2课:请勿实施会干扰第1课的严格技术架构。
这些现代数字公司通过积极的开源架构策略,意识到自己不在技术架构行业;他们从事数据货币化和商业化业务。
题库
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

相关推荐
栏目导航
热门文章
推荐文章

说点什么

分享

扫码加好友,拉您进群
各岗位、行业、专业交流群