数据之路

10月27-28日，由高校毕业生就业协会主办，江南大学、江苏信息职业技术学院等承办的高校毕业生就业协会教育数字化服务工作委员会暨高校教育数字化转型与人才培养论坛在江苏省无锡市圆满召开，迪塔维作为支持单位受邀出席。席间，迪小数发现很多老师对我们的“职业院校大数据中心”建设方案非常感兴趣，所以本期话题，我们就本着探究与学习的态度，与大家一起聊聊《全国职业院校大数据中心建设指南》（以下简称“指南”）中的…

上期我们讲到了高校数据中台“要不要迁移”和“怎么迁移”的问题，因为篇幅限制，“怎么迁移”只介绍到了数据湖集成的部分。其实数据湖集成的关键在于梳理业务系统入湖的需求（范围要求、实时性要求）和按需进行入湖策略的设置，这部分因为在开发过程中我们就把复杂的代码过程转换成了可供选择的配置项，所以操作起来难度应该不大。 之后的标准层迁移、下行接口迁移、质量规则迁移和A尸l接口迁移因为涉及到代码标准&数…

雄关漫道真如铁，而今迈步从头越 高校数据治理是一项长期而庞杂的工程，早期由于建设经验不足，大家普遍经历了共享数据库、主数据平台、大数据平台等“边走边建”的过程，因为建设年代不同、承建厂商不同、数据库类型不同、代码标准不一造成了数据治理“看似全、实则乱”的局面。 “数据中台”因其高度规范集约的特性大火之后，很多高校便面临了新的选择困境：数据中台要不要迁移升级？怎么迁移？ 对于“要不要升级”这个问题，…

上一篇文章中我们介绍了高校信息化共享数据平台的相关情况，本来应该要继续聊大数据平台了，不过今天我想先插播一则“广告”，你、你、你还记得“大明湖畔的高基报表”吗？为什么插播？因为在共享数据平台、主数据平台的建设阶段，前端的数据应用很难绕开“报表”二字，报表，尤其是高基报表，是那个时代的印记。 报表作为数据仓库最为经典的应用场景，到目前为止也是各行各业最重要数据价值输出形式之一。不过报表这个词应该拆开…

共享数据平台&主数据平台 在DataV数据之路文章连载第一篇关于数据仓库基础概念介绍的文章中，我们提到数据仓库的理论自始至终贯穿了数据技术的整个发展脉络。在教育信息化领域中，数据仓库的落地和演变过程也很有既视感。 启蒙阶段：共享数据平台 在2000年-2010年（粗略估计，不要抬杠），教育信息化整体处于启蒙阶段，被广泛认可的建设方针是“硬件集群、数据集成、应用集中”，在这样的指导方针下，教…

南京迪塔维数据技术有限公司，以数据之路为初心，自2014年成立以来，经过7年多的深耕，公司秉承着“孜孜问道，数业专攻”的理念，在数据技术上不断颠覆力求精进，在产品理念上也坚持了 “客户定义产品”的发展思路，逐步在数据技术和教育行业的交叉口站稳脚跟。           经过7年的发展与技术积累，公司在数据技术和数据相关产品上做了大量的创新和迭代，公…

首先，简单了解一下大数据时代下的数据检索。 在如今的大数据时代，信息量爆炸、数据增长迅猛，如何在动辄上T、上P的数据量上实现信息的快速查询检索成为大数据技术中的核心命题之一。 在大数据的技术体系下信息管理部门一般会选择使用主流的开源组件ELK作为非结构数据的查询检索渠道，ELK由Elasticsearch、Logstash和Kibana三部分组件组成； Elasticsearch，简称ES，是个开…

工业产品未来销售情况预测模型以过去数年的历史销售数据为支撑，数据涉及客户订单、原材料、生产、规程、质量、销售、成本、收益等多种类型，这些数据忠实记录了公司核心业务的成长发展历程。采用大数据分析技术，利用这些数据进行深度挖掘利用，形成辅助决策据，帮助公司决策层进行产品产能控制、生产资源规划、成本预测控制和市场开拓发展。 主要的实施工具以R语言为主统计分析工具，方法采用合理销售预测算法并依据市场经济和…

我是IT从业者，俗称“程序猿”，而且大学学计算机专业也是自己寻死觅活一定要读的专业，可以说从一开始就是我自己的选择，机缘巧合之下一直从事数据技术相关的工作，尤其是这几年大数据技术、概念、名词风起云涌后，我作为站在风口的猪，虽然没有被吹上天，不过也侥幸的一直活下来了。 然而，个人认为最近几年大数据概念几乎充斥了所有领域，就像当年的云计算一样一样的，真正落地的反而没多少。 从技术上来说，过往做互联网信…

数据的操作语言是SQL，因此很多工具的开发目标自然就是能够在Hadoop上使用SQL。这些工具有些只是在MapReduce之上做了简单的包装，有些则是在HDFS之上实现了完整的数据仓库，而有些则介于这两者之间。这样的工具有很多，来自于Shoutlet的软件开发工程师Matthew Rathbone最近发表了一篇文章，他列举了一些常用的工具并对各个工具的应用场景和未来进行了分析。Apache Hiv…