about云开发

 找回密码
 立即注册

QQ登录

只需一步,快速开始

扫一扫,访问微社区

分享 大数据开发架构
bioger_hit 2019-6-5 09:55
大数据开发架构
我们在学习大数据的时候,经常想全部了解大数据的内容,网上发现一个不错的架构,给大家分享下
38 次阅读|0 个评论
分享 实际生产面试案例分享
阿飞 2019-5-29 16:13
实际生产面试案例分享
这里分享几个实际生产中,大家遇到的问题,以及解决办法。对于正在面试的成员,你可以思考,假如你遇到这样的问题,你该如何处理。如果你已经工作了,由于我们每个人所接触的场景都是有限的。对于下面案例也可以扩充下大家的知识面。 分享案例1: 公司有224台机器,内存单个384G,48core。在集群的使 ...
63 次阅读|0 个评论
分享 数据仓库T+1模型思想
nettman 2019-5-27 22:43
首先什么是T+1模型 可以简单理解为数据中的1,2,3,4 ...T, T + 1. 可以理解为,今天之前是一个 T单位的数据,新加一天就是(T + 1)单位的数据。 这里的T可以理解为每天。 然后基本仓库可以分为 1.ODS层: |-sdm每日的增量表数据 |-fdm部分需要保存全量数据的表。 注 ...
44 次阅读|0 个评论
分享 Flink并行度,都是在哪里可以设置
nettman 2019-5-27 18:42
Flink并行度,都是在哪里可以设置
本节介绍如何在Flink中配置程序的并行执行。FLink程序由多个任务(转换/操作符、数据源和sinks)组成。任务被分成多个并行实例来执行,每个并行实例处理任务的输入数据的子集。任务的并行实例的数量称之为并行性。 如果要使用保存点,还应该考虑设置最大并行性(或最大并行性)。当从保存点还原时,可以改变特定运 ...
44 次阅读|0 个评论
分享 spark io.eofexception:unexpected end of input stream
hyj 2019-5-25 17:34
spark io.eofexception:unexpected end of input stream 原因: 数据源的问题,比如一些非常规的文件需要考虑进入,比如gz包等
46 次阅读|0 个评论
分享 kafka分区设计的原则是什么?
pig2 2019-5-23 12:43
很多成员在设计kafka的时候,感觉该如何设计几个分区而发愁? 其实我们要明白kafka分区的目的是为了让数据均衡分区,消费起来更加的均衡。 因此我们设计可以根据机器的个人和数据分类来考虑设计分区。 比如数据有几个类,我们可以设计topic有几个分区。 在我们设计了分区后,如果有充足的机器,我们可以在多设计 ...
66 次阅读|0 个评论
分享 IntelliJ IDEA导入项目手册及问题总结【Flink代码为例】
pig2 2019-5-21 17:04
问题导读 1.IDEA社区版如何import项目? 2.项目导入中,该如何选择避免找不到相关包? 3.导入的过程中,有哪些需要注意的? 导入准备: 源码: FlinkExample-master.zip (223.69 KB, 下载次数: 0, 售价: 2 云币) IDEA: 破解版无需注册码,直接安装即可 ideaIC-2 ...
85 次阅读|0 个评论
分享 java spfa 算法 demo 最短路径双向
hyj 2019-5-21 15:47
import java.util.ArrayList; import java.util.HashMap; import java.util.LinkedList; import java.util.List; import java.util.Map; public class MySpfa { public static void main(String ") ); } } //点集合 public int ; if(tt==st){ dist.put(st, 0); / ...
47 次阅读|0 个评论

本页有 2 篇日志因作者的隐私设置或未通过审核而隐藏

关闭

推荐上一条 /3 下一条

QQ|小黑屋|大发快3-首页 ( 京ICP备12023829号

GMT+8, 2019-6-18 20:55 , Processed in 0.290156 second(s), 15 queries , Gzip On.

Powered by Discuz! X3.2 Licensed

返回顶部