0xTrustTryEP

Just do it, deeply...

Follow me on GitHub

Sqoop简介及使用

Apr 16, 2020 by donaldhan

引言 在业务系统中,我们将业务数据存储在关系型数据库。在业务数据累计一定量的时候,如何对这些数据进行分析,是我们需要解决的一个问题。sqoop作为连接关系型数据库和hadoop的桥梁,支持全量和增量更新的方式,将数据导入到Hadoop的BigTable体系中,比如如 Hive和HBase;以便进行分析。 目录 Sqoop的优点 Sqoop1 sqoop安...

财富自由之路入门

Mar 16, 2020 by donaldhan

引言 目录 财富自由之路第一季 财富自由之路第二季 财富自由之路第三季 总结 ### 财富自由之路第一季 之前投资过股票,买过基金,买过银行理财,买过比特币,虽然说学过技术,懂得趋势投资,价值价值投资(但没有实践), 也知道复利的概念,但财务方面管理的不是很好。 经过最近几天的学习,明白什么是生钱资产,什么是负债资产及其他资产,只有生钱资产的收入大于你的生活支出时...

财富自由之路第三季

Mar 16, 2020 by donaldhan

引言 实际CPI就是消费者物价指数,将M2增长率减去GDP增长率。 什么事好的企业: 连续5年的净资产收益率大于20% 连续5年净利润现金含量大于100% 走到人生的某一个阶段时,我决心要成为一个【富有之人】。这并不是因为爱钱的缘故,而是为了追求那种【独立自主】的感觉。我喜欢能够自由地说出自己的想法,而不是受到他人意志的左右。——查理.芒格 储蓄,积少成多在任何领域都是成立...

财富自由之路第二季

Mar 12, 2020 by donaldhan

引言 通货膨胀是隐形的财富杀手,不做理财会被通胀割韭菜,乱投资会被市场割韭菜,跑赢通胀正确的姿势是先学习掌握正确的理财技能! 财务报表是股票,家庭,人生的体检表,读懂财报就能读懂股票、家庭、人生未来的财运。 资产负债率 > 70% 偿债风险比较大;资产负债率 < 40% 几乎没有偿债风险 。人也是有财务报表的,你可以通过他的财务报表分析一个人 有对象的你可以分析你的另一半,他...

Flume简介及实战

Mar 11, 2020 by donaldhan

引言 Flume属于大数据体系中的一个分布式的、可靠的、高可用的海量日志采集、聚合和传输的系统。基于Source-Channel-Sink事件数据流模型,同时通过事务机制保证消息传递的可靠性, 内置丰富插件,轻松与其他系统集成。底层Java实现,同时具备优秀的系统框架设计,模块分明,易于开发。 目录 Flume数据流模型 网络流 sink ...

财富自由之路第一季

Mar 9, 2020 by donaldhan

引言 之前投资过股票,买过基金,买过银行理财,买过比特币,虽然说学过技术,懂得趋势投资,价值价值投资(但没有实践), 也知道复利的概念,但财务方面管理的不是很好。 经过最近几天的学习,明白什么是生钱资产,什么是负债资产及其他资产,只有生钱资产的收入大于你的生活支出时,才是您实现财务只有的。同时您无法赚取你认知范围之外的钱,富人用钱换时间,穷人用时间还钱。穷人是观望派,富人是观望派;富人用钱...

HIVE客户端简单API

Mar 5, 2020 by donaldhan

引言 我们先来回顾一下上一篇HIVE DDL&DML简介所讲内容。 如果创建数据库时没有指定对应的数仓存储路径,默认为HDFS下的数仓目录user/hive/warehouse+数据库名+.db对应的文件夹。 如果数据库中有0或多个表时,不能直接删除,需要先删除表再删除数据库;如果想要删除含有表的数据库,在删除时加上cascade,可以级联删除(慎用)。 Hive表有两种,分别是内部...

HIVE DDL&DML简介

Mar 3, 2020 by donaldhan

引言 上面一篇文章HIVE单机环境搭建,我们搭建了Hive的HA版本和单机版,今天我们来使用单机来看一下HIVE的相关DDL和DML语法。 目录 DDL 创建数据库 查看数据库 修改数据库 删除数据库 创建表 加载本地文件数据到数据表 复制表 ...

HIVE单机环境搭建

Feb 25, 2020 by donaldhan

引言 上一篇HIVE高可用环境的搭建,我们在3台机上搭建了基于Zookeeper的Hive高可用HA环境,同时使用HIVE CLI和Beeline, 体验了一些简单的DDL和DML。在配置的过程中metastore,要先初始化;另外hive.server2.thrift.bind.host配置,不同的机器,绑定的主机名为相应的主机,HiveServer2就是单点模式了。最重要的注意hive...

HIVE高可用环境的搭建

Feb 22, 2020 by donaldhan

引言 Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。相对于用java代码编写mapreduce来说,Hive的优势明显:快...