本博客采用创作共用版权协议, 要求署名、非商业用途和保持一致. 转载本博客文章必须也遵循署名-非商业用途-保持一致的创作共用协议.

#简介

NoSQL主要用于Web网站建设, 属于非关系型数据库, 主要解决:

• 对数据库的高并发要求
• 对海量数据的高效率存储和访问
• 对数据库的高可扩展性和高可用性的需求

作为一个面向文档的数据库, MongoDB是一个更加通用的NoSQL方案. 可以认为它是关系数据库的一个替代方案, 提供了高性能, 高可用性, 自动扩展

本博客采用创作共用版权协议, 要求署名、非商业用途和保持一致. 转载本博客文章必须也遵循署名-非商业用途-保持一致的创作共用协议.

重点重读三, 五, 六, 十章节

#计算机系统漫游

编译系统:

1. 预处理阶段:根据字符#开头的命令, 修改原始C程序
2. 编译阶段:将文本文件翻译成汇编程序
3. 汇编阶段:汇编器将编译程序翻译成机器语言指令, 并打包成可重定位目标程序
4. 链接阶段:将调用函数目标文件合并到程序中, 形成可执行目标文件

本博客采用创作共用版权协议, 要求署名、非商业用途和保持一致. 转载本博客文章必须也遵循署名-非商业用途-保持一致的创作共用协议.

对于字符串数据排序问题的总结, 如有错误, 欢迎指出.

本博客采用创作共用版权协议, 要求署名、非商业用途和保持一致. 转载本博客文章必须也遵循署名-非商业用途-保持一致的创作共用协议.

MySQL是一种关系型数据库(RDBMS), 数据库可以理解为相关文件的集合. 数据库和控制器数据库的软件称为数据库管理系统(DBMS)

数据库提供处理数据的方法: SQL

#基本概念

• 每个表由多个行和列组成
• 每行包含一个单独实体的数据, 称为记录
• 每一列包含与该记录相关的一项数据, 称为属性

本博客采用创作共用版权协议, 要求署名、非商业用途和保持一致. 转载本博客文章必须也遵循署名-非商业用途-保持一致的创作共用协议.

有时候灵光一闪, 可能发生一连串不同的事情. 就像我只是早起了15分钟而已
写这篇文章或许是为了人生中第一次正式面试的纪念, 或者是为了给自己敲一个警钟…

原计划是在暑假投递简历出去实现的, 在前几天逛V2EX忽然被一篇招实习生的帖子给吸引了, 感觉里面的工作很适合我, 并且我也很愿意去做(不知道我适不适合他们 - -), 然后投了果断投递了简历, 结果楼主给我发出了回复, 说可以找个时间聊一聊, 我以为会是在一周到两周以后(前段时间投过一个上海的大数据公司, 感觉在线笔试做的还不错, 不过最后被默拒了, 那可是我的处女简历投呀).

本博客采用创作共用版权协议, 要求署名、非商业用途和保持一致. 转载本博客文章必须也遵循署名-非商业用途-保持一致的创作共用协议.

#Matplotlib简介

Matplotlib是一个Python工具箱，用于科学计算的数据可视化。借助它，Python可以绘制如Matlab和Octave多种多样的数据图形。最初是模仿了Matlab图形命令, 但是与Matlab是相互独立的.

通过Matplotlib中简单的接口可以快速的绘制2D图表

本博客采用创作共用版权协议, 要求署名、非商业用途和保持一致. 转载本博客文章必须也遵循署名-非商业用途-保持一致的创作共用协议.

对于最大流最小割问题的总结, 如有错误, 欢迎指出.

#最大流(MaxFlow)问题

给定指定的一个有向图,其中有两个特殊的点源S(Sources)和汇T(Sinks),每条边有指定的容量(Capacity),求满足条件的从S到T的最大流(MaxFlow).

想象一条多条不同水流量的水管组成的网络, s为供水广, t为水用户, 最大流问题就是找到能够在s到t流通的最大水流量

本博客采用创作共用版权协议, 要求署名、非商业用途和保持一致. 转载本博客文章必须也遵循署名-非商业用途-保持一致的创作共用协议.

由于五一假期, 成文较为简略, 一些细节部分并没有详细介绍, 如有需求, 可以参考之前几篇相当MapRuduce主题的博文.

HBase实践

• 修改MapReduce阶段倒排索引的信息通过文件输出, 而每个词极其对应的平均出现次数信息写入到Hbase的表Wuxia中(具体的要求可以查看之前的博文MapReduce实战之倒排索引)
• 编写Java程序, 遍历上一步保存在HBase中的表, 并把表格的内容保存到本地文件中.
• Hive使用Hive Shell命令行创建表(表名: Wuxia, (word string, count double)), 导入平均出现次数的数据
  • 查询出现次数大于300的词语
  • 查询前100个出现次数最多的数

本博客采用创作共用版权协议, 要求署名、非商业用途和保持一致. 转载本博客文章必须也遵循署名-非商业用途-保持一致的创作共用协议.

Hive利用MapReduce编程技术, 实现了部分SQL语句, 提供了类SQL的编程接口.

#1. Hive简介

Hive是一个基于Hadoop文件系统HDFS上的数据仓库架构, 它为数据仓库管理提供: 数据ETL(抽取, 转换和加载)工具, 数据仓库管理和大型数据集的查询和分析功能. 定义了类SQL语言Hive QL. 其优势在于极大的可扩展性, 良好的容错性和低约束的数据输入格式

本博客采用创作共用版权协议, 要求署名、非商业用途和保持一致. 转载本博客文章必须也遵循署名-非商业用途-保持一致的创作共用协议.

#1. 千篇一律的HBase简介

HBase是Hadoop的数据库, 而Hive数据库的管理工具, HBase具有分布式, 可扩展及面向列存储的特点(基于谷歌BigTable). HBase可以使用本地文件系统和HDFS文件存储系统, 存储的是松散的数据(key-value的映射关系).

HBase位于HDFS的上层, 向下提供存储, 向上提供运算