本博客采用创作共用版权协议, 要求署名、非商业用途和保持一致. 转载本博客文章必须也遵循署名-非商业用途-保持一致的创作共用协议.

#1. 系统参数配置

通过Hadoop的API对各种组件的参数进行配置

• org.apache.hadoop.conf 系统参数的配置文件处理API
• org.apache.hadoop.fs 抽象文件系统API
• org.apache.hadoop.dfs HDFS模块的实现
• org.apache.hadoop.mapred MapReduce模块实现
• org.apache.hadoop.ipc 封装了网络异步I/O的基础模块
• org.apache.hadoop.io 定义了通用的I/O模块

本博客采用创作共用版权协议, 要求署名、非商业用途和保持一致. 转载本博客文章必须也遵循署名-非商业用途-保持一致的创作共用协议.

#1. MacTex安装

进入MacTex官方网站直接下载pkg安装包进行安装.

#2. 中英文混合输入

1
2
3
4
5
6
7
8

\documentclass[UTF8,nofonts]{ctexart}
\setCJKmainfont{SimSun} % or any font you have.
\setCJKsansfont{SimHei}
\setCJKmonofont{FangSong}
\begin{document}
文章内容。

Some Chinese fonts should be installed in your system (SimSun, SimHei, FangSong, KaiTi)\end{document}

本博客采用创作共用版权协议, 要求署名、非商业用途和保持一致. 转载本博客文章必须也遵循署名-非商业用途-保持一致的创作共用协议.

#1. MatLab简介和安装

• MatLab是综合高性能的数值计算软件, 集成了数值计算和可视化, 提供大量内置函数, 广泛用于科学计算等领域.
• Simulink是基于MatLab的框图设计环境, 用来对各种动态系统进行建模, 分析和方针.
• 学习目的: 为了完成当前作业和以为科研工作的需求

本博客采用创作共用版权协议, 要求署名、非商业用途和保持一致. 转载本博客文章必须也遵循署名-非商业用途-保持一致的创作共用协议.

#1. 算法设计基础

算法是有限条指令序列, 确定了解决某个问题的一系列运算或操作

1. 问题建模
2. 选择什么算法
3. 这个算法能否使所有实例得到最优解
4. 如果不能, 找出反例

本博客采用创作共用版权协议, 要求署名、非商业用途和保持一致. 转载本博客文章必须也遵循署名-非商业用途-保持一致的创作共用协议.

#1. 再述MapReduce计算模型

• JobTracker用于管理和调度工作(一个集群只有一个JobTracker)
• TaskTracker用于执行工作
• 每个MapReduce任务被初始化为一个Job, 每个Job分为Map(接收键值对)和Reduce阶段

本博客采用创作共用版权协议, 要求署名、非商业用途和保持一致. 转载本博客文章必须也遵循署名-非商业用途-保持一致的创作共用协议.

#1. NumPy安装

• 使用pip包管理工具进行安装

1

$ sudo pip install numpy

• 使用pip包管理工具安装ipython(交互式shell工具)

1
2

$ sudo pip instlal ipython
$ ipython --pylab  #pylab模式下, 会自动导入SciPy, NumPy, Matplotlib模块

本博客采用创作共用版权协议, 要求署名、非商业用途和保持一致. 转载本博客文章必须也遵循署名-非商业用途-保持一致的创作共用协议.

本来还想在校期间任性的不学习Java, C/C++/Python一直用到毕业呢, 结果天不遂人愿, 选修了MapReduce不得不学习Java了, 完全面向对象语言的学习还有一点小期待的.
这篇博文用来记录Java学习过程, 用来学习复习巩固之用.

#1. Java基本程序设计结构

Java应用程序中全部内容都必须放置在类中

• 类名以首字母大写的驼峰命名法
• 源代码的文件名必须与公共类的名字相同, 并且以.java作为后缀
• java中所有函数都属于某个类的方法(java中main方法必须有一个外壳类)

1
2

javac FirstSample.java  //java编译器将源代码编译成字节码
java FirstSample  //java虚拟机从指定类中的main方法开始执行

本博客采用创作共用版权协议, 要求署名、非商业用途和保持一致. 转载本博客文章必须也遵循署名-非商业用途-保持一致的创作共用协议.

#1. Hadoop简介

由于几乎所有的书中都会提到Hadoop的发展史, 这里就不说Hadoop的历史时间线了.

Hadoop是由Apache软件基金会开发的开源分布式计算平台, 通过Hadoop分布式文件系统和MapReduce为核心为用户提供分布式基础框架

• HBFS是以一种分布式文件系统, 具有搞容错性的特点, 可以设计部署到低廉的硬件上, 适用于超大规模数据集的应用程序.
• MapReduce是一种编程模型, 用于大规模数据集的并行运算, Map(映射)将输入键值对映射成一组新的键值对,Reduce(规约)对相同key下所有value进行处理后输出最终键值对

本博客采用创作共用版权协议, 要求署名、非商业用途和保持一致. 转载本博客文章必须也遵循署名-非商业用途-保持一致的创作共用协议.

#1. 安装Homebrew和Cask

打开Mac终端, 安装OS X 不可或缺的套件管理器homebrew和homebrew cask

1
2
3

$ ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"

$ brew install caskroom/cask/brew-cask

本博客采用创作共用版权协议, 要求署名、非商业用途和保持一致. 转载本博客文章必须也遵循署名-非商业用途-保持一致的创作共用协议.

#常用

gitignore gitignore各种语言大集合
cheat cheat allows you to create and view interactive cheatsheets on the command-line
editor Editor for writing books using GitBook (for Windows, Mac and Linux)
front-end-collect 分享自己长期关注的前端开发相关的优秀网站、博客、以及活跃开发者
gitbook Modern book format and toolchain using Git and Markdown
manong 码农周刊分类整理
shadowsocks A fast tunnel proxy that helps you bypass firewalls
awesome A curated list of awesome lists
ResumeSample Resume template for Chinese programmers . 程序员简历模板系列。
lwan Experimental, scalable, high performance HTTP server
linux-framebuffer-tools linux-framebuffer-tools
docker Docker - the open-source application container engine
zh-google-styleguide Google 开源项目风格指南 (中文版)
free-programming-books
free-programming-books-zh_CN 免费的计算机编程类中文书籍
papers-we-love Papers from the computer science community to read and discuss
learn-with-open-source 借助开源项目，学习软件开发
Projects A list of practical projects that anyone can solve in any programming language