Jusene's Blog

Elasticsearch

Elasticsearch是一个基于Apache Lucene的开源搜索引擎，无论是开源还是专有领域，Lucene可以被认为是迄今为止最先进、性能最好的、功能最全的搜索引擎库，Lucene非常复杂，而Elasticsearch通过RESTful API隐藏了Lucene的复杂性，让搜索变得更简单，不过Elasticsearch不仅仅是一个搜索，它更是文档NoSQL体系的一种，我们可以这样描述它：

• 分布式的实时文档存储，每个字段都可以被索引并可被搜索
• 分布式的实时分析搜索引擎
• 可以扩展到上百台大集群，处理PB级结构化或非结构化数据
  而且这些功能被集成到一个服务中，通过RESTful API调用，满足各种编程语言的需求。

FastDFS

FastDFS是一个开源的轻量级分布式文件系统，整体功能与MogileFS十分相似，由C编写，无论在性能，冗余备份，负载均衡等方面都比MogileFS提升了不少，整个文件系统也只可以通过API进行访问。

MogileFS

MogileFS是一个开源的分布式文件存储系统，适用于海量存储小文件的工作场景，MogileFS不能对文件进行切分，所以理论上只要不超过挂载的device的文件系统的大小就可以，且MogileFS的class至少会保持两个副本，且会自动平衡存储节点的class节点，所以理论上只要存在足够的数据存储节点，数据存储在整个MogileFS中是很可靠的，唯一需要的担心的就是database节点的单点故障，因为这属于外部应用，整个的高可用性需要自行解决。

分布式

不知不觉进入了云计算大数据时代，在不知不觉中数据成为了最重要的财富，而时代的变迁，传统的单一的架构设计已经完全无法满足现在对数据的需求，分布式架构设计走上了历史的舞台，由多节点共同完成单一任务，使任务的效率提升了千倍万倍。

因业务需求，需要搭建私密网络，所以理所当然需要需要搭建vpn，在所有的vpn解决方法中当然首选OpenVPN,在折腾了许久后，总算是可以用了，下面是自己的搭建记录。

OpenVPN

OpenVPN是可以用于创建虚拟专用网络加密通道的免费开源软件。使用vpn可以在不同地点不同的网络之间搭建类似于局域网的专用网络通道，OpenVPN使用方便，运行性能优秀，且支持多平台，并且采用了高强度的数据加密，再加上其开源免费的特性，是搭建vpn的理想的开源的产品。

上面我们简单的了解了下mongodb的基本操作指令，现在我们来进行mongodb的高端操作，这里主要进行的是mongodb副本集和mongodb分片。

MongoDB

MongoDB是基于分布式文件系统存储的数据库，旨在为web应用提供可扩展的高可用数据储存解决方案，它是介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最像关系数据库的，它支持的结构非常松散，是类似json的bson格式，因此可以存储比较复杂的数据类型。

redis

redis(remote directory server)是一个key-value存储系统，和memcached类似，它支持存储的value类型相对较多，支持string，list，hash，set，sorted set，bitmaps，hyperloglogs，与memcached一样，为了保证效率，数据都是缓存在内存中，区别在于redis会周期性的把数据写入磁盘或把修改写入追加记录文件，并且在此基础上可以实现master-slave同步。

supervisor

supervisor是由python编写，基于linux操作系统的服务进程管理工具，supervisor是一款c/s框架的系统，可以控制类unix中管理大量进程，supervisor要求管理的程序的是非daemon程序，supervisord会帮它转换成daemon程序。

今天面对一个难题，如何在阿里的负载均衡经由nginx再做层代理，如何让tomcat获取到真正的客户端ip，如果只是一层代理这个实现起来会很容易，但是经过多层代理，按照普通的办法我们拿到ip会是第一层代理的ip，经过一番摸索，我找到了nginx的http_realip_module的模块可以完成这个功能。