坚信科学,分享技术

2018全新版本,未来在blog.54chen.com更新博客!

>>>尝试更加利于阅读的2014版科学院,以后都在新版上写。

Author Archives: 54chen

qcon杭州2012读后感

我没有在现场,所以叫读后感,只是看pdf文件之后的总结,如和现场体验有误,以现场为主。 给力排行一:云中的资源管控 淘宝林昊大师:提到2010年时三分之一的虚拟机peak load小于0.5,LXC重度用户,各种资源隔离的坑都被他们解决了。在进一步做动态调度。 腾讯CEE系统介绍:产品细节惊人,疑似依赖LXC。 京东虚拟化:openstack用户、使用传统vm。 CloudFoundry:完整讲述了实现和演进。 盛大游戏私有云:在游戏业务中使用,未明显提及虚拟化的事情,猛一看像是做分配机器之类的事情。 给力排行二:大数据hadoop 阿里巴巴:3000 Servers,正在演进hadoop as service,原来yahoo维护hadoop的大侠们去了那里,这个方向应该是靠谱的。 百度:2500 Servers,与阿里方向侧重不一致。当然了,也有可能是集团利益让牛B的构架师发挥不到极致,如果有这种现像存在,可以考虑来小米。(mail to chenzhen at xiaomi dot com 无耻的广告。。。) 给力排行三:工具和思路 网易:puppet在运维中的各种使用 陌陌:移动运维非常赞!让关注变得更简单更快捷,更容易让团队成员关注系统运行。 支付宝:SOA治理等。

Continue reading

7 Comments

cloud foundry - how to bootstrap a system in centos6

1)install febootstrap Febootstrap is a tool like debootstrap in ubuntu. #yum -y install febootstrap #febootstrap centos6 rootfs http://mirror.neu.edu.cn/centos/6.3/os/x86_64/ Threre is a basic centos system in rootfs dir. 2)install ruby 1.9 (optional) yum -y groupinstall "Development Tools" yum -y install openssl-devel …

Continue reading

Leave a comment

cloud foundry之warden代码解读-part3

简介 cloudfoundry是vmvare推出来的开源PaaS平台,warden是其核心部分的资源管理容器,完成了各种资源分配的事情。 代码位置在: https://github.com/cloudfoundry/warden 根据part2里提到的过程,本节以create命令为例进行追踪。 调用过程: bin/warden-repl >> lib/warden/repl.rb >> Warden::Client >> warden.sock >> lib/warden/server.rb receive_request > process(request) > process_container_request(request, container) > base.rb > dispatch(request, &blk) > send(do_method, request, response, &blk) -> linux.rb > do_xxx > shell script 过程放大 一、进入repl命令行 …

Continue reading

Leave a comment

cloud foundry之warden代码解读-part2

简介 cloudfoundry是vmvare推出来的开源PaaS平台,warden是其核心部分的资源管理容器,完成了各种资源分配的事情。 代码位置在: https://github.com/cloudfoundry/warden 代码结构 |-- em-warden-client 基于eventmachine的client 依赖 warden-client与warden-protocol 通过 unix socket来通讯 |-- warden 巨复杂的warden实现,大部分是shell脚本+ruby,还有两个c实现。 |-- warden-client 客户端驱动,提供与warden的阻塞式通讯client。依赖warden-protocol。其中的V1.rb对各自command进行解析之后的处理。这里有一个v1mode的概念, v1mode使用字符串,转为pb后与其他的一起使用protobuf。 `-- warden-protocol 依赖beefcake(protobuf library for Ruby)。protocol下有所有支持的pb生成格式。 小坑:ruby中的send方法 send其实就是动态地根据名字调用函数,传递后面的内容作为调用参数,api函数原型为: obj.send(symbol [, args...]) => obj 在V1.rb中,所能的convert_xxxx_request方法都是这样被调用到的。 专注warden实现 src下四个C程序: |-- clone 用来快速复制一个环境 夹杂一堆的shell在其中运行 …

Continue reading

Leave a comment

丰宁坝上草原自驾游

秋高气爽,正直周末,我米东方时尚小分队一行十一人三辆车,浩浩荡荡二次出行。 目标: 一出门在八高小堵: 出了北京,一路都是这样的感觉: 当时有两个小时的土路它是这个样子的: 七小时后到达目的地,马不停蹄,开骑: 当地的养马的农民在山顶上休闲地抽烟: 马到成功: 农民家看马的大黄,一只耳朵总是耷拉着: 第二天,自行活动时摄影师拍摄: 随便都是桌面一张: 期待下次出行!

Continue reading

Leave a comment

cloud foundry之warden代码解读-part1

简介 cloudfoundry是vmvare推出来的开源PaaS平台,warden是其核心部分的资源管理容器,完成了各种资源分配的事情。 代码位置在: https://github.com/cloudfoundry/warden 这一部分也是我最想了解细节的地方,因为在一个paas平台中,资源的隔离才是最有价值的部分。 基础知识 rv = unshare(CLONE_NEWNS); unshare这个调用,可以把挂载的文件系统设置成只在新的挂载命名空间(mount namespace)中可见。 execvp(argv[0], argv); execvp()会从PATH 环境变量所指的目录中查找符合参数file 的文件名,找到后便执行该文件,然后将第二个参数argv传给该欲执行的文件。 shopt -s nullglob 设置shell环境变量nullglob的值为on,nullglob为on时对于通配符匹配时,若匹配不到时为空(相对应的为通配符本身)。 int stat(const char *restrict pathname, struct stat *restrict buf); 提供文件名字,获取文件对应属性。 build-essential软件包 作用是提供编译程序必须软件包的列表信息,也就是说编译程序有了这个软件包,它才知道 头文件在哪,才知道库函数在哪,还会下载依赖的软件包,最后才组成一个开发环境。 工具debootstrap 可以用于在系统的某个目录中安装一套基本系统,这个基本系统除了一些配置项外,与ubuntu安装程序在安装的第一阶段安装的内容基本相同。

Continue reading

Leave a comment

cloud foundry之dea代码解读

简介 cloudfoundry是vmvare推出来的开源PaaS平台,dea(DropletExecution Agent)是其应用运行的环境,一个DEA可以启动多个应用。 代码位置在: https://github.com/cloudfoundry/dea 这一部分也是我最想了解细节的地方,因为在一个paas平台中,资源的隔离才是最有价值的部分。 历史 初始版的dea基本不控制系统资源,然后基于cgroup搞了一个warden(真正的资源隔离是它,下节再述),程序运行容器。cf希望warden运行在多个平台上,所以没有直接使用LXC。 代码 代码入口在lib/dea.rb: EM.epoll EM.run { agent = DEA::Agent.new(config) agent.run() } EM是ruby有名的eventmachine,是一个事件驱动网络框架,从java程序员的角度,可以理解有点像mina,也可以认为有点像erlang的gen_server。 然后进到lib/dea/agent.rb: NATS.start(:uri => @nats_uri) do ... 里面注册了各种各样的收到对应消息干什么活的定义,我们来看其中几条线: 1. 收到update: NATS.subscribe('dea.update') { |msg| process_dea_update(msg) } 上一句是说收到update的指令, process_dea_update里面关键的一句: register_instance_with_router

Continue reading

Leave a comment

cloud foundry之router代码解读

简介 cloudfoundry是vmvare推出来的开源PaaS平台,router是其所有请求的入口路由,其与nginx进行配合完成各种情况情况下的转发。 代码位置在:https://github.com/cloudfoundry/router 历史 第一版的router直接通过unix sock将http request通过nginx的proxy 发到了router.rb中处理,第二版的时候,因为ruby直接处理请求性能不行,换成了lua脚本来接收请求,再由ruby程序将结果返回。 目录结构 router代码不多,共有下面的一些主要目录。 . ├── bin │ └── router (启用router server的脚本) ├── config │ ├── router2.yml │ └── router.yml (配置文件,指定了服务的端口和消息队列pid等) ├── ext │ └── nginx │ ├── tablesave.lua │ └── uls.lua (这两个lua脚本供nginx conf使用,实现用户第一次访问时生成一个cookies,lua让其去同一个地方) …

Continue reading

Leave a comment

cloud foundry之cloud_controller代码解读

简介 cloudfoundry是vmvare推出来的开源PaaS平台,cloud_controller是其管理界面的http rest api入口。 补课 rails Rails基于MVC(模型- 视图- 控制器)设计模式。从视图中的Ajax应用,到控制器中的访问请求和反馈,到封装数据库的模型,Rails 为你提供一个纯Ruby的开发环境。 习惯约定大于配置: model类位置app/models/xxx.rb controller位置app/controllers/xxx_controller.rc help位置app/helpers/xxx_helpers.rb view位置app/views/xxx 对应布局app/views/layouts/xxx.rhtml xxx.rxml 开始cloud_controller https://github.com/cloudfoundry/cloud_controller 里面有两个项目,一个是cloud controller另一个是health_manager,今天要研究的是前者,下节说后者。 入口 bin/cloud_controller -> config/boot.rb cloud_controller必需要求ruby1.9以上,因为其中有一个fiber需要ruby支持(传说中的Coroutine)。 如果没有配置 cloud_controller使用nginx,则会启用Thin去启动Rack。(Thin是ruby内置的network server,Rack: a Ruby Webserver Interface) a

Continue reading

Leave a comment

cloud foundry之vmc代码解读

简介 cloudfoundry是vmvare推出来的开源PaaS平台,vmc全称是The VMware Cloud CLI,是vmware的应用平台命令行接口。 ubuntu安装vmc sudo gem install vmc 常见的用法 vmc target api.paas.n.xiaomi.net vmc add-user vmc login vmc push vmc其实是使用ruby来实现的一整套的cli命令转化为http restful请求的对应工具。 其代码位于:https://github.com/cloudfoundry/vmc git clone回来代码之后,下面对代码进行半瓶水解析法解析。 入口 bin/vmc 引用了 $github/vmc/lib/cli 直接运行VMC::Cli::Runner.run 位于:lib/cli/runner.rb 看上去run会被执行。 进入到parse_command!方法中 以push为例: when 'push' usage('vmc push [appname] [--path …

Continue reading

Leave a comment
Page 4 of 16« First...2345610...Last »