学习Jenkins（二）
持续集成①安装部署jenkins从git获取代码
一：持续集成的概念：
SRE实战 互联网时代守护先锋，助力企业售后服务体系运筹帷幄！一键直达领取阿里云限量特价优惠。1.1:总体的概括
持续集成Continuous Integration
持续交付Continuous Delivery
持续部署Continuous Deployment
1.2：什么是持续集成：
持续集成是指开发者在代码的开发过程中，可以频繁的将代码部署集成到主干，并进程自动化测试
1.3：什么是持续交付：
持续交付指的是在持续集成的环境基础之上，将代码部署到预生产环境
1.4：持续部署：
在持续交付的基础上，把部署到生产环境的过程自动化，持续部署和持续交付的区别就是最终部署到生产环境是自动化的。
1.5:关于安全：OWASP:每年发布top 10web漏洞:
top1：注入攻击漏洞，例如SQL，OS 以及 LDAP注入。这些攻击发生在当不可信的数据作为命令或者查询语句的一部分，被发送给解释器的时候。攻击者发送的恶意数据可以欺骗解释器，以执行计划外的命令或者在未被恰当授权时访问数据。
top2：失效的身份认证和会话管理:与身份认证和会话管理相关的应用程序功能往往得不到正确的实现，这就导致了攻击者破坏密码、密匙、会话令牌或攻击其他的漏洞去冒充其他用户的身份。
top3：跨站脚本（XSS）:当应用程序收到含有不可信的数据，在没有进行适当的验证和转义的情况下，就将它发送给一个网页浏览器，这就会产生跨站脚本攻击（简称XSS）。XSS允许攻击者在受害者的浏览器上执行脚本，从而劫持用户会话、危害网站、或者将用户转向至恶意网站。
相关资料：http://www.owasp.org.cn/owasp-project/download/mobile-top-10-2013-2
二：安装部署持续集成工具jenkins：
2.1：安装部分：
2.1.1：执行安装：
下载jdk-8u111-linux-x64.rpm
# rpm -ivh jdk-8u111-linux-x64.rpm # vim /etc/profile export JAVA_HOME=/usr/java/jdk1.8.0_111 export PATH=$JAVA_HOME/bin:$PATH
安装jenkins
方法①yum方式安装
# cd /etc/yum.repos.d/ # wget http://pkg.jenkins.io/redhat/jenkins.repo # rpm --import http://pkg.jenkins.io/redhat/jenkins.io.key # yum install -y jenkins # systemctl start jenkins
方法②通过war包的方式安装下载地址：http://updates.jenkins-ci.org/download/war/2.60.1/jenkins.war
unzip apache-tomcat-8.0.37.zip mv apache-tomcat-8.0.37 /usr/local/ cd /usr/local ln -s /usr/local/apache-tomcat-8.0.37 /usr/local/tomcat useradd jenkins # 将jenkins.war放到/usr/local/tomcat/webapps目录下，解压 unzip -d jenkins jenkins.war chown -R jenkins.jenkins /usr/local/apache-tomcat-8.0.37 bin/startup.sh
2.1.2：打开web界面：第一次打开要输入随机生成的密码：
http://192.168.3.199:8080/jenkins
查看密码
$ cat /home/jenkins/.jenkins/secrets/initialAdminPassword 8743f91ff1474a85a0abcd841fc74eb6
输入密码点下确认之后选择插件，选择默认安装插件即可，此过程需要一段时间，而且根据网络不同有些插件安装不成功，但是之后可以自己再安装即可
报错：
An error occurred
An error occurred during installation: No such plugin: cloudbees-folder
解决办法：
下载cloudbees-folder.hpi放在目录/usr/local/tomcat/webapps/jenkins/WEB-INF/detached-plugins/下，重启tomcat即可
设置用户名密码
3.1配置邮件通知，系统管理–系统设置
添加管理员邮箱,添加邮件
点击保存或测试邮件，系统会给目标邮箱发送一封测试邮件：
安装gitlab插件,系统管理–管理插件–可选插件
插件安装界面，会额外安装一些依赖关系的插件，jenkins基于ruby开发，所以会有ruby环境：
在gitlab管理界面将用户添加到一个项目，下一步要用此用户拉取项目代码
三：使用jenkins：
3.1：添加一个认证用户，拉取git代码的时候使用：
创建任务 --> 构建一个自由风格的软件项目
项目描述信息：
配置git项目地址，我们先进行其他配置，等会再继续配置git相关的选项
系统管理 --> Global Tool Configuration
配置deploy-key
如下配置,jenkins服务器上root用户生成密钥对
[root@node1 ~]# ssh-keygen -t rsa Generating public/private rsa key pair. Enter file in which to save the key (/root/.ssh/id_rsa): Enter passphrase (empty for no passphrase): Enter same passphrase again: Your identification has been saved in /root/.ssh/id_rsa. Your public key has been saved in /root/.ssh/id_rsa.pub. The key fingerprint is: bf:1e:4d:b3:0f:fb:8b:71:cd:ef:d3:70:69:a4:46:ff root@node1.chinasoft.com The key's randomart image is: +--[ RSA 2048]----+ | | | | | | | . . | | S + + .| | . o =.*.| | o * oo=| | o B .E| | .o o.+o+| +-----------------+ [root@node1 ~]# cat .ssh/id_rsa.pub ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQC3vhfbA4NdkP8g1WVyYkw93f1PZ04nWoyFnoerC9b40jIY5px+tkugdy/RZ3/bp4hMC5yNgV1S25Tm8RpzBJMp7pbJz8dO+LCKqUnXq9Eh0QhsZE0xlQN+J4awy9YIGiD2nFg7k/ZzeAtQRzNryrrPnKaWpXtg7tMGGTWBjeyLAVuqCOMU7euY94G26UmVfjDLIJkcJqB+8dwvodW3wpmUER32qVPKZLnSYSOCfoNed+P4Eujs5PBCLuzFvGyiDhY2Pwrk/4S11jWUa7TJItfoPXzeGc/ujaJi/o24dt8VXeFa/Rm4wywYLNW3TRjXy1mPpdVlob3701MMQ0bf3qPv root@node1.chinasoft.com
gitlab上配置web-demo项目设置private deploy key
把key复制进去，同时title起一个简单明了的名字
在jenkins服务器192.168.3.199上测试下是否能够正常获取代码
[root@node1 tmp]# git clone git@192.168.3.198:web/web-demo.git Cloning into 'web-demo'... The authenticity of host '192.168.3.198 (192.168.3.198)' can't be established. ECDSA key fingerprint is 9d:60:c3:8e:49:72:e8:9c:c0:d6:c8:d2:f1:b6:3a:74. Are you sure you want to continue connecting (yes/no)? yes Warning: Permanently added '192.168.3.198' (ECDSA) to the list of known hosts. remote: Counting objects: 79, done. remote: Compressing objects: 100% (79/79), done. remote: Total 79 (delta 17), reused 0 (delta 0) Receiving objects: 100% (79/79), 1.18 MiB | 0 bytes/s, done. Resolving deltas: 100% (17/17), done.
jenkins拉取代码没问题，继续配置jenkins的认证，这里应该输入私钥
复制jenkins拉取git代码服务器root的私钥
[root@node1 ~]# cat .ssh/id_rsa -----BEGIN RSA PRIVATE KEY----- MIIEpAIBAAKCAQEAt74X2wODXZD/INVlcmJMPd39T2dOJ1qMhZ6HqwvW+NIyGOac frZLoHcv0Wd/26eITAucjYFdUtuU5vEacwSTKe6Wyc/HTviwiqlJ16vRIdEIbGRN MZUDfieGsMvWCBog9pxYO5P2c3gLUEcza8q6z5ymlqV7YO7TBhk1gY3siwFbqgjj FO3rmPeBtulJlX4wyyCZHCagfvHcL6HVt8KZlBEd9qlTymS50mEjgn6DXnfj+BLo 7OTwQi7sxbxsog4WNj8K5P+EtdY1lGu0ySLX6D183hnP7o2iYv6NuHbfFV3hWv0Z uMMsGCzVt00Y18tZj6XVZaG9+9NTDENG396j7wIDAQABAoIBAEHMfCR9HJTsMMDk SmDs3JqnHWhK+UzUe0/6VmEla0VNmI0cQFyMEYcUR3Z41uulEgURf22ZLv9WDPuq yar4r26rtynsE1avbiEpwHzQVaMDhT2zqYUg9NA/fVdgl3PtT3KgyGQFd5MgIQUN ileGkOF6GpoGBqnOvJkJfAS5+0RHi8EZ8RcufNExgan5QF42dtKNWOEdgZIp0+WY jmI73YEpIadQzKxjL6PCOUmFAjfuNllw3It5QLePvYYlQeWKkl8QdROOADzOxgoj 6zCdzGo6ZqP4vK8gGioT7UybH1WJoN8of1ZBenKyT4+TagQYwqV0LXIpVBkHKgdD 5bxZIPkCgYEA4giWHweLYxmkZIXDx5VrOjIPmzTFqSfDMI9rDFQt57AbIr0hM4BW 6qmViWwuc9t28cLSXv+0FtycIfs4co8RvMinIMLykWddX8x3sniCr2+Pgn/G+RgQ FK36wN0dVZwwr/6oPeIDCJlr4AqhDAJLJkcbRjc5i8kR9OPHIvkPJjsCgYEA0Bou cmeOGYtrCW6t88xnmR26Sk8ybNWUdpju9SpEeCdz4jJnZC29AJ3qg8LilG0sDS/y 0cNT/iMP8x6FPeFqJnhI/l4C1H5WEqult/thMl1bZ+RFEO92EUcKEXZep0yu5Txr 6bHZzCnp9cYe56z9qsGk064LR2N9TR16xAzeud0CgYEArx0B2NZKeaNDBhHPxI8Q /IwOJSs0O0Gv6a4iu/F3gviffUFTOIgkTjbFwCqMrnuHYfOSccDeb5vIZlcvuyj2 D/DP8gS2UknnQDGzRhQxAuOGJg8CQrcOtka3brWfZVTVL3Q2OYMg4Iej2HXDoP8h 42zRR4u/THmhLL1O6NxVjUMCgYBslKyVbuja9T61HjXPVmDbqIIyEZ6a4NnlA6jy 7Mnq85LofCosQB00vDDH7SCyF0B75P/KaSNjH8JLtSoKfpoXVn2nkz/gxcZ9WWhP Ve+CCuoNjDJpQriVDT74m42Jt14uJ9eaiPy+JUR4w5YOhdmZhg5NkKs75XJUkUQk FR8FVQKBgQDOWXJYF3VEYdCD1qIy/CsY3s4ARD9kery+5aOCu6TNd6auYEfqxsev ie1jD+cvAgVR1aZ5aP3C8jEYhZa4xgn1+hxfRLWs79uMYnXXNGJ+FxKftDyhuV+m efEQrUf8jh4MofW9Ee6Z7YjitIRY7SQ+kZl2Xms+QZlJotBzTG2DSA== -----END RSA PRIVATE KEY-----
添加描述，点击OK
继续编辑配置
这样就不报错了，下面还可以指定从哪个分支拉取，默认从master拉取，有些公司使用release分支
源码浏览器，去gitlab上找到http的url：http://192.168.3.198/web/web-demo.git
找出gitlab的版本，输入url和版本，版本只支持2位，拉到最下面保存
[root@web01 ~]# rpm -qa|grep gitlab gitlab-ce-8.10.5-ce.0.el7.x86_64
点击立即构建，查看控制台，可以看到构建的详细输出
#######################################################################
持续集成之②:整合jenkins与代码质量管理平台Sonar并实现构建失败邮件通知
一：Sonar是什么？
Sonar 是一个用于代码质量管理的开放平台，通过插件机制，Sonar 可以集成不同的测试工具，代码分析工具，以及持续集成工具。与持续集成工具（例如 Hudson/Jenkins 等）不同，Sonar 并不是简单地把不同的代码检查工具结果（例如FindBugs，PMD等）直接显示在Web页面上，而是通过不同的插件对这些结果进行再加工处理，通过量化的方式度量代码质量的变化，从而可以方便地对不同规模和种类的工程进行代码质量管理。在对其他工具的支持方面，Sonar 不仅提供了对 IDE 的支持，可以在 Eclipse 和 IntelliJ IDEA 这些工具里联机查看结果；同时Sonar还对大量的持续集成工具提供了接口支持，可以很方便地在持续集成中使用 Sonar,此外，Sonar 的插件还可以对 Java 以外的其他编程语言提供支持，对国际化以及报告文档化也有良好的支持。
#官方网站：http://www.sonarqube.org/
Sonar部署
Sonar的相关下载和文档可以在下面的链接中找到：http://www.sonarqube.org/downloads/。需要注意最新版的Sonar需要至少JDK 1.8及以上版本
cd /usr/local/src cd /usr/local/src/ wget https://sonarsource.bintray.com/Distribution/sonarqube//sonarqube-5.6.6.zip unzip sonarqube-5.6.6.zip mv sonarqube-5.6.6 /usr/local/ ln -s /usr/local/sonarqube-5.6.6/ /usr/local/sonarqube
准备Sonar数据库(mysql版本要等于5.6或者5.6以上，否则sonar无法启动)
mysql> CREATE DATABASE sonar CHARACTER SET utf8 COLLATE utf8_general_ci; mysql> GRANT ALL ON sonar.* TO 'sonar'@'%' IDENTIFIED BY 'sonar@341Jpw'; mysql> FLUSH PRIVILEGES;
配置Sonar
# cd /usr/local/sonarqube/conf/
修改配置文件的数据库配置
# egrep '^[a-Z]' sonar.properties sonar.jdbc.username=sonar sonar.jdbc.password=sonar@pw sonar.jdbc.url=jdbc:mysql://localhost:3306/sonar?useUnicode=true&characterEncoding=utf8&rewriteBatchedStatements=true&useConfigs=maxPerformance
启动Sonar
你可以在Sonar的配置文件来配置Sonar Web监听的IP地址和端口，默认是9000端口。
# vim sonar.properties sonar.web.host=0.0.0.0 sonar.web.port=9000
# 启动有创建表和其他操作，速度会有点慢
[root@node1 conf]# /usr/local/sonarqube/bin/linux-x86-64/sonar.sh start Starting SonarQube... Started SonarQube. 报错： org.sonar.api.utils.MessageException: Unsupported mysql version: 5.5. Minimal supported version is 5.6. 2017.07.01 11:16:27 ERROR web[o.a.c.c.StandardContext] One or more listeners failed to start. Full details will be found in the appropriate container log file 2017.07.01 11:17:09 INFO web[o.a.c.u.SessionIdGeneratorBase] Creation of SecureRandom instance for session ID generation using [SHA1PRNG] took [41,747] milliseconds. 2017.07.01 11:17:09 ERROR web[o.a.c.c.StandardContext] Context [] startup failed due to previous errors 2017.07.01 11:17:09 WARN web[o.a.c.l.WebappClassLoaderBase] The web application [ROOT] appears to have started a thread named [Abandoned connection cleanup thread] but has failed to stop it. This is very likely to create a memory leak. Stack trace of thread: java.lang.Object.wait(Native Method) java.lang.ref.ReferenceQueue.remove(ReferenceQueue.java:143) com.mysql.jdbc.AbandonedConnectionCleanupThread.run(AbandonedConnectionCleanupThread.java:43) 2017.07.01 11:17:09 WARN web[o.a.c.l.WebappClassLoaderBase] The web application [ROOT] appears to have started a thread named [Timer-0] but has failed to stop it. This is very likely to create a memory leak. Stack trace of thread: java.lang.Object.wait(Native Method) java.util.TimerThread.mainLoop(Timer.java:552) java.util.TimerThread.run(Timer.java:505) 2017.07.01 11:17:09 INFO web[o.a.c.h.Http11NioProtocol] Starting ProtocolHandler ["http-nio-0.0.0.0-9000"] 2017.07.01 11:17:09 INFO web[o.s.s.a.TomcatAccessLog] Web server is started 2017.07.01 11:17:09 INFO web[o.s.s.a.EmbeddedTomcat] HTTP connector enabled on port 9000 2017.07.01 11:17:09 WARN web[o.s.p.ProcessEntryPoint] Fail to start web java.lang.IllegalStateException: Webapp did not start at org.sonar.server.app.EmbeddedTomcat.isUp(EmbeddedTomcat.java:84) ~[sonar-server-5.6.6.jar:na] at org.sonar.server.app.WebServer.isUp(WebServer.java:47) [sonar-server-5.6.6.jar:na] at org.sonar.process.ProcessEntryPoint.launch(ProcessEntryPoint.java:105) ~[sonar-process-5.6.6.jar:na] at org.sonar.server.app.WebServer.main(WebServer.java:68) [sonar-server-5.6.6.jar:na] 2017.07.01 11:17:09 INFO web[o.a.c.h.Http11NioProtocol] Pausing ProtocolHandler ["http-nio-0.0.0.0-9000"] 2017.07.01 11:17:16 INFO web[o.a.c.h.Http11NioProtocol] Stopping ProtocolHandler ["http-nio-0.0.0.0-9000"] 2017.07.01 11:17:30 INFO web[o.a.c.h.Http11NioProtocol] Destroying ProtocolHandler ["http-nio-0.0.0.0-9000"]
解决办法：
升级mysql版本到5.6或者5.6以上
登陆：http://192.168.3.199:9000/
账号密码默认都是admin
#到此sonar就安装完成了，下一步将进入配置使用阶段。
二：配置并使用sonar
2.1：安装插件部分：
2.1.1：默认的插件目录：
# ll /usr/local/sonarqube-5.6.6/extensions/plugins/
#如果在线安装插件不成功，可以把插件下载后放在此目录在重启sonar服务也可以实现安装插件，jenkins也可以通过此方式安装，另外jenkins还支持上传插件
2.1.2：安装插件：
administration-system-update center-available，在后面的搜索框搜索插件名称，然后点install安装：
或在插件目录/usr/local/sonarqube/extensions/plugins执行
wget https://github.com/SonarQubeCommunity/sonar-l10n-zh/releases/download/sonar-l10n-zh-plugin-1.11/sonar-l10n-zh-plugin-1.11.jar(中文插件：)然后重启服务：
# /usr/local/sonarqube/bin/linux-x86-64/sonar.sh restart
Sonar插件安装包下载地址：
https://sonarsource.bintray.com/Distribution/
主要的是sonar对代码的分析是通过插件完成的，即分析java代码要安装java插件，分析php代码要安装php插件，分析什么语言就安装什么语言的插件
本次我们安装了php、python、java语法检测插件
root@node1 plugins]# pwd
/usr/local/sonarqube/extensions/plugins [root@node1 plugins]# ll total 12312 -rw-r--r-- 1 root root 128 Feb 16 18:19 README.txt -rw-r--r-- 1 root root 4840602 Jul 4 17:05 sonar-java-plugin-4.11.0.10660.jar -rw-r--r-- 1 root root 3733262 Jul 4 17:05 sonar-php-plugin-2.10.0.2087.jar -rw-r--r-- 1 root root 4024311 Jul 4 17:05 sonar-python-plugin-1.8.0.1496.jar
2.1.3:代码检测测试,把sonar-scanner和sonarqube关联起来
sonar-scanner下载地址：https://sonarsource.bintray.com/Distribution/sonar-scanner-cli/
cd /usr/local/src wget https://sonarsource.bintray.com/Distribution/sonar-scanner-cli/sonar-scanner-cli-3.0.3.778-linux.zip unzip sonar-scanner-2.6.1.zip mv sonar-scanner-2.6.1 /usr/local/ cd /usr/local/ ln -s sonar-scanner-2.6.1 sonar-scanner
配置sonar-scanner:
[root@node1 conf]# vim /usr/local/sonar-scanner/conf/sonar-scanner.properties sonar.host.url=http://localhost:9000 sonar.sourceEncoding=UTF-8 sonar.jdbc.username=sonar sonar.jdbc.password=sonar@341Jpw sonar.jdbc.url=jdbc:mysql://192.168.3.12:3306/sonar?useUnicode=true&characterEncoding=utf8
检测PHP项目，需要在sonar中先安装SonarPHP插件，github搜索php-sonar-runner项目，对这个项目进行检测
https://github.com/hasanyousuf/php-sonar-runner-unit-tests
unzip php-sonar-runner-unit-tests-master.zip cd php-sonar-runner-unit-tests-master [root@node1 php-sonar-runner-unit-tests-master]# pwd /root/php-sonar-runner-unit-tests-master
# 直接在php目录运行sonar-scanner,用于实现代码质量分析
[root@node1 php-sonar-runner-unit-tests-master]# /usr/local/sonar-scanner/bin/sonar-scanner
在sonar管理界面查看扫描结果：
dashboard --> home 点项目名称可以查看更具体的信息
2.1.4：代码规则：
2.4：如何让jenkins关联到sonar scanner？
有两种方式保存配置文件，一是保存在项目里面，二是在jenkins管理界面进行配置：
2.4.1：在jenkins插件安装界面安装SonarQuebe Scanner for Jenkins插件：
2.4.2将jenkins关联sonar：
jenkins中操作：系统管理-系统设置，找到 SonarQube servers 部分
添加sonar访问地址，然后点保存
2.4.3添加扫描器：
2.4.3.1：#系统管理–global-tool-ocnfigration --> 添加本地sonar scanner，然后点保存
2.5：配置jenkins项目构建操作：
2.5.1:复制之前sonar scanner的代码检测配置文件内容，如：
# cat /root/php-sonar-runner-unit-tests-master/sonar-project.properties sonar.projectKey=org.sonarqube:php-ut-sq-scanner sonar.projectName=PHP :: PHPUnit :: SonarQube Scanner sonar.projectVersion=1.0 sonar.sources=src sonar.tests=tests sonar.language=php sonar.sourceEncoding=UTF-8
2.5.1：选择自己的项目（web-demo）-构建触发器-构建-execute sonarqube scanner，将配置文件的内容修改成如下格式填写完成后点保存：
sonar.projectKey=web-demo sonar.projectName=web-demo sonar.projectVersion=1.0 sonar.sources=./ sonar.language=php sonar.sourceEncoding=UTF-8
可以看到，右边多了个快捷方式
2.6：测试jenkins项目构建：
2.6.1：在jenkins选择自己的项目点击立即构建，以下是构建成功的界面：
2.6.2：在sonar查看是否有代码扫质量分析结果：
2.7：添加构建后操作
2.7.1:添加邮件通知，当构建失败后向指定的邮箱通知失败信息：
#发件箱设置：
2.7.2：将github服务关闭，然后构建项目，由于git服务无法访问所以肯定会导致项目构建失败触发邮件通知：
2.7.2.1：关闭git服务：
# gitlab-ctl stop
2.7.2.2:构建项目，以下是构建失败的控制台输出信息：
2.7.2.3：以下是失败的邮件通知：
###########################################################################
持续集成之③:将代码自动部署至测试环境
一：本文在上一篇文章的基础之上继续进行操作，上一篇实现了从git获取代码并进行代码测试，本文将在上一篇的基础之上实现将代码部署至测试环境。
1.1：新建一个项目叫web-demo-deploy用于代码发布，上一个项目web-demo可用于代码测试，当测试阶段出现问题的时候也不会立即进行发布，只有当测试通过之后才执行发布的项目即可：
1.2：如何将代码发布到web服务器：
1.2.1：可以通过执行命令或脚本的方式进行代码发布，在各web服务器创建一个www用户，用于启动web服务并进行代码发布：
# useradd www # echo "123456" | passwd --stdin www # su - www $ ssh-keygen -t rsa Generating public/private rsa key pair. Enter file in which to save the key (/home/www/.ssh/id_rsa): Created directory '/home/www/.ssh'. Enter passphrase (empty for no passphrase): Enter same passphrase again: Your identification has been saved in /home/www/.ssh/id_rsa. Your public key has been saved in /home/www/.ssh/id_rsa.pub. The key fingerprint is: bc:51:20:7d:cc:bb:de:e8:e4:11:d3:f7:1b:ec:0c:0d www@node1.chinasoft.com The key's randomart image is: +--[ RSA 2048]----+ | ...o | | ...+ | | ... | | . ... | | S o..E. | | o.o .+. | | ..oo . +.| | oo.. + o| | .o + | +-----------------+ [www@node1 ~]$ cat .ssh/id_rsa.pub ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQDIvExDg2tXu3+XZVdjxuur/orC0C9G1vGFKd5c67mOkiJE+OI1eyDl4yoqsabJbp7aHJEDomfO7MjoJSQEQdhebgpCvG7/ron5IoF7Ql3RllhObDHmRmjhSuHbZqJCpM2qqIejkdwM4qpnkFcJUxOZLgdKfiVfNIaAjkY3BUbyKrt64GZ4pykoZXqTLX7fDHAOqzUJqy3IuCLhk0judRdlUWayWnrXOrBGXfuKiBuXiFIxhKbDvDr93ZldqcGXXCmscTLIlQ+yFAEeb11K+/z0uEQU6l9sKD4i8v5503KiFSVWSSfL40ZBFWcP20nK3prRH5CFD2piWbLPQBYVhzpL www@node1.chinasoft.com
1.2.2：在git服务器将www用户的公钥添加至部署key，将root的公钥添加至ssh key，以让www用户有获取代码权限，让root用户有提交代码的权限：
ssh keys和deploy keys区别：
github账户的SSH keys，相当于这个账号的最高级key，只要是这个账号有的权限（任何项目），都能进行操作。
仓库的Deploy keys，顾名思义就是这个仓库的专有key，用这个key，只能操作这个项目，其他项目都没有权限。
说白了就相当于你有一所大别墅，SSH key能开别墅中的任何一个房间。而Deploy key只能开进别墅中的一个单间。
1.2.4：确认www用户有拉取代码权限：
1.3：关于shell脚本执行权限：
#稍后会通过jenkins执行一个脚本，从而完成代码的发布，但是默认执行的用户是jenkins，需要赋予jenkins一定的权限，另外发布的脚本可能在本机也可能不在本机，本次设想不在本机保存脚本，则设置如下：
1.3.1：解决脚本运行问题：
#将脚本放在www用户家目录/home/www，git代码也放在家目录，因此需要jenkins服务器远程到代码发布服务器执行远程命令，需要做免登陆认证，将jenkins服务器root和www用户的公钥放在代码部署服务器的www用户家目录.ssh/authorized_keys文件中，使jenkins服务器能够不输入密码就可以调用部署服务器的脚本：
jenkins服务器：192.168.3.199
deploy部署服务器：192.168.3.12
$ chmod 600 authorized_keys $ cat authorized_keys [www@192.168.3.12 ~]$ cat .ssh/authorized_keys ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQDIvExDg2tXu3+XZVdjxuur/orC0C9G1vGFKd5c67mOkiJE+OI1eyDl4yoqsabJbp7aHJEDomfO7MjoJSQEQdhebgpCvG7/ron5IoF7Ql3RllhObDHmRmjhSuHbZqJCpM2qqIejkdwM4qpnkFcJUxOZLgdKfiVfNIaAjkY3BUbyKrt64GZ4pykoZXqTLX7fDHAOqzUJqy3IuCLhk0judRdlUWayWnrXOrBGXfuKiBuXiFIxhKbDvDr93ZldqcGXXCmscTLIlQ+yFAEeb11K+/z0uEQU6l9sKD4i8v5503KiFSVWSSfL40ZBFWcP20nK3prRH5CFD2piWbLPQBYVhzpL www@node1.chinasoft.com ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQCsYf1pLYFBUhThXz5pqPMl9TVJxzKEkB/6vImEcDnBqDhrWZe+OqIWp+GTbkHNcXDejD1pBvvQScPIuxlz/r7OEBRTpTjmZOAaLCRMljhx2iMsgTdyjSqZFXMAXRI+F/ZPKKypDW2ZLMLjyqB6ZHK+9/SIMVGwzw/Ey3kqAQovI7UQMoL/59xjah+9zNGboTpZI613LX5vrgCghWUS5NHxU/DNUWjaxFuYJqr7ELKVrG/vZJcbtwmGpRDcCq03Kl2Mz0lHhkGZVDHWqhIPcyRjKrDh0/WqaTlPuIYZ3bZu33aQSxXV5GMGv6VqfIkYVU0uFewL4znPKFPa1z4mAJpR root@node1.chinasoft.com
1.3.2：确认可以免密码远程登陆：
使用root和www用户测试一下是否可以免秘钥登陆，以便让部署服务器将用户的key添加到know_keys，否则报错Host key verification failed
ssh www@192.168.3.12 ssh www@192.168.3.13
1.3.3：解决jenkins没有权限的问题，在jenkins服务器192.168.3.199上操作：
# vim /etc/sudoers #Defaults requiretty #注释掉，不需要tty jenkins ALL=(ALL) NOPASSWD: /usr/bin/ssh
1.3.3：配置jenkins项目执行shell脚本：
1.3.3.1:脚本内容(需要放在部署服务器192.168.3.12的/home/www目录下):
www@192.168.3.12 $ vim dep.sh #!/bin/bash cd /home/www/web-demo_deploy/ #进入到本地代码库 git pull #从git服务器更新代码 scp -r ./* www@192.168.3.12:/webroot/web_www #将代码部署至web服务器 scp -r ./* www@192.168.3.13:/webroot/web_www www@192.168.3.12 $ chmod +x dep.sh
1.3.3.2:在jenkins调用脚本:
#在项目的构建步骤调用，项目-配置-构建-增加构建步骤-Execute shell
访问web页面测试：
在git仓库创建代码并更新至git服务器：
[www@master web-demo_deploy]$ vim index.html # 添加www.chinasoft.com [www@master web-demo_deploy]$ git add index.html [www@master web-demo_deploy]$ git commit -m 'edit index.html add www.chinasoft.com' [master 51f8f11] edit index.html add www.chinasoft.com 1 file changed, 1 insertion(+), 1 deletion(-) [www@master web-demo_deploy]$ git push origin master Counting objects: 5, done. Compressing objects: 100% (3/3), done. Writing objects: 100% (3/3), 313 bytes | 0 bytes/s, done. Total 3 (delta 2), reused 0 (delta 0) To git@192.168.3.198:web/web-demo_deploy.git ac41e81..51f8f11 master -> master
再次在jenkins执行项目构建
可以看到刚刚更新的代码获取成功
1.4：让代码测试项目管理代码发布项目，当代码测试的项目执行成功之后自动调用代码发布的项目完成代码部署：
1.4.1：安装插件，jenkins的插件默认安装路径
# ll /var/lib/jenkins/plugins/
tomcat版本的安装路径：
/usr/local/tomcat/webapps/jenkins/WEB-INF/detached-plugins/
如果插件在线安装不成功可以下载插件到此目录然后把属主属组改成jenkins再重启jenkins服务即可完成安装：
#系统管理-管理插件-可选插件，搜索Parameterized：
1.4.2：配置项目demo的构建后操作，demo构建完成后自动构建demp-deploy项目：
#jenkins-->web-demo-->配置-->构建后操作：
1.4.3：配置如下：
1.5：测试，执行代码测试项目成功之后是否会自动执行代码部署项目：
控制台输出
Started by user admin Building in workspace /home/jenkins/.jenkins/workspace/web-demo > git rev-parse --is-inside-work-tree # timeout=10 Fetching changes from the remote Git repository > git config remote.origin.url git@192.168.3.198:web/web-demo.git # timeout=10 Fetching upstream changes from git@192.168.3.198:web/web-demo.git > git --version # timeout=10 using GIT_SSH to set credentials gitlab_web-demo > git fetch --tags --progress git@192.168.3.198:web/web-demo.git +refs/heads/*:refs/remotes/origin/* > git rev-parse refs/remotes/origin/master^{commit} # timeout=10 > git rev-parse refs/remotes/origin/origin/master^{commit} # timeout=10 Checking out Revision b8f3be4385efdf64606158c23f9f1992bb2da1d3 (refs/remotes/origin/master) Commit message: "add www.chinasoft.com" > git config core.sparsecheckout # timeout=10 > git checkout -f b8f3be4385efdf64606158c23f9f1992bb2da1d3 > git rev-list b8f3be4385efdf64606158c23f9f1992bb2da1d3 # timeout=10 [web-demo] $ /usr/local/sonar-scanner/bin/sonar-scanner -e -Dsonar.host.url=http://192.168.3.199:9000/ -Dsonar.language=php -Dsonar.projectName=web-demo -Dsonar.projectVersion=1.0 -Dsonar.sourceEncoding=UTF-8 -Dsonar.projectKey=web-demo -Dsonar.sources=./ -Dsonar.projectBaseDir=/home/jenkins/.jenkins/workspace/web-demo INFO: Scanner configuration file: /usr/local/sonar-scanner/conf/sonar-scanner.properties INFO: Project root configuration file: NONE INFO: SonarQube Scanner 2.6.1 INFO: Java 1.8.0_111 Oracle Corporation (64-bit) INFO: Linux 3.10.0-514.el7.x86_64 amd64 INFO: Error stacktraces are turned on. INFO: User cache: /home/jenkins/.sonar/cache INFO: Load global repositories INFO: Load global repositories (done) | time=172ms WARN: Property 'sonar.jdbc.url' is not supported any more. It will be ignored. There is no longer any DB connection to the SQ database. WARN: Property 'sonar.jdbc.username' is not supported any more. It will be ignored. There is no longer any DB connection to the SQ database. WARN: Property 'sonar.jdbc.password' is not supported any more. It will be ignored. There is no longer any DB connection to the SQ database. INFO: User cache: /home/jenkins/.sonar/cache INFO: Load plugins index INFO: Load plugins index (done) | time=3ms INFO: SonarQube server 5.6.6 INFO: Default locale: "en_US", source code encoding: "UTF-8" INFO: Process project properties INFO: Load project repositories INFO: Load project repositories (done) | time=97ms INFO: Load quality profiles INFO: Load quality profiles (done) | time=34ms INFO: Load active rules INFO: Load active rules (done) | time=380ms WARN: SCM provider autodetection failed. No SCM provider claims to support this project. Please use sonar.scm.provider to define SCM of your project. INFO: Publish mode INFO: ------------- Scan web-demo INFO: Language is forced to php INFO: Load server rules INFO: Load server rules (done) | time=71ms INFO: Base dir: /home/jenkins/.jenkins/workspace/web-demo INFO: Working dir: /home/jenkins/.jenkins/workspace/web-demo/.sonar INFO: Source paths: . INFO: Source encoding: UTF-8, default locale: en_US INFO: Index files INFO: 0 files indexed INFO: Quality profile for php: Sonar way INFO: Sensor Lines Sensor INFO: Sensor Lines Sensor (done) | time=0ms INFO: Sensor SCM Sensor INFO: No SCM system was detected. You can use the 'sonar.scm.provider' property to explicitly specify it. INFO: Sensor SCM Sensor (done) | time=0ms INFO: Sensor Analyzer for "php.ini" files INFO: Sensor Analyzer for "php.ini" files (done) | time=3ms INFO: Sensor SonarJavaXmlFileSensor INFO: Sensor SonarJavaXmlFileSensor (done) | time=0ms INFO: Sensor Zero Coverage Sensor INFO: Sensor Zero Coverage Sensor (done) | time=0ms INFO: Sensor Code Colorizer Sensor INFO: Sensor Code Colorizer Sensor (done) | time=0ms INFO: Sensor CPD Block Indexer INFO: DefaultCpdBlockIndexer is used for php INFO: Sensor CPD Block Indexer (done) | time=0ms INFO: Calculating CPD for 0 files INFO: CPD calculation finished INFO: Analysis report generated in 47ms, dir size=8 KB INFO: Analysis reports compressed in 7ms, zip size=3 KB INFO: Analysis report uploaded in 47ms INFO: ANALYSIS SUCCESSFUL, you can browse http://192.168.3.199:9000/dashboard/index/web-demo INFO: Note that you will be able to access the updated dashboard once the server has processed the submitted analysis report INFO: More about the report processing at http://192.168.3.199:9000/api/ce/task?id=AV0YJcbrykzBCcoFv4Mt INFO: ------------------------------------------------------------------------ INFO: EXECUTION SUCCESS INFO: ------------------------------------------------------------------------ INFO: Total time: 43.045s INFO: Final Memory: 42M/137M INFO: ------------------------------------------------------------------------ Warning: you have no plugins providing access control for builds, so falling back to legacy behavior of permitting any downstream builds to be triggered Triggering a new build of web-demo_deploy Finished: SUCCESS
1.6：pipeline插件：
1.6.1：#安装插件，系统管理-管理插件-可安装插件：
1.6.2：创建视图：
1.6.3:自定义名称：
1.6.4:配置pipeline信息,点击OK之后，弹出如下视图
点击保存之后显示的最终界面：
########################################################################
持续集成之④:GitLab触发jenkins构建项目
一：目的为在公司的测试环境当中一旦开发向gitlab仓库提交成功代码，gitlab通知jenkins进行构建项目、代码质量测试然后部署至测试环境，注意这只是测试环境，而生产环境依然需要手动部署代码：
1.1：jenkins配置：
1.1.1:安装Gitlab Hook Plugin插件：
#系统管理-管理插件-可选插件-Gitlab Hook Plugin和Build Authorization Token Root Plugin
1.1.2：生成随机token：
# openssl rand -hex 12 0f2a47c861133916d2e299e3
1.1.3:创建项目触发器：
#项目-配置-构建触发器：
http://192.168.3.199:8080/jenkins/project/web-demo
1.2：配置github：
1.2.1：在git项目配置界面设置链接和token：
登录gitlab,在这个项目下找到钩子配置的地方
#选择项目-设置-webhooks：
#插件使用介绍，https://wiki.jenkins-ci.org/display/JENKINS/Build+Token+Root+Plugin
http://192.168.3.199:8080/jenkins/buildByToken/build?job=web-demo&token=0f2a47c861133916d2e299e3
http://jenkins服务器地址:8080/buildByToken/build?job=项目名&token=token值
1.2.2：测试：
报错：
hook executed successfully but returned http 404
本次是因为没有在项目后面加上jenkins这个路径
1.2.2：测试，看到显示201表示成功
1.3：向git服务器提交代码，验证是否可以自动部署：
1.3.1：提交代码：
[www@master code]$ git clone git@192.168.3.198:web/web-demo.git [www@master web-demo]$ echo "Build token root plugin" > index.html [www@master web-demo]$ git add 'index.html' [www@master web-demo]$ git commit -m 'build token root plugin test' [master beb37cb] build token root plugin test 1 file changed, 1 insertion(+), 1 deletion(-) [www@master web-demo]$ git push origin master Counting objects: 5, done. Compressing objects: 100% (2/2), done. Writing objects: 100% (3/3), 281 bytes | 0 bytes/s, done. Total 3 (delta 1), reused 0 (delta 0) To git@192.168.3.198:web/web-demo.git c02523b..beb37cb master -> master
1.3.2：jenkins服务器的日志记录：
[root@node1 tomcat]# tail -f /usr/local/tomcat/logs/catalina.out
1.3.3：jenkins项目构建：
1.3.4：访问web界面验证代码是否最新的：
1.3.5：jenkins控制台输出信息：
########################################################################
持续集成之⑤:jenkins结合脚本实现代码自动化部署及一键回滚至上一版本
一：本文通过jenkins调用shell脚本的的方式完成从Git服务器获取代码、打包、部署到web服务器、将web服务器从负载均衡器删除、解压、复制配置文件、创建软连接、测试每一台web服务器、将web服务器添加至负载均衡、回滚到任意指定版本、一键回滚到上一版本等功能，脚本放在www用户家目录并使用www用户身份执行，每个web服务器也都使用www用户运行web服务，且UID相同web目录和权限都一致，更严格的标准化可以带来更安全的生产环境和更高的效率：
1.1：在jenkins项目配置中调用shell脚本与环境准备：
1.1.1：#jenkins-项目-配置：
1.1.2：www用户家目录中的脚本内容：
$ cat code_deploy.sh #!/bin/bash #Dir List 部署节点(即部署节点需要做的操作) # mkdir -p /deploy/code/web-demo # mkdir -p /deploy/config/web-demo/base # mkdir -p /deploy/config/web-demo/other # mkdir /deploy/tmp # mkdir /deploy/tar # chown -R www.www /deploy # chown -R www.www /webroot # chown -R www.www /opt/webroot/ # chown -R www.www /webroot # 需要在客户端节点做的操作 # mkdir /opt/webroot # mkdir /webroot # chown -R www.www /webroot # chown -R www.www /opt/webroot/ # chown -R www.www /webroot # [www@ ~]$ touch /webroot/web-dem # Node List 服务器节点 PRE_LIST="192.168.3.12" # 预生产节点 GROUP1_LIST="192.168.3.12 192.168.3.13" GROUP2_LIST="192.168.3.13" ROLLBACK_LIST="192.168.3.12 192.168.3.13" # 日志日期和时间变量 LOG_DATE='date "+%Y-%m-%d"' # 如果执行的话后面执行的时间，此时间是不固定的，这是记录日志使用的时间 LOG_TIME='date "+%H-%M-%S"' # 代码打包时间变量 CDATE=$(date "+%Y-%m-%d") # 脚本一旦执行就会取一个固定时间赋值给变量，此时间是固定的 CTIME=$(date +"%H-%M-%S") # shell env 脚本位置等变量 SHELL_NAME="deploy.sh" # 脚本名称 SHELL_DIR="/home/www/" # 脚本路径 SHELL_LOG="${SHELL_DIR}/${SHELL_NAME}.log" # 脚本执行日志文件路径 # code env 代码变量 PRO_NAME="web-demo" # 项目名称的函数 CODE_DIR="/deploy/code/web-demo" # 从版本管理系统更新的代码目录 CONFIG_DIR="/deploy/config/web-demo" # 保存不同项目的配置文件，一个目录里面就是一个项目的一个配置文件或多个配置文件 TMP_DIR="/deploy/tmp" # 临时目录 TAR_DIR="/deploy/tar" # 打包目录 LOCK_FILE="/tmp/deploy.lock" # 锁文件路径 usage(){ # 使用帮助函数 echo $"Usage: $0 [ deploy | rollback [ list | emergency | version ]" } writelog(){ # 写入日志的函数 LOGINFO=$1 # 将参数作为日志输入 echo "${CDATE} ${CTIME} : ${SEHLL_NAME} : ${LOGINFO}" >> ${SHELL_LOG} } # 锁函数 shell_lock(){ touch ${LOCK_FILE} } # 解锁函数 shell_unlock(){ rm -f ${LOCK_FILE} } # 获取代码的函数 code_get(){ echo "code_get" writelog code_get cd $CODE_DIR && git pull # 进入到代码目录更新代码，此处必须免密码更新，此目录仅用于代码更新不能放其他任何文件 cp -rf ${CODE_DIR} ${TMP_DIR}/ # 临时保存代码并重命名，包名为时间+版本号，准备复制到web服务器 API_VERL=$(git show | grep commit | cut -d ' ' -f2) API_VER=$(echo ${API_VERL:0:8}) # 版本号 } code_build(){ # 代码编译函数 echo code_build } code_config(){ # 配置文件函数 writelog "code_config" /bin/cp -rf ${CONFIG_DIR}/base/* ${TMP_DIR}/"${PRO_NAME}" # 将配置文件放在本机保存配置文件的临时目录，用于暂时保存代码项目 PKG_NAME="${PRO_NAME}"_"$API_VER"_"${CDATE}-${CTIME}" # 定义代码目录名称 cd ${TMP_DIR} && mv ${PRO_NAME} ${PKG_NAME} # 重命名代码文件为web-demo_123-20170629-11-19-10格式 } code_tar(){ # 对代码打包函数 writelog code_tar cd ${TMP_DIR} && tar czf ${PKG_NAME}.tar.gz ${PKG_NAME} --exclude=".git" # 将目录打包成压缩文件，便于网络传输 writelog "${PKG_NAME}.tar.gz packaged success" # 记录打包成功的日志 } code_scp(){ # 代码压缩包scp到客户端的函数 writelog "code_scp" for node in $PRE_LIST;do # 循环服务器节点列表 scp ${TMP_DIR}/${PKG_NAME}.tar.gz $node:/opt/webroot/ # 将压缩后的代码包复制到web服务器的/opt/webroot done for node in $GROUP1_LIST;do # 循环服务器节点列表 scp ${TMP_DIR}/${PKG_NAME}.tar.gz $node:/opt/webroot/ # 将压缩后的代码包复制到web服务器的/opt/webroot done } cluster_node_add(){ #将web服务器添加至前端负载 echo cluster_node_add } cluster_node_remove(){ # 将web服务器从集群移除函数(正在部署的时候应该不处理业务) writelog "cluster_node_remove" } url_test(){ URL=$1 curl -s --head $URL |grep '200 OK' if [ $? -ne 0 ];then shell_unlock; writelog "test error" && exit; fi } pre_deploy(){ # 代码解压部署函数,预生产节点 writelog "pre_deploy" for node in ${PRE_LIST};do # 循环预生产服务器节点列表 cluster_node_remove ${node} # 部署之前将节点从前端负载删除 echo "pre_deploy, cluster_node_remove ${node}" ssh ${node} "cd /opt/webroot && tar zxf ${PKG_NAME}.tar.gz" #分别到web服务器执行压缩包解压命令 ssh ${node} "rm -f /webroot/web-demo && ln -s /opt/webroot/${PKG_NAME} /webroot/web-demo" # 整个自动化的核心，创建软连接 done } pre_test(){ # 预生产主机测试函数 for node in ${PRE_LIST};do # 循环预生产主机列表 curl -s --head http://${node}:9999/index.html | grep "200 OK" # 测试web界面访问 if [ $? -eq 0 ];then # 如果访问成功 writelog " ${node} Web Test OK!" # 记录日志 echo " ${node} Web Test OK!" cluster_node_add ${node} # 测试成功之后调用添加函数把服务器添加至节点, writelog "pre,${node} add to cluster OK!" # 记录添加服务器到集群的日志 else # 如果访问失败 writelog "${node} test no OK" # 记录日志 echo "${node} test not OK" shell_unlock # 调用删除锁文件函数 break # 结束部署 fi done } group1_deploy(){ # 代码解压部署函数 writelog "group1_code_deploy" for node in ${GROUP1_LIST};do # 循环生产服务器节点列表 cluster_node_remove $node echo "group1, cluster_node_remove $node" ssh ${node} "cd /opt/webroot && tar zxf ${PKG_NAME}.tar.gz" # 分别到各web服务器节点执行压缩包解压命令 ssh ${node} "rm -f /webroot/web-demo && ln -s /opt/webroot/${PKG_NAME} /webroot/web-demo" # 整个自动化的核心，创建软连接 done scp ${CONFIG_DIR}/other/192.168.3.13.server.xml 192.168.3.13:/webroot/web-demo/server.xml # 将差异项目的配置文件scp到此web服务器并以项目结尾 } group1_test(){ # 生产主机测试函数 for node in ${PRE_LIST};do # 循环生产主机列表 curl -s --head http://${node}:9999/index.html | grep "200 OK" #测试web界面访问 if [ $? -eq 0 ];then #如果访问成功 writelog " ${node} Web Test OK!" #记录日志 echo "group1_test,${node} Web Test OK!" cluster_node_add writelog " ${node} add to cluster OK!" #记录将服务器 添加至集群的日志 else #如果访问失败 writelog "${node} test no OK" #记录日志 echo "${node} test no OK" shell_unlock # 调用删除锁文件函数 break # 结束部署 fi done } emergency_code_get(){ #获取代码的函数 writelog "code_get" cd ${CODE_DIR} && git reset --hard HEAD^ #进入到代码目录更新代码，此处必须免密码更新，此目录仅用于代码更新不能放其他任何文件 /bin/cp -rf ${CODE_DIR} ${TMP_DIR}/ #临时保存代码并重命名，包名为时间+版本号，准备复制到web服务器 API_VERL=$(git show | grep commit | cut -d ' ' -f2) API_VER=$(echo ${API_VERL:0:8}) #取八位 } emergency(){ #紧急回退到上一个版本函数 emergency_code_get #执行将代码回退到上一个版本函数 code_build; #如果要编译执行编译函数 code_config; #cp配置文件 code_tar; #打包 code_scp; #scp到服务器 cluster_node_remove; pre_deploy; #预生产环境部署 pre_test; #预生产环境测试 group1_deploy; #生产环境部署 group1_test; #生产环境测试 code_config; #cp差异文件 #code_test; #代码测试 shell_unlock #执行完成后删除锁文件 } rollback_fun(){ for node in $ROLLBACK_LIST;do # 循环服务器节点列表 # 注意一定要加"号，否则无法在远程执行命令 ssh $node "rm -f /webroot/web-demo && ln -s /opt/webroot/$1 /webroot/web-demo" # 立即回滚到指定的版本，$1即指定的版本参数 echo "${node} rollback success!" done } rollback(){ # 代码回滚主函数 if [ -z $1 ];then shell_unlock # 删除锁文件 echo "Please input rollback version" && exit 3; fi case $1 in # 把第二个参数做当自己的第一个参数 list) ls -l /opt/webroot/*.tar.gz ;; *) rollback_fun $1 esac } main(){ if [ -f $LOCK_FILE ] ;then # 先判断锁文件在不在,如果有锁文件直接退出 echo "Deploy is running" && exit 10 fi DEPLOY_METHOD=$1 # 避免出错误将脚本的第一个参数作为变量 ROLLBACK_VER=$2 case $DEPLOY_METHOD in deploy) # 如果第一个参数是deploy就执行以下操作 shell_lock; # 执行部署之前创建锁。如果同时有其他人执行则提示锁文件存在 code_get; # 获取代码 code_build; # 如果要编译执行编译函数 code_config; # cp配置文件 code_tar; # 打包 code_scp; # scp到服务器 pre_deploy; # 预生产环境部署 pre_test; # 预生产环境测试 group1_deploy; # 生产环境部署 group1_test; # 生产环境测试 shell_unlock; # 执行完成后删除锁文件 ;; rollback) # 如果第一个参数是rollback就执行以下操作 shell_lock; # 回滚之前也是先创建锁文件 rollback $ROLLBACK_VER; shell_unlock; # 执行完成删除锁文件 ;; emergency) emergency; #紧急回退就不需要参数了，但是在执行的时候要确认一下是否要紧急回退，避免输入错误 ;; *) usage; esac } main $1 $2
1.1.4：修改当前web页面：
[www@master ~]$ cd web-demo [www@master web-demo]$ echo "<h1>jenkins deploy test" > index.html [www@master web-demo]$ git add index.html [www@master web-demo]$ git commit -m "jenkins deploy test" [master 9a43cf5] jenkins deploy test 1 file changed, 1 insertion(+), 1 deletion(-) [www@master web-demo]$ git push -u origin master Counting objects: 5, done. Compressing objects: 100% (2/2), done. Writing objects: 100% (3/3), 276 bytes | 0 bytes/s, done. Total 3 (delta 1), reused 0 (delta 0) To git@192.168.3.198:web/web-demo.git beb37cb..9a43cf5 master -> master Branch master set up to track remote branch master from origin.
1.4：回滚到任意版本：
1.4.1:在哪看回滚到的版本?:
$ ll /deploy/tmp/ #部署服务器，web服务器在nginx定义的目录查看版本
1.4.3：在jenkins执行回滚：
[root@slave01 ~]# ll /opt/webroot/ total 20672 drwxr-xr-x 5 www www 4096 Jun 26 11:36 web-demo_123_2017-06-26-11-36-44 -rw-rw-r-- 1 www www 1243347 Jun 28 22:03 web-demo_123_2017-06-26-11-36-44.tar.gz drwxr-xr-x 5 www www 4096 Jun 26 11:39 web-demo_123_2017-06-26-11-39-02 -rw-rw-r-- 1 www www 1243347 Jun 28 22:06 web-demo_123_2017-06-26-11-39-02.tar.gz drwxr-xr-x 5 www www 4096 Jun 26 12:04 web-demo_123_2017-06-26-12-04-19 -rw-rw-r-- 1 www www 1243351 Jun 28 22:31 web-demo_123_2017-06-26-12-04-19.tar.gz drwxr-xr-x 5 www www 4096 Jun 26 12:16 web-demo_123_2017-06-26-12-16-49 -rw-rw-r-- 1 www www 1243347 Jun 28 22:43 web-demo_123_2017-06-26-12-16-49.tar.gz drwxr-xr-x 5 www www 4096 Jun 26 12:18 web-demo_123_2017-06-26-12-18-09 -rw-rw-r-- 1 www www 1243347 Jun 28 22:45 web-demo_123_2017-06-26-12-18-09.tar.gz drwxr-xr-x 5 www www 4096 Jun 26 12:18 web-demo_123_2017-06-26-12-18-57 -rw-rw-r-- 1 www www 1243369 Jun 28 22:46 web-demo_123_2017-06-26-12-18-57.tar.gz -rw-rw-r-- 1 www www 45 Jun 29 06:21 web-demo__2017-06-30-14-28-54.tar.gz drwxrwxr-x 2 www www 4096 Jun 30 14:30 web-demo__2017-06-30-14-30-22 -rw-rw-r-- 1 www www 130 Jun 29 06:23 web-demo__2017-06-30-14-30-22.tar.gz drwxrwxr-x 2 www www 4096 Jun 30 14:31 web-demo__2017-06-30-14-31-53 -rw-rw-r-- 1 www www 219 Jun 29 06:24 web-demo__2017-06-30-14-31-53.tar.gz drwxrwxr-x 4 www www 4096 Jun 30 14:59 web-demo_75463f1b_2017-06-30-14-59-58 -rw-rw-r-- 1 www www 1236456 Jun 29 06:52 web-demo_75463f1b_2017-06-30-14-59-58.tar.gz drwxrwxr-x 4 www www 4096 Jun 30 15:05 web-demo_75463f1b_2017-06-30-15-05-57 -rw-rw-r-- 1 www www 1236450 Jun 29 06:58 web-demo_75463f1b_2017-06-30-15-05-57.tar.gz drwxrwxr-x 4 www www 4096 Jul 10 14:01 web-demo_75463f1b_2017-07-10-14-01-34 -rw-rw-r-- 1 www www 1236446 Jul 10 14:01 web-demo_75463f1b_2017-07-10-14-01-34.tar.gz drwxrwxr-x 4 www www 4096 Jun 30 15:18 web-demo_78869143_2017-06-30-15-18-29 -rw-rw-r-- 1 www www 1236465 Jun 29 07:11 web-demo_78869143_2017-06-30-15-18-29.tar.gz drwxrwxr-x 4 www www 4096 Jul 10 14:00 web-demo_78869143_2017-07-10-14-00-35 -rw-rw-r-- 1 www www 1236453 Jul 10 14:00 web-demo_78869143_2017-07-10-14-00-35.tar.gz drwxrwxr-x 3 www www 4096 Jun 30 14:14 web-demo_91d09cc2_2017-06-30-14-14-42 -rw-rw-r-- 1 www www 1236371 Jun 29 06:06 web-demo_91d09cc2_2017-06-30-14-14-42.tar.gz drwxrwxr-x 3 www www 4096 Jun 30 14:15 web-demo_91d09cc2_2017-06-30-14-15-16 -rw-rw-r-- 1 www www 1236382 Jun 29 06:08 web-demo_91d09cc2_2017-06-30-14-15-16.tar.gz drwxrwxr-x 4 www www 4096 Jul 10 14:08 web-demo_9a43cf55_2017-07-10-14-08-46 -rw-rw-r-- 1 www www 1233708 Jul 10 14:08 web-demo_9a43cf55_2017-07-10-14-08-46.tar.gz drwxrwxr-x 4 www www 4096 Jun 30 15:21 web-demo_b8f3be43_2017-06-30-15-21-55 -rw-rw-r-- 1 www www 1236454 Jun 29 07:14 web-demo_b8f3be43_2017-06-30-15-21-55.tar.gz drwxrwxr-x 4 www www 4096 Jul 10 12:34 web-demo_b8f3be43_2017-07-10-12-34-00 -rw-rw-r-- 1 www www 1236462 Jul 10 12:34 web-demo_b8f3be43_2017-07-10-12-34-00.tar.gz drwxrwxr-x 4 www www 4096 Jun 30 14:57 web-demo_dcfb44f0_2017-06-30-14-57-10 -rw-rw-r-- 1 www www 1236447 Jun 29 06:50 web-demo_dcfb44f0_2017-06-30-14-57-10.tar.gz
1.4.2:回滚任意版本就将版本的参数传递给脚本，脚本会将web-demo的链接重新指向传递的版本(参数)，比如我要回滚到web-demo_78869143_2017-06-30-15-18-29这个版本，则jenkins的配置为：
1.4.3：在jenkins执行回滚：
1.4.4:执行回滚的信息:
1.4.5:访问web界面测试任意版本回滚是否成功：
,
持续集成①安装部署jenkins从git获取代码
一：持续集成的概念：
1.1:总体的概括
持续集成Continuous Integration
持续交付Continuous Delivery
持续部署Continuous Deployment
1.2：什么是持续集成：
持续集成是指开发者在代码的开发过程中，可以频繁的将代码部署集成到主干，并进程自动化测试
1.3：什么是持续交付：
持续交付指的是在持续集成的环境基础之上，将代码部署到预生产环境
1.4：持续部署：
在持续交付的基础上，把部署到生产环境的过程自动化，持续部署和持续交付的区别就是最终部署到生产环境是自动化的。
1.5:关于安全：OWASP:每年发布top 10web漏洞:
top1：注入攻击漏洞，例如SQL，OS 以及 LDAP注入。这些攻击发生在当不可信的数据作为命令或者查询语句的一部分，被发送给解释器的时候。攻击者发送的恶意数据可以欺骗解释器，以执行计划外的命令或者在未被恰当授权时访问数据。
top2：失效的身份认证和会话管理:与身份认证和会话管理相关的应用程序功能往往得不到正确的实现，这就导致了攻击者破坏密码、密匙、会话令牌或攻击其他的漏洞去冒充其他用户的身份。
top3：跨站脚本（XSS）:当应用程序收到含有不可信的数据，在没有进行适当的验证和转义的情况下，就将它发送给一个网页浏览器，这就会产生跨站脚本攻击（简称XSS）。XSS允许攻击者在受害者的浏览器上执行脚本，从而劫持用户会话、危害网站、或者将用户转向至恶意网站。
相关资料：http://www.owasp.org.cn/owasp-project/download/mobile-top-10-2013-2
二：安装部署持续集成工具jenkins：
2.1：安装部分：
2.1.1：执行安装：
下载jdk-8u111-linux-x64.rpm
# rpm -ivh jdk-8u111-linux-x64.rpm # vim /etc/profile export JAVA_HOME=/usr/java/jdk1.8.0_111 export PATH=$JAVA_HOME/bin:$PATH
安装jenkins
方法①yum方式安装
# cd /etc/yum.repos.d/ # wget http://pkg.jenkins.io/redhat/jenkins.repo # rpm --import http://pkg.jenkins.io/redhat/jenkins.io.key # yum install -y jenkins # systemctl start jenkins
方法②通过war包的方式安装下载地址：http://updates.jenkins-ci.org/download/war/2.60.1/jenkins.war
unzip apache-tomcat-8.0.37.zip mv apache-tomcat-8.0.37 /usr/local/ cd /usr/local ln -s /usr/local/apache-tomcat-8.0.37 /usr/local/tomcat useradd jenkins # 将jenkins.war放到/usr/local/tomcat/webapps目录下，解压 unzip -d jenkins jenkins.war chown -R jenkins.jenkins /usr/local/apache-tomcat-8.0.37 bin/startup.sh
2.1.2：打开web界面：第一次打开要输入随机生成的密码：
http://192.168.3.199:8080/jenkins
查看密码
$ cat /home/jenkins/.jenkins/secrets/initialAdminPassword 8743f91ff1474a85a0abcd841fc74eb6
输入密码点下确认之后选择插件，选择默认安装插件即可，此过程需要一段时间，而且根据网络不同有些插件安装不成功，但是之后可以自己再安装即可
报错：
An error occurred
An error occurred during installation: No such plugin: cloudbees-folder
解决办法：
下载cloudbees-folder.hpi放在目录/usr/local/tomcat/webapps/jenkins/WEB-INF/detached-plugins/下，重启tomcat即可
设置用户名密码
3.1配置邮件通知，系统管理–系统设置
添加管理员邮箱,添加邮件
点击保存或测试邮件，系统会给目标邮箱发送一封测试邮件：
安装gitlab插件,系统管理–管理插件–可选插件
插件安装界面，会额外安装一些依赖关系的插件，jenkins基于ruby开发，所以会有ruby环境：
在gitlab管理界面将用户添加到一个项目，下一步要用此用户拉取项目代码
三：使用jenkins：
3.1：添加一个认证用户，拉取git代码的时候使用：
创建任务 --> 构建一个自由风格的软件项目
项目描述信息：
配置git项目地址，我们先进行其他配置，等会再继续配置git相关的选项
系统管理 --> Global Tool Configuration
配置deploy-key
如下配置,jenkins服务器上root用户生成密钥对
[root@node1 ~]# ssh-keygen -t rsa Generating public/private rsa key pair. Enter file in which to save the key (/root/.ssh/id_rsa): Enter passphrase (empty for no passphrase): Enter same passphrase again: Your identification has been saved in /root/.ssh/id_rsa. Your public key has been saved in /root/.ssh/id_rsa.pub. The key fingerprint is: bf:1e:4d:b3:0f:fb:8b:71:cd:ef:d3:70:69:a4:46:ff root@node1.chinasoft.com The key's randomart image is: +--[ RSA 2048]----+ | | | | | | | . . | | S + + .| | . o =.*.| | o * oo=| | o B .E| | .o o.+o+| +-----------------+ [root@node1 ~]# cat .ssh/id_rsa.pub ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQC3vhfbA4NdkP8g1WVyYkw93f1PZ04nWoyFnoerC9b40jIY5px+tkugdy/RZ3/bp4hMC5yNgV1S25Tm8RpzBJMp7pbJz8dO+LCKqUnXq9Eh0QhsZE0xlQN+J4awy9YIGiD2nFg7k/ZzeAtQRzNryrrPnKaWpXtg7tMGGTWBjeyLAVuqCOMU7euY94G26UmVfjDLIJkcJqB+8dwvodW3wpmUER32qVPKZLnSYSOCfoNed+P4Eujs5PBCLuzFvGyiDhY2Pwrk/4S11jWUa7TJItfoPXzeGc/ujaJi/o24dt8VXeFa/Rm4wywYLNW3TRjXy1mPpdVlob3701MMQ0bf3qPv root@node1.chinasoft.com
gitlab上配置web-demo项目设置private deploy key
把key复制进去，同时title起一个简单明了的名字
在jenkins服务器192.168.3.199上测试下是否能够正常获取代码
[root@node1 tmp]# git clone git@192.168.3.198:web/web-demo.git Cloning into 'web-demo'... The authenticity of host '192.168.3.198 (192.168.3.198)' can't be established. ECDSA key fingerprint is 9d:60:c3:8e:49:72:e8:9c:c0:d6:c8:d2:f1:b6:3a:74. Are you sure you want to continue connecting (yes/no)? yes Warning: Permanently added '192.168.3.198' (ECDSA) to the list of known hosts. remote: Counting objects: 79, done. remote: Compressing objects: 100% (79/79), done. remote: Total 79 (delta 17), reused 0 (delta 0) Receiving objects: 100% (79/79), 1.18 MiB | 0 bytes/s, done. Resolving deltas: 100% (17/17), done.
jenkins拉取代码没问题，继续配置jenkins的认证，这里应该输入私钥
复制jenkins拉取git代码服务器root的私钥
[root@node1 ~]# cat .ssh/id_rsa -----BEGIN RSA PRIVATE KEY----- MIIEpAIBAAKCAQEAt74X2wODXZD/INVlcmJMPd39T2dOJ1qMhZ6HqwvW+NIyGOac frZLoHcv0Wd/26eITAucjYFdUtuU5vEacwSTKe6Wyc/HTviwiqlJ16vRIdEIbGRN MZUDfieGsMvWCBog9pxYO5P2c3gLUEcza8q6z5ymlqV7YO7TBhk1gY3siwFbqgjj FO3rmPeBtulJlX4wyyCZHCagfvHcL6HVt8KZlBEd9qlTymS50mEjgn6DXnfj+BLo 7OTwQi7sxbxsog4WNj8K5P+EtdY1lGu0ySLX6D183hnP7o2iYv6NuHbfFV3hWv0Z uMMsGCzVt00Y18tZj6XVZaG9+9NTDENG396j7wIDAQABAoIBAEHMfCR9HJTsMMDk SmDs3JqnHWhK+UzUe0/6VmEla0VNmI0cQFyMEYcUR3Z41uulEgURf22ZLv9WDPuq yar4r26rtynsE1avbiEpwHzQVaMDhT2zqYUg9NA/fVdgl3PtT3KgyGQFd5MgIQUN ileGkOF6GpoGBqnOvJkJfAS5+0RHi8EZ8RcufNExgan5QF42dtKNWOEdgZIp0+WY jmI73YEpIadQzKxjL6PCOUmFAjfuNllw3It5QLePvYYlQeWKkl8QdROOADzOxgoj 6zCdzGo6ZqP4vK8gGioT7UybH1WJoN8of1ZBenKyT4+TagQYwqV0LXIpVBkHKgdD 5bxZIPkCgYEA4giWHweLYxmkZIXDx5VrOjIPmzTFqSfDMI9rDFQt57AbIr0hM4BW 6qmViWwuc9t28cLSXv+0FtycIfs4co8RvMinIMLykWddX8x3sniCr2+Pgn/G+RgQ FK36wN0dVZwwr/6oPeIDCJlr4AqhDAJLJkcbRjc5i8kR9OPHIvkPJjsCgYEA0Bou cmeOGYtrCW6t88xnmR26Sk8ybNWUdpju9SpEeCdz4jJnZC29AJ3qg8LilG0sDS/y 0cNT/iMP8x6FPeFqJnhI/l4C1H5WEqult/thMl1bZ+RFEO92EUcKEXZep0yu5Txr 6bHZzCnp9cYe56z9qsGk064LR2N9TR16xAzeud0CgYEArx0B2NZKeaNDBhHPxI8Q /IwOJSs0O0Gv6a4iu/F3gviffUFTOIgkTjbFwCqMrnuHYfOSccDeb5vIZlcvuyj2 D/DP8gS2UknnQDGzRhQxAuOGJg8CQrcOtka3brWfZVTVL3Q2OYMg4Iej2HXDoP8h 42zRR4u/THmhLL1O6NxVjUMCgYBslKyVbuja9T61HjXPVmDbqIIyEZ6a4NnlA6jy 7Mnq85LofCosQB00vDDH7SCyF0B75P/KaSNjH8JLtSoKfpoXVn2nkz/gxcZ9WWhP Ve+CCuoNjDJpQriVDT74m42Jt14uJ9eaiPy+JUR4w5YOhdmZhg5NkKs75XJUkUQk FR8FVQKBgQDOWXJYF3VEYdCD1qIy/CsY3s4ARD9kery+5aOCu6TNd6auYEfqxsev ie1jD+cvAgVR1aZ5aP3C8jEYhZa4xgn1+hxfRLWs79uMYnXXNGJ+FxKftDyhuV+m efEQrUf8jh4MofW9Ee6Z7YjitIRY7SQ+kZl2Xms+QZlJotBzTG2DSA== -----END RSA PRIVATE KEY-----
添加描述，点击OK
继续编辑配置
这样就不报错了，下面还可以指定从哪个分支拉取，默认从master拉取，有些公司使用release分支
源码浏览器，去gitlab上找到http的url：http://192.168.3.198/web/web-demo.git
找出gitlab的版本，输入url和版本，版本只支持2位，拉到最下面保存
[root@web01 ~]# rpm -qa|grep gitlab gitlab-ce-8.10.5-ce.0.el7.x86_64
点击立即构建，查看控制台，可以看到构建的详细输出
,
持续集成之②:整合jenkins与代码质量管理平台Sonar并实现构建失败邮件通知
一：Sonar是什么？
Sonar 是一个用于代码质量管理的开放平台，通过插件机制，Sonar 可以集成不同的测试工具，代码分析工具，以及持续集成工具。与持续集成工具（例如 Hudson/Jenkins 等）不同，Sonar 并不是简单地把不同的代码检查工具结果（例如FindBugs，PMD等）直接显示在Web页面上，而是通过不同的插件对这些结果进行再加工处理，通过量化的方式度量代码质量的变化，从而可以方便地对不同规模和种类的工程进行代码质量管理。在对其他工具的支持方面，Sonar 不仅提供了对 IDE 的支持，可以在 Eclipse 和 IntelliJ IDEA 这些工具里联机查看结果；同时Sonar还对大量的持续集成工具提供了接口支持，可以很方便地在持续集成中使用 Sonar,此外，Sonar 的插件还可以对 Java 以外的其他编程语言提供支持，对国际化以及报告文档化也有良好的支持。
#官方网站：http://www.sonarqube.org/
Sonar部署
Sonar的相关下载和文档可以在下面的链接中找到：http://www.sonarqube.org/downloads/。需要注意最新版的Sonar需要至少JDK 1.8及以上版本
cd /usr/local/src cd /usr/local/src/ wget https://sonarsource.bintray.com/Distribution/sonarqube//sonarqube-5.6.6.zip unzip sonarqube-5.6.6.zip mv sonarqube-5.6.6 /usr/local/ ln -s /usr/local/sonarqube-5.6.6/ /usr/local/sonarqube
准备Sonar数据库(mysql版本要等于5.6或者5.6以上，否则sonar无法启动)
mysql> CREATE DATABASE sonar CHARACTER SET utf8 COLLATE utf8_general_ci; mysql> GRANT ALL ON sonar.* TO 'sonar'@'%' IDENTIFIED BY 'sonar@341Jpw'; mysql> FLUSH PRIVILEGES;
配置Sonar
# cd /usr/local/sonarqube/conf/
修改配置文件的数据库配置
# egrep '^[a-Z]' sonar.properties sonar.jdbc.username=sonar sonar.jdbc.password=sonar@pw sonar.jdbc.url=jdbc:mysql://localhost:3306/sonar?useUnicode=true&characterEncoding=utf8&rewriteBatchedStatements=true&useConfigs=maxPerformance
启动Sonar
你可以在Sonar的配置文件来配置Sonar Web监听的IP地址和端口，默认是9000端口。
# vim sonar.properties sonar.web.host=0.0.0.0 sonar.web.port=9000
# 启动有创建表和其他操作，速度会有点慢
[root@node1 conf]# /usr/local/sonarqube/bin/linux-x86-64/sonar.sh start Starting SonarQube... Started SonarQube. 报错： org.sonar.api.utils.MessageException: Unsupported mysql version: 5.5. Minimal supported version is 5.6. 2017.07.01 11:16:27 ERROR web[o.a.c.c.StandardContext] One or more listeners failed to start. Full details will be found in the appropriate container log file 2017.07.01 11:17:09 INFO web[o.a.c.u.SessionIdGeneratorBase] Creation of SecureRandom instance for session ID generation using [SHA1PRNG] took [41,747] milliseconds. 2017.07.01 11:17:09 ERROR web[o.a.c.c.StandardContext] Context [] startup failed due to previous errors 2017.07.01 11:17:09 WARN web[o.a.c.l.WebappClassLoaderBase] The web application [ROOT] appears to have started a thread named [Abandoned connection cleanup thread] but has failed to stop it. This is very likely to create a memory leak. Stack trace of thread: java.lang.Object.wait(Native Method) java.lang.ref.ReferenceQueue.remove(ReferenceQueue.java:143) com.mysql.jdbc.AbandonedConnectionCleanupThread.run(AbandonedConnectionCleanupThread.java:43) 2017.07.01 11:17:09 WARN web[o.a.c.l.WebappClassLoaderBase] The web application [ROOT] appears to have started a thread named [Timer-0] but has failed to stop it. This is very likely to create a memory leak. Stack trace of thread: java.lang.Object.wait(Native Method) java.util.TimerThread.mainLoop(Timer.java:552) java.util.TimerThread.run(Timer.java:505) 2017.07.01 11:17:09 INFO web[o.a.c.h.Http11NioProtocol] Starting ProtocolHandler ["http-nio-0.0.0.0-9000"] 2017.07.01 11:17:09 INFO web[o.s.s.a.TomcatAccessLog] Web server is started 2017.07.01 11:17:09 INFO web[o.s.s.a.EmbeddedTomcat] HTTP connector enabled on port 9000 2017.07.01 11:17:09 WARN web[o.s.p.ProcessEntryPoint] Fail to start web java.lang.IllegalStateException: Webapp did not start at org.sonar.server.app.EmbeddedTomcat.isUp(EmbeddedTomcat.java:84) ~[sonar-server-5.6.6.jar:na] at org.sonar.server.app.WebServer.isUp(WebServer.java:47) [sonar-server-5.6.6.jar:na] at org.sonar.process.ProcessEntryPoint.launch(ProcessEntryPoint.java:105) ~[sonar-process-5.6.6.jar:na] at org.sonar.server.app.WebServer.main(WebServer.java:68) [sonar-server-5.6.6.jar:na] 2017.07.01 11:17:09 INFO web[o.a.c.h.Http11NioProtocol] Pausing ProtocolHandler ["http-nio-0.0.0.0-9000"] 2017.07.01 11:17:16 INFO web[o.a.c.h.Http11NioProtocol] Stopping ProtocolHandler ["http-nio-0.0.0.0-9000"] 2017.07.01 11:17:30 INFO web[o.a.c.h.Http11NioProtocol] Destroying ProtocolHandler ["http-nio-0.0.0.0-9000"]
解决办法：
升级mysql版本到5.6或者5.6以上
登陆：http://192.168.3.199:9000/
账号密码默认都是admin
#到此sonar就安装完成了，下一步将进入配置使用阶段。
二：配置并使用sonar
2.1：安装插件部分：
2.1.1：默认的插件目录：
# ll /usr/local/sonarqube-5.6.6/extensions/plugins/
#如果在线安装插件不成功，可以把插件下载后放在此目录在重启sonar服务也可以实现安装插件，jenkins也可以通过此方式安装，另外jenkins还支持上传插件
2.1.2：安装插件：
administration-system-update center-available，在后面的搜索框搜索插件名称，然后点install安装：
或在插件目录/usr/local/sonarqube/extensions/plugins执行
wget https://github.com/SonarQubeCommunity/sonar-l10n-zh/releases/download/sonar-l10n-zh-plugin-1.11/sonar-l10n-zh-plugin-1.11.jar(中文插件：)然后重启服务：
# /usr/local/sonarqube/bin/linux-x86-64/sonar.sh restart
Sonar插件安装包下载地址：
https://sonarsource.bintray.com/Distribution/
主要的是sonar对代码的分析是通过插件完成的，即分析java代码要安装java插件，分析php代码要安装php插件，分析什么语言就安装什么语言的插件
本次我们安装了php、python、java语法检测插件
root@node1 plugins]# pwd
/usr/local/sonarqube/extensions/plugins [root@node1 plugins]# ll total 12312 -rw-r--r-- 1 root root 128 Feb 16 18:19 README.txt -rw-r--r-- 1 root root 4840602 Jul 4 17:05 sonar-java-plugin-4.11.0.10660.jar -rw-r--r-- 1 root root 3733262 Jul 4 17:05 sonar-php-plugin-2.10.0.2087.jar -rw-r--r-- 1 root root 4024311 Jul 4 17:05 sonar-python-plugin-1.8.0.1496.jar
2.1.3:代码检测测试,把sonar-scanner和sonarqube关联起来
sonar-scanner下载地址：https://sonarsource.bintray.com/Distribution/sonar-scanner-cli/
cd /usr/local/src wget https://sonarsource.bintray.com/Distribution/sonar-scanner-cli/sonar-scanner-cli-3.0.3.778-linux.zip unzip sonar-scanner-2.6.1.zip mv sonar-scanner-2.6.1 /usr/local/ cd /usr/local/ ln -s sonar-scanner-2.6.1 sonar-scanner
配置sonar-scanner:
[root@node1 conf]# vim /usr/local/sonar-scanner/conf/sonar-scanner.properties sonar.host.url=http://localhost:9000 sonar.sourceEncoding=UTF-8 sonar.jdbc.username=sonar sonar.jdbc.password=sonar@341Jpw sonar.jdbc.url=jdbc:mysql://192.168.3.12:3306/sonar?useUnicode=true&characterEncoding=utf8
检测PHP项目，需要在sonar中先安装SonarPHP插件，github搜索php-sonar-runner项目，对这个项目进行检测
https://github.com/hasanyousuf/php-sonar-runner-unit-tests
unzip php-sonar-runner-unit-tests-master.zip cd php-sonar-runner-unit-tests-master [root@node1 php-sonar-runner-unit-tests-master]# pwd /root/php-sonar-runner-unit-tests-master
# 直接在php目录运行sonar-scanner,用于实现代码质量分析
[root@node1 php-sonar-runner-unit-tests-master]# /usr/local/sonar-scanner/bin/sonar-scanner
在sonar管理界面查看扫描结果：
dashboard --> home 点项目名称可以查看更具体的信息
2.1.4：代码规则：
2.4：如何让jenkins关联到sonar scanner？
有两种方式保存配置文件，一是保存在项目里面，二是在jenkins管理界面进行配置：
2.4.1：在jenkins插件安装界面安装SonarQuebe Scanner for Jenkins插件：
2.4.2将jenkins关联sonar：
jenkins中操作：系统管理-系统设置，找到 SonarQube servers 部分
添加sonar访问地址，然后点保存
2.4.3添加扫描器：
2.4.3.1：#系统管理–global-tool-ocnfigration --> 添加本地sonar scanner，然后点保存
2.5：配置jenkins项目构建操作：
2.5.1:复制之前sonar scanner的代码检测配置文件内容，如：
# cat /root/php-sonar-runner-unit-tests-master/sonar-project.properties sonar.projectKey=org.sonarqube:php-ut-sq-scanner sonar.projectName=PHP :: PHPUnit :: SonarQube Scanner sonar.projectVersion=1.0 sonar.sources=src sonar.tests=tests sonar.language=php sonar.sourceEncoding=UTF-8
2.5.1：选择自己的项目（web-demo）-构建触发器-构建-execute sonarqube scanner，将配置文件的内容修改成如下格式填写完成后点保存：
sonar.projectKey=web-demo sonar.projectName=web-demo sonar.projectVersion=1.0 sonar.sources=./ sonar.language=php sonar.sourceEncoding=UTF-8
可以看到，右边多了个快捷方式
2.6：测试jenkins项目构建：
2.6.1：在jenkins选择自己的项目点击立即构建，以下是构建成功的界面：
2.6.2：在sonar查看是否有代码扫质量分析结果：
2.7：添加构建后操作
2.7.1:添加邮件通知，当构建失败后向指定的邮箱通知失败信息：
#发件箱设置：
2.7.2：将github服务关闭，然后构建项目，由于git服务无法访问所以肯定会导致项目构建失败触发邮件通知：
2.7.2.1：关闭git服务：
# gitlab-ctl stop
2.7.2.2:构建项目，以下是构建失败的控制台输出信息：
2.7.2.3：以下是失败的邮件通知：
,
持续集成之③:将代码自动部署至测试环境
一：本文在上一篇文章的基础之上继续进行操作，上一篇实现了从git获取代码并进行代码测试，本文将在上一篇的基础之上实现将代码部署至测试环境。
1.1：新建一个项目叫web-demo-deploy用于代码发布，上一个项目web-demo可用于代码测试，当测试阶段出现问题的时候也不会立即进行发布，只有当测试通过之后才执行发布的项目即可：
1.2：如何将代码发布到web服务器：
1.2.1：可以通过执行命令或脚本的方式进行代码发布，在各web服务器创建一个www用户，用于启动web服务并进行代码发布：
# useradd www # echo "123456" | passwd --stdin www # su - www $ ssh-keygen -t rsa Generating public/private rsa key pair. Enter file in which to save the key (/home/www/.ssh/id_rsa): Created directory '/home/www/.ssh'. Enter passphrase (empty for no passphrase): Enter same passphrase again: Your identification has been saved in /home/www/.ssh/id_rsa. Your public key has been saved in /home/www/.ssh/id_rsa.pub. The key fingerprint is: bc:51:20:7d:cc:bb:de:e8:e4:11:d3:f7:1b:ec:0c:0d www@node1.chinasoft.com The key's randomart image is: +--[ RSA 2048]----+ | ...o | | ...+ | | ... | | . ... | | S o..E. | | o.o .+. | | ..oo . +.| | oo.. + o| | .o + | +-----------------+ [www@node1 ~]$ cat .ssh/id_rsa.pub ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQDIvExDg2tXu3+XZVdjxuur/orC0C9G1vGFKd5c67mOkiJE+OI1eyDl4yoqsabJbp7aHJEDomfO7MjoJSQEQdhebgpCvG7/ron5IoF7Ql3RllhObDHmRmjhSuHbZqJCpM2qqIejkdwM4qpnkFcJUxOZLgdKfiVfNIaAjkY3BUbyKrt64GZ4pykoZXqTLX7fDHAOqzUJqy3IuCLhk0judRdlUWayWnrXOrBGXfuKiBuXiFIxhKbDvDr93ZldqcGXXCmscTLIlQ+yFAEeb11K+/z0uEQU6l9sKD4i8v5503KiFSVWSSfL40ZBFWcP20nK3prRH5CFD2piWbLPQBYVhzpL www@node1.chinasoft.com
1.2.2：在git服务器将www用户的公钥添加至部署key，将root的公钥添加至ssh key，以让www用户有获取代码权限，让root用户有提交代码的权限：
ssh keys和deploy keys区别：
github账户的SSH keys，相当于这个账号的最高级key，只要是这个账号有的权限（任何项目），都能进行操作。
仓库的Deploy keys，顾名思义就是这个仓库的专有key，用这个key，只能操作这个项目，其他项目都没有权限。
说白了就相当于你有一所大别墅，SSH key能开别墅中的任何一个房间。而Deploy key只能开进别墅中的一个单间。
1.2.4：确认www用户有拉取代码权限：
1.3：关于shell脚本执行权限：
#稍后会通过jenkins执行一个脚本，从而完成代码的发布，但是默认执行的用户是jenkins，需要赋予jenkins一定的权限，另外发布的脚本可能在本机也可能不在本机，本次设想不在本机保存脚本，则设置如下：
1.3.1：解决脚本运行问题：
#将脚本放在www用户家目录/home/www，git代码也放在家目录，因此需要jenkins服务器远程到代码发布服务器执行远程命令，需要做免登陆认证，将jenkins服务器root和www用户的公钥放在代码部署服务器的www用户家目录.ssh/authorized_keys文件中，使jenkins服务器能够不输入密码就可以调用部署服务器的脚本：
jenkins服务器：192.168.3.199
deploy部署服务器：192.168.3.12
$ chmod 600 authorized_keys $ cat authorized_keys [www@192.168.3.12 ~]$ cat .ssh/authorized_keys ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQDIvExDg2tXu3+XZVdjxuur/orC0C9G1vGFKd5c67mOkiJE+OI1eyDl4yoqsabJbp7aHJEDomfO7MjoJSQEQdhebgpCvG7/ron5IoF7Ql3RllhObDHmRmjhSuHbZqJCpM2qqIejkdwM4qpnkFcJUxOZLgdKfiVfNIaAjkY3BUbyKrt64GZ4pykoZXqTLX7fDHAOqzUJqy3IuCLhk0judRdlUWayWnrXOrBGXfuKiBuXiFIxhKbDvDr93ZldqcGXXCmscTLIlQ+yFAEeb11K+/z0uEQU6l9sKD4i8v5503KiFSVWSSfL40ZBFWcP20nK3prRH5CFD2piWbLPQBYVhzpL www@node1.chinasoft.com ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQCsYf1pLYFBUhThXz5pqPMl9TVJxzKEkB/6vImEcDnBqDhrWZe+OqIWp+GTbkHNcXDejD1pBvvQScPIuxlz/r7OEBRTpTjmZOAaLCRMljhx2iMsgTdyjSqZFXMAXRI+F/ZPKKypDW2ZLMLjyqB6ZHK+9/SIMVGwzw/Ey3kqAQovI7UQMoL/59xjah+9zNGboTpZI613LX5vrgCghWUS5NHxU/DNUWjaxFuYJqr7ELKVrG/vZJcbtwmGpRDcCq03Kl2Mz0lHhkGZVDHWqhIPcyRjKrDh0/WqaTlPuIYZ3bZu33aQSxXV5GMGv6VqfIkYVU0uFewL4znPKFPa1z4mAJpR root@node1.chinasoft.com
1.3.2：确认可以免密码远程登陆：
使用root和www用户测试一下是否可以免秘钥登陆，以便让部署服务器将用户的key添加到know_keys，否则报错Host key verification failed
ssh www@192.168.3.12 ssh www@192.168.3.13
1.3.3：解决jenkins没有权限的问题，在jenkins服务器192.168.3.199上操作：
# vim /etc/sudoers #Defaults requiretty #注释掉，不需要tty jenkins ALL=(ALL) NOPASSWD: /usr/bin/ssh
1.3.3：配置jenkins项目执行shell脚本：
1.3.3.1:脚本内容(需要放在部署服务器192.168.3.12的/home/www目录下):
www@192.168.3.12 $ vim dep.sh #!/bin/bash cd /home/www/web-demo_deploy/ #进入到本地代码库 git pull #从git服务器更新代码 scp -r ./* www@192.168.3.12:/webroot/web_www #将代码部署至web服务器 scp -r ./* www@192.168.3.13:/webroot/web_www www@192.168.3.12 $ chmod +x dep.sh
1.3.3.2:在jenkins调用脚本:
#在项目的构建步骤调用，项目-配置-构建-增加构建步骤-Execute shell
访问web页面测试：
在git仓库创建代码并更新至git服务器：
[www@master web-demo_deploy]$ vim index.html # 添加www.chinasoft.com [www@master web-demo_deploy]$ git add index.html [www@master web-demo_deploy]$ git commit -m 'edit index.html add www.chinasoft.com' [master 51f8f11] edit index.html add www.chinasoft.com 1 file changed, 1 insertion(+), 1 deletion(-) [www@master web-demo_deploy]$ git push origin master Counting objects: 5, done. Compressing objects: 100% (3/3), done. Writing objects: 100% (3/3), 313 bytes | 0 bytes/s, done. Total 3 (delta 2), reused 0 (delta 0) To git@192.168.3.198:web/web-demo_deploy.git ac41e81..51f8f11 master -> master
再次在jenkins执行项目构建
可以看到刚刚更新的代码获取成功
1.4：让代码测试项目管理代码发布项目，当代码测试的项目执行成功之后自动调用代码发布的项目完成代码部署：
1.4.1：安装插件，jenkins的插件默认安装路径
# ll /var/lib/jenkins/plugins/
tomcat版本的安装路径：
/usr/local/tomcat/webapps/jenkins/WEB-INF/detached-plugins/
如果插件在线安装不成功可以下载插件到此目录然后把属主属组改成jenkins再重启jenkins服务即可完成安装：
#系统管理-管理插件-可选插件，搜索Parameterized：
1.4.2：配置项目demo的构建后操作，demo构建完成后自动构建demp-deploy项目：
#jenkins-->web-demo-->配置-->构建后操作：
1.4.3：配置如下：
1.5：测试，执行代码测试项目成功之后是否会自动执行代码部署项目：
控制台输出
Started by user admin Building in workspace /home/jenkins/.jenkins/workspace/web-demo > git rev-parse --is-inside-work-tree # timeout=10 Fetching changes from the remote Git repository > git config remote.origin.url git@192.168.3.198:web/web-demo.git # timeout=10 Fetching upstream changes from git@192.168.3.198:web/web-demo.git > git --version # timeout=10 using GIT_SSH to set credentials gitlab_web-demo > git fetch --tags --progress git@192.168.3.198:web/web-demo.git +refs/heads/*:refs/remotes/origin/* > git rev-parse refs/remotes/origin/master^{commit} # timeout=10 > git rev-parse refs/remotes/origin/origin/master^{commit} # timeout=10 Checking out Revision b8f3be4385efdf64606158c23f9f1992bb2da1d3 (refs/remotes/origin/master) Commit message: "add www.chinasoft.com" > git config core.sparsecheckout # timeout=10 > git checkout -f b8f3be4385efdf64606158c23f9f1992bb2da1d3 > git rev-list b8f3be4385efdf64606158c23f9f1992bb2da1d3 # timeout=10 [web-demo] $ /usr/local/sonar-scanner/bin/sonar-scanner -e -Dsonar.host.url=http://192.168.3.199:9000/ -Dsonar.language=php -Dsonar.projectName=web-demo -Dsonar.projectVersion=1.0 -Dsonar.sourceEncoding=UTF-8 -Dsonar.projectKey=web-demo -Dsonar.sources=./ -Dsonar.projectBaseDir=/home/jenkins/.jenkins/workspace/web-demo INFO: Scanner configuration file: /usr/local/sonar-scanner/conf/sonar-scanner.properties INFO: Project root configuration file: NONE INFO: SonarQube Scanner 2.6.1 INFO: Java 1.8.0_111 Oracle Corporation (64-bit) INFO: Linux 3.10.0-514.el7.x86_64 amd64 INFO: Error stacktraces are turned on. INFO: User cache: /home/jenkins/.sonar/cache INFO: Load global repositories INFO: Load global repositories (done) | time=172ms WARN: Property 'sonar.jdbc.url' is not supported any more. It will be ignored. There is no longer any DB connection to the SQ database. WARN: Property 'sonar.jdbc.username' is not supported any more. It will be ignored. There is no longer any DB connection to the SQ database. WARN: Property 'sonar.jdbc.password' is not supported any more. It will be ignored. There is no longer any DB connection to the SQ database. INFO: User cache: /home/jenkins/.sonar/cache INFO: Load plugins index INFO: Load plugins index (done) | time=3ms INFO: SonarQube server 5.6.6 INFO: Default locale: "en_US", source code encoding: "UTF-8" INFO: Process project properties INFO: Load project repositories INFO: Load project repositories (done) | time=97ms INFO: Load quality profiles INFO: Load quality profiles (done) | time=34ms INFO: Load active rules INFO: Load active rules (done) | time=380ms WARN: SCM provider autodetection failed. No SCM provider claims to support this project. Please use sonar.scm.provider to define SCM of your project. INFO: Publish mode INFO: ------------- Scan web-demo INFO: Language is forced to php INFO: Load server rules INFO: Load server rules (done) | time=71ms INFO: Base dir: /home/jenkins/.jenkins/workspace/web-demo INFO: Working dir: /home/jenkins/.jenkins/workspace/web-demo/.sonar INFO: Source paths: . INFO: Source encoding: UTF-8, default locale: en_US INFO: Index files INFO: 0 files indexed INFO: Quality profile for php: Sonar way INFO: Sensor Lines Sensor INFO: Sensor Lines Sensor (done) | time=0ms INFO: Sensor SCM Sensor INFO: No SCM system was detected. You can use the 'sonar.scm.provider' property to explicitly specify it. INFO: Sensor SCM Sensor (done) | time=0ms INFO: Sensor Analyzer for "php.ini" files INFO: Sensor Analyzer for "php.ini" files (done) | time=3ms INFO: Sensor SonarJavaXmlFileSensor INFO: Sensor SonarJavaXmlFileSensor (done) | time=0ms INFO: Sensor Zero Coverage Sensor INFO: Sensor Zero Coverage Sensor (done) | time=0ms INFO: Sensor Code Colorizer Sensor INFO: Sensor Code Colorizer Sensor (done) | time=0ms INFO: Sensor CPD Block Indexer INFO: DefaultCpdBlockIndexer is used for php INFO: Sensor CPD Block Indexer (done) | time=0ms INFO: Calculating CPD for 0 files INFO: CPD calculation finished INFO: Analysis report generated in 47ms, dir size=8 KB INFO: Analysis reports compressed in 7ms, zip size=3 KB INFO: Analysis report uploaded in 47ms INFO: ANALYSIS SUCCESSFUL, you can browse http://192.168.3.199:9000/dashboard/index/web-demo INFO: Note that you will be able to access the updated dashboard once the server has processed the submitted analysis report INFO: More about the report processing at http://192.168.3.199:9000/api/ce/task?id=AV0YJcbrykzBCcoFv4Mt INFO: ------------------------------------------------------------------------ INFO: EXECUTION SUCCESS INFO: ------------------------------------------------------------------------ INFO: Total time: 43.045s INFO: Final Memory: 42M/137M INFO: ------------------------------------------------------------------------ Warning: you have no plugins providing access control for builds, so falling back to legacy behavior of permitting any downstream builds to be triggered Triggering a new build of web-demo_deploy Finished: SUCCESS
1.6：pipeline插件：
1.6.1：#安装插件，系统管理-管理插件-可安装插件：
1.6.2：创建视图：
1.6.3:自定义名称：
1.6.4:配置pipeline信息,点击OK之后，弹出如下视图
点击保存之后显示的最终界面：
,
持续集成之④:GitLab触发jenkins构建项目
一：目的为在公司的测试环境当中一旦开发向gitlab仓库提交成功代码，gitlab通知jenkins进行构建项目、代码质量测试然后部署至测试环境，注意这只是测试环境，而生产环境依然需要手动部署代码：
1.1：jenkins配置：
1.1.1:安装Gitlab Hook Plugin插件：
#系统管理-管理插件-可选插件-Gitlab Hook Plugin和Build Authorization Token Root Plugin
1.1.2：生成随机token：
# openssl rand -hex 12 0f2a47c861133916d2e299e3
1.1.3:创建项目触发器：
#项目-配置-构建触发器：
http://192.168.3.199:8080/jenkins/project/web-demo
1.2：配置github：
1.2.1：在git项目配置界面设置链接和token：
登录gitlab,在这个项目下找到钩子配置的地方
#选择项目-设置-webhooks：
#插件使用介绍，https://wiki.jenkins-ci.org/display/JENKINS/Build+Token+Root+Plugin
http://192.168.3.199:8080/jenkins/buildByToken/build?job=web-demo&token=0f2a47c861133916d2e299e3
http://jenkins服务器地址:8080/buildByToken/build?job=项目名&token=token值
1.2.2：测试：
报错：
hook executed successfully but returned http 404
本次是因为没有在项目后面加上jenkins这个路径
1.2.2：测试，看到显示201表示成功
1.3：向git服务器提交代码，验证是否可以自动部署：
1.3.1：提交代码：
[www@master code]$ git clone git@192.168.3.198:web/web-demo.git [www@master web-demo]$ echo "Build token root plugin" > index.html [www@master web-demo]$ git add 'index.html' [www@master web-demo]$ git commit -m 'build token root plugin test' [master beb37cb] build token root plugin test 1 file changed, 1 insertion(+), 1 deletion(-) [www@master web-demo]$ git push origin master Counting objects: 5, done. Compressing objects: 100% (2/2), done. Writing objects: 100% (3/3), 281 bytes | 0 bytes/s, done. Total 3 (delta 1), reused 0 (delta 0) To git@192.168.3.198:web/web-demo.git c02523b..beb37cb master -> master
1.3.2：jenkins服务器的日志记录：
[root@node1 tomcat]# tail -f /usr/local/tomcat/logs/catalina.out
1.3.3：jenkins项目构建：
1.3.4：访问web界面验证代码是否最新的：
1.3.5：jenkins控制台输出信息：
,
持续集成之⑤:jenkins结合脚本实现代码自动化部署及一键回滚至上一版本
一：本文通过jenkins调用shell脚本的的方式完成从Git服务器获取代码、打包、部署到web服务器、将web服务器从负载均衡器删除、解压、复制配置文件、创建软连接、测试每一台web服务器、将web服务器添加至负载均衡、回滚到任意指定版本、一键回滚到上一版本等功能，脚本放在www用户家目录并使用www用户身份执行，每个web服务器也都使用www用户运行web服务，且UID相同web目录和权限都一致，更严格的标准化可以带来更安全的生产环境和更高的效率：
1.1：在jenkins项目配置中调用shell脚本与环境准备：
1.1.1：#jenkins-项目-配置：
1.1.2：www用户家目录中的脚本内容：
$ cat code_deploy.sh #!/bin/bash #Dir List 部署节点(即部署节点需要做的操作) # mkdir -p /deploy/code/web-demo # mkdir -p /deploy/config/web-demo/base # mkdir -p /deploy/config/web-demo/other # mkdir /deploy/tmp # mkdir /deploy/tar # chown -R www.www /deploy # chown -R www.www /webroot # chown -R www.www /opt/webroot/ # chown -R www.www /webroot # 需要在客户端节点做的操作 # mkdir /opt/webroot # mkdir /webroot # chown -R www.www /webroot # chown -R www.www /opt/webroot/ # chown -R www.www /webroot # [www@ ~]$ touch /webroot/web-dem # Node List 服务器节点 PRE_LIST="192.168.3.12" # 预生产节点 GROUP1_LIST="192.168.3.12 192.168.3.13" GROUP2_LIST="192.168.3.13" ROLLBACK_LIST="192.168.3.12 192.168.3.13" # 日志日期和时间变量 LOG_DATE='date "+%Y-%m-%d"' # 如果执行的话后面执行的时间，此时间是不固定的，这是记录日志使用的时间 LOG_TIME='date "+%H-%M-%S"' # 代码打包时间变量 CDATE=$(date "+%Y-%m-%d") # 脚本一旦执行就会取一个固定时间赋值给变量，此时间是固定的 CTIME=$(date +"%H-%M-%S") # shell env 脚本位置等变量 SHELL_NAME="deploy.sh" # 脚本名称 SHELL_DIR="/home/www/" # 脚本路径 SHELL_LOG="${SHELL_DIR}/${SHELL_NAME}.log" # 脚本执行日志文件路径 # code env 代码变量 PRO_NAME="web-demo" # 项目名称的函数 CODE_DIR="/deploy/code/web-demo" # 从版本管理系统更新的代码目录 CONFIG_DIR="/deploy/config/web-demo" # 保存不同项目的配置文件，一个目录里面就是一个项目的一个配置文件或多个配置文件 TMP_DIR="/deploy/tmp" # 临时目录 TAR_DIR="/deploy/tar" # 打包目录 LOCK_FILE="/tmp/deploy.lock" # 锁文件路径 usage(){ # 使用帮助函数 echo $"Usage: $0 [ deploy | rollback [ list | emergency | version ]" } writelog(){ # 写入日志的函数 LOGINFO=$1 # 将参数作为日志输入 echo "${CDATE} ${CTIME} : ${SEHLL_NAME} : ${LOGINFO}" >> ${SHELL_LOG} } # 锁函数 shell_lock(){ touch ${LOCK_FILE} } # 解锁函数 shell_unlock(){ rm -f ${LOCK_FILE} } # 获取代码的函数 code_get(){ echo "code_get" writelog code_get cd $CODE_DIR && git pull # 进入到代码目录更新代码，此处必须免密码更新，此目录仅用于代码更新不能放其他任何文件 cp -rf ${CODE_DIR} ${TMP_DIR}/ # 临时保存代码并重命名，包名为时间+版本号，准备复制到web服务器 API_VERL=$(git show | grep commit | cut -d ' ' -f2) API_VER=$(echo ${API_VERL:0:8}) # 版本号 } code_build(){ # 代码编译函数 echo code_build } code_config(){ # 配置文件函数 writelog "code_config" /bin/cp -rf ${CONFIG_DIR}/base/* ${TMP_DIR}/"${PRO_NAME}" # 将配置文件放在本机保存配置文件的临时目录，用于暂时保存代码项目 PKG_NAME="${PRO_NAME}"_"$API_VER"_"${CDATE}-${CTIME}" # 定义代码目录名称 cd ${TMP_DIR} && mv ${PRO_NAME} ${PKG_NAME} # 重命名代码文件为web-demo_123-20170629-11-19-10格式 } code_tar(){ # 对代码打包函数 writelog code_tar cd ${TMP_DIR} && tar czf ${PKG_NAME}.tar.gz ${PKG_NAME} --exclude=".git" # 将目录打包成压缩文件，便于网络传输 writelog "${PKG_NAME}.tar.gz packaged success" # 记录打包成功的日志 } code_scp(){ # 代码压缩包scp到客户端的函数 writelog "code_scp" for node in $PRE_LIST;do # 循环服务器节点列表 scp ${TMP_DIR}/${PKG_NAME}.tar.gz $node:/opt/webroot/ # 将压缩后的代码包复制到web服务器的/opt/webroot done for node in $GROUP1_LIST;do # 循环服务器节点列表 scp ${TMP_DIR}/${PKG_NAME}.tar.gz $node:/opt/webroot/ # 将压缩后的代码包复制到web服务器的/opt/webroot done } cluster_node_add(){ #将web服务器添加至前端负载 echo cluster_node_add } cluster_node_remove(){ # 将web服务器从集群移除函数(正在部署的时候应该不处理业务) writelog "cluster_node_remove" } url_test(){ URL=$1 curl -s --head $URL |grep '200 OK' if [ $? -ne 0 ];then shell_unlock; writelog "test error" && exit; fi } pre_deploy(){ # 代码解压部署函数,预生产节点 writelog "pre_deploy" for node in ${PRE_LIST};do # 循环预生产服务器节点列表 cluster_node_remove ${node} # 部署之前将节点从前端负载删除 echo "pre_deploy, cluster_node_remove ${node}" ssh ${node} "cd /opt/webroot && tar zxf ${PKG_NAME}.tar.gz" #分别到web服务器执行压缩包解压命令 ssh ${node} "rm -f /webroot/web-demo && ln -s /opt/webroot/${PKG_NAME} /webroot/web-demo" # 整个自动化的核心，创建软连接 done } pre_test(){ # 预生产主机测试函数 for node in ${PRE_LIST};do # 循环预生产主机列表 curl -s --head http://${node}:9999/index.html | grep "200 OK" # 测试web界面访问 if [ $? -eq 0 ];then # 如果访问成功 writelog " ${node} Web Test OK!" # 记录日志 echo " ${node} Web Test OK!" cluster_node_add ${node} # 测试成功之后调用添加函数把服务器添加至节点, writelog "pre,${node} add to cluster OK!" # 记录添加服务器到集群的日志 else # 如果访问失败 writelog "${node} test no OK" # 记录日志 echo "${node} test not OK" shell_unlock # 调用删除锁文件函数 break # 结束部署 fi done } group1_deploy(){ # 代码解压部署函数 writelog "group1_code_deploy" for node in ${GROUP1_LIST};do # 循环生产服务器节点列表 cluster_node_remove $node echo "group1, cluster_node_remove $node" ssh ${node} "cd /opt/webroot && tar zxf ${PKG_NAME}.tar.gz" # 分别到各web服务器节点执行压缩包解压命令 ssh ${node} "rm -f /webroot/web-demo && ln -s /opt/webroot/${PKG_NAME} /webroot/web-demo" # 整个自动化的核心，创建软连接 done scp ${CONFIG_DIR}/other/192.168.3.13.server.xml 192.168.3.13:/webroot/web-demo/server.xml # 将差异项目的配置文件scp到此web服务器并以项目结尾 } group1_test(){ # 生产主机测试函数 for node in ${PRE_LIST};do # 循环生产主机列表 curl -s --head http://${node}:9999/index.html | grep "200 OK" #测试web界面访问 if [ $? -eq 0 ];then #如果访问成功 writelog " ${node} Web Test OK!" #记录日志 echo "group1_test,${node} Web Test OK!" cluster_node_add writelog " ${node} add to cluster OK!" #记录将服务器 添加至集群的日志 else #如果访问失败 writelog "${node} test no OK" #记录日志 echo "${node} test no OK" shell_unlock # 调用删除锁文件函数 break # 结束部署 fi done } emergency_code_get(){ #获取代码的函数 writelog "code_get" cd ${CODE_DIR} && git reset --hard HEAD^ #进入到代码目录更新代码，此处必须免密码更新，此目录仅用于代码更新不能放其他任何文件 /bin/cp -rf ${CODE_DIR} ${TMP_DIR}/ #临时保存代码并重命名，包名为时间+版本号，准备复制到web服务器 API_VERL=$(git show | grep commit | cut -d ' ' -f2) API_VER=$(echo ${API_VERL:0:8}) #取八位 } emergency(){ #紧急回退到上一个版本函数 emergency_code_get #执行将代码回退到上一个版本函数 code_build; #如果要编译执行编译函数 code_config; #cp配置文件 code_tar; #打包 code_scp; #scp到服务器 cluster_node_remove; pre_deploy; #预生产环境部署 pre_test; #预生产环境测试 group1_deploy; #生产环境部署 group1_test; #生产环境测试 code_config; #cp差异文件 #code_test; #代码测试 shell_unlock #执行完成后删除锁文件 } rollback_fun(){ for node in $ROLLBACK_LIST;do # 循环服务器节点列表 # 注意一定要加"号，否则无法在远程执行命令 ssh $node "rm -f /webroot/web-demo && ln -s /opt/webroot/$1 /webroot/web-demo" # 立即回滚到指定的版本，$1即指定的版本参数 echo "${node} rollback success!" done } rollback(){ # 代码回滚主函数 if [ -z $1 ];then shell_unlock # 删除锁文件 echo "Please input rollback version" && exit 3; fi case $1 in # 把第二个参数做当自己的第一个参数 list) ls -l /opt/webroot/*.tar.gz ;; *) rollback_fun $1 esac } main(){ if [ -f $LOCK_FILE ] ;then # 先判断锁文件在不在,如果有锁文件直接退出 echo "Deploy is running" && exit 10 fi DEPLOY_METHOD=$1 # 避免出错误将脚本的第一个参数作为变量 ROLLBACK_VER=$2 case $DEPLOY_METHOD in deploy) # 如果第一个参数是deploy就执行以下操作 shell_lock; # 执行部署之前创建锁。如果同时有其他人执行则提示锁文件存在 code_get; # 获取代码 code_build; # 如果要编译执行编译函数 code_config; # cp配置文件 code_tar; # 打包 code_scp; # scp到服务器 pre_deploy; # 预生产环境部署 pre_test; # 预生产环境测试 group1_deploy; # 生产环境部署 group1_test; # 生产环境测试 shell_unlock; # 执行完成后删除锁文件 ;; rollback) # 如果第一个参数是rollback就执行以下操作 shell_lock; # 回滚之前也是先创建锁文件 rollback $ROLLBACK_VER; shell_unlock; # 执行完成删除锁文件 ;; emergency) emergency; #紧急回退就不需要参数了，但是在执行的时候要确认一下是否要紧急回退，避免输入错误 ;; *) usage; esac } main $1 $2
1.1.4：修改当前web页面：
[www@master ~]$ cd web-demo [www@master web-demo]$ echo "<h1>jenkins deploy test" > index.html [www@master web-demo]$ git add index.html [www@master web-demo]$ git commit -m "jenkins deploy test" [master 9a43cf5] jenkins deploy test 1 file changed, 1 insertion(+), 1 deletion(-) [www@master web-demo]$ git push -u origin master Counting objects: 5, done. Compressing objects: 100% (2/2), done. Writing objects: 100% (3/3), 276 bytes | 0 bytes/s, done. Total 3 (delta 1), reused 0 (delta 0) To git@192.168.3.198:web/web-demo.git beb37cb..9a43cf5 master -> master Branch master set up to track remote branch master from origin.
1.4：回滚到任意版本：
1.4.1:在哪看回滚到的版本?:
$ ll /deploy/tmp/ #部署服务器，web服务器在nginx定义的目录查看版本
1.4.3：在jenkins执行回滚：
[root@slave01 ~]# ll /opt/webroot/ total 20672 drwxr-xr-x 5 www www 4096 Jun 26 11:36 web-demo_123_2017-06-26-11-36-44 -rw-rw-r-- 1 www www 1243347 Jun 28 22:03 web-demo_123_2017-06-26-11-36-44.tar.gz drwxr-xr-x 5 www www 4096 Jun 26 11:39 web-demo_123_2017-06-26-11-39-02 -rw-rw-r-- 1 www www 1243347 Jun 28 22:06 web-demo_123_2017-06-26-11-39-02.tar.gz drwxr-xr-x 5 www www 4096 Jun 26 12:04 web-demo_123_2017-06-26-12-04-19 -rw-rw-r-- 1 www www 1243351 Jun 28 22:31 web-demo_123_2017-06-26-12-04-19.tar.gz drwxr-xr-x 5 www www 4096 Jun 26 12:16 web-demo_123_2017-06-26-12-16-49 -rw-rw-r-- 1 www www 1243347 Jun 28 22:43 web-demo_123_2017-06-26-12-16-49.tar.gz drwxr-xr-x 5 www www 4096 Jun 26 12:18 web-demo_123_2017-06-26-12-18-09 -rw-rw-r-- 1 www www 1243347 Jun 28 22:45 web-demo_123_2017-06-26-12-18-09.tar.gz drwxr-xr-x 5 www www 4096 Jun 26 12:18 web-demo_123_2017-06-26-12-18-57 -rw-rw-r-- 1 www www 1243369 Jun 28 22:46 web-demo_123_2017-06-26-12-18-57.tar.gz -rw-rw-r-- 1 www www 45 Jun 29 06:21 web-demo__2017-06-30-14-28-54.tar.gz drwxrwxr-x 2 www www 4096 Jun 30 14:30 web-demo__2017-06-30-14-30-22 -rw-rw-r-- 1 www www 130 Jun 29 06:23 web-demo__2017-06-30-14-30-22.tar.gz drwxrwxr-x 2 www www 4096 Jun 30 14:31 web-demo__2017-06-30-14-31-53 -rw-rw-r-- 1 www www 219 Jun 29 06:24 web-demo__2017-06-30-14-31-53.tar.gz drwxrwxr-x 4 www www 4096 Jun 30 14:59 web-demo_75463f1b_2017-06-30-14-59-58 -rw-rw-r-- 1 www www 1236456 Jun 29 06:52 web-demo_75463f1b_2017-06-30-14-59-58.tar.gz drwxrwxr-x 4 www www 4096 Jun 30 15:05 web-demo_75463f1b_2017-06-30-15-05-57 -rw-rw-r-- 1 www www 1236450 Jun 29 06:58 web-demo_75463f1b_2017-06-30-15-05-57.tar.gz drwxrwxr-x 4 www www 4096 Jul 10 14:01 web-demo_75463f1b_2017-07-10-14-01-34 -rw-rw-r-- 1 www www 1236446 Jul 10 14:01 web-demo_75463f1b_2017-07-10-14-01-34.tar.gz drwxrwxr-x 4 www www 4096 Jun 30 15:18 web-demo_78869143_2017-06-30-15-18-29 -rw-rw-r-- 1 www www 1236465 Jun 29 07:11 web-demo_78869143_2017-06-30-15-18-29.tar.gz drwxrwxr-x 4 www www 4096 Jul 10 14:00 web-demo_78869143_2017-07-10-14-00-35 -rw-rw-r-- 1 www www 1236453 Jul 10 14:00 web-demo_78869143_2017-07-10-14-00-35.tar.gz drwxrwxr-x 3 www www 4096 Jun 30 14:14 web-demo_91d09cc2_2017-06-30-14-14-42 -rw-rw-r-- 1 www www 1236371 Jun 29 06:06 web-demo_91d09cc2_2017-06-30-14-14-42.tar.gz drwxrwxr-x 3 www www 4096 Jun 30 14:15 web-demo_91d09cc2_2017-06-30-14-15-16 -rw-rw-r-- 1 www www 1236382 Jun 29 06:08 web-demo_91d09cc2_2017-06-30-14-15-16.tar.gz drwxrwxr-x 4 www www 4096 Jul 10 14:08 web-demo_9a43cf55_2017-07-10-14-08-46 -rw-rw-r-- 1 www www 1233708 Jul 10 14:08 web-demo_9a43cf55_2017-07-10-14-08-46.tar.gz drwxrwxr-x 4 www www 4096 Jun 30 15:21 web-demo_b8f3be43_2017-06-30-15-21-55 -rw-rw-r-- 1 www www 1236454 Jun 29 07:14 web-demo_b8f3be43_2017-06-30-15-21-55.tar.gz drwxrwxr-x 4 www www 4096 Jul 10 12:34 web-demo_b8f3be43_2017-07-10-12-34-00 -rw-rw-r-- 1 www www 1236462 Jul 10 12:34 web-demo_b8f3be43_2017-07-10-12-34-00.tar.gz drwxrwxr-x 4 www www 4096 Jun 30 14:57 web-demo_dcfb44f0_2017-06-30-14-57-10 -rw-rw-r-- 1 www www 1236447 Jun 29 06:50 web-demo_dcfb44f0_2017-06-30-14-57-10.tar.gz
1.4.2:回滚任意版本就将版本的参数传递给脚本，脚本会将web-demo的链接重新指向传递的版本(参数)，比如我要回滚到web-demo_78869143_2017-06-30-15-18-29这个版本，则jenkins的配置为：
1.4.3：在jenkins执行回滚：
1.4.4:执行回滚的信息:
1.4.5:访问web界面测试任意版本回滚是否成功：
