同程旅游 Hadoop 安全实践

同程旅游 Hadoop 安全实践

6天前 浏览: 14 评论: 0

0x01 背景 当前大一点的公司都采用了共享Hadoop集群的模式。 共享Hadoop是指:数据存储方面,公有/私有的文件目录混合存放在hdfs上,不同的用户根据需求访问不同的数据; 计算资源方面,管理员按部门或业务划分若干个队列,每个队列分配一定量的资源,每个用户/组只能使用某个队列中得资源。这种模式可以减小维护成本,避免数据过度冗余,减少硬件成本。但这种类似于云存储/云计算的方式,面临的一个最

使用log_format为Nginx服务器设置更详细的日志格式

使用log_format为Nginx服务器设置更详细的日志格式

7天前 浏览: 8 评论: 0

使用log_format为Nginx服务器设置更详细的日志格式 nginx服务器日志相关指令主要有两条,一条是log_format,用来设置日志格式,另外一条是access_log,用来指定日志文件的存放路径、格式和缓存大小,一般在nginx的配置文件中日记配置(/usr/local/nginx/conf/nginx.conf)。 nginx的log_format有很多可选的参数用于指示服务器的活

Nginx主配置文件nginx.conf详解

Nginx主配置文件nginx.conf详解

1周前 (01-16) 浏览: 27 评论: 0

nginx环境的主配置文件nginx.conf详解 nginx的配置文件默认在nginx程序安装目录的conf下,主配置文件问nginx.conf。下面是nginx.conf文件的详细解释,如果有不太明白的,可以加我们的QQ群,来一下探讨。 [crayon-58858611edb6a750335542/]  

LVS集群之十种调度算法及负载均衡——理论

LVS集群之十种调度算法及负载均衡——理论

1周前 (01-14) 浏览: 36 评论: 0

一、LVS概念 LVS(Linux Virtual Server):Linux 虚拟服务器 LVS是个负载均衡设备,它不提供任何服务,用户请求到这里的时候,它是将客户需求转发至后端真正提供服务的服务,所以说后端的服务称作real server。LVS分为两段,前一段称为ipvsadm(管理集群服务的命令行工具),后面一段叫做ipvs(内核模块)【提示:LVS和iptables不能同时使用】。 二、

Nginx 的启动、停止、平滑重启、信号控制和平滑升级

Nginx 的启动、停止、平滑重启、信号控制和平滑升级

1周前 (01-13) 浏览: 28 评论: 0

Nginx的启动 [crayon-58858611ef755250230692/] Nginx的停止 [crayon-58858611ef760858737051/] Nginx的平滑启动 如果改变了 nginx 的配置文件,想重启 nginx,同样可以发送系统信号给 nginx 主进程的方式来进行。不过,重启之前,要确认 nginx 配置文件的语法是否正确的。否则 nginx 将不会加载新的配置

使用cacti监控服务器流量

使用cacti监控服务器流量

2周前 (01-09) 浏览: 29 评论: 0

刚刚铁匠已经介绍过怎么在centos6.5下安装cacti的环境了,下面来教教大家,怎么用刚刚装好的cacti来监控服务器的流量。 1、登录cacti,点击“Devices”,然后点击”Add”创建设备,如图: 2、然后输入Description,Hostname,Host Template选择“Generic SNMP-enabled Host”,SNMP Version一般选择“Version

Cacti简单安装详细步骤

Cacti简单安装详细步骤

2周前 (01-09) 浏览: 14 评论: 0

一、cacti概述 1. cacti是用php语言实现的一个软件,它的主要功能是用snmp服务获取数据,然后用rrdtool储存和更新数据,当用户需要查看数据的时候用rrdtool生成图表呈现给用户。因此,snmp和rrdtool是cacti的关键。Snmp关系着数据的收集,rrdtool关系着数据存储和图表的生成。 2. Mysql配合PHP程序存储一些变量数据并对变量数据进行调用,如:主机名、

Linux系统下查看网卡实时流量软件nload

Linux系统下查看网卡实时流量软件nload

2周前 (01-09) 浏览: 32 评论: 0

nload是个很好用的一个工具,功能也很强.只是相对单一,只能查看总的流量,不能像iptraf那样,可针对IP,协议等 可以实时地监控网卡的流量,分Incoming,Outgoing两部分,也就是流入与流出的流量。同时统计当前,平均,最小,最大,总流量的值,使人看了一目了然。下面是安装步骤: [crayon-58858611f09ed400555638/] [[email protected] nload

DRBD编译安装与配置

DRBD编译安装与配置

2周前 (01-09) 浏览: 7 评论: 0

DRBD介绍 DRBD是一个用软件实现的、无共享的、服务器之间镜像块设备内容的存储复制解决方案。 DRBD Logo数据镜像:实时、透明、同步(所有服务器都成功后返回)、异步(本地服务器成功后返回)。DBRD的核心功能通过Linux的内核实现,最接近系统的IO栈,但它不能神奇地添加上层的功能比如检测到EXT3文件系统的崩溃。DBRD的位置处于文件系统以下,比文件系统更加靠近操作系统内核及IO栈。

理解 Keystone 核心概念 – 每天5分钟玩转 OpenStack(18)

理解 Keystone 核心概念 – 每天5分钟玩转 OpenStack(18)

2周前 (01-09) 浏览: 17 评论: 0

作为 OpenStack 的基础支持服务,Keystone 做下面这几件事情: 管理用户及其权限 维护 OpenStack Services 的 Endpoint Authentication(认证)和 Authorization(鉴权) 学习 Keystone,得理解下面这些概念: User User 指代任何使用 OpenStack 的实体,可以是真正的用户,其他系统或者服务。 当 User

Linux集群系列之①—集群基础概念

Linux集群系列之①—集群基础概念

2周前 (01-08) 浏览: 12 评论: 0

如果业务量上涨,服务器性能跟不上有以下方案 1、Scale On:向上扩展(拥有了更好的硬件设备) 2、Scale Out:向外扩展   rsync:高效的复制工具,支持远程复制。 rsync+inotify:在主服务器上配置一个rsync服务,随时接受别人来远程同步,并且配置好inotify,随时监控自己服务器上对应的目录里面的文件,如果有改变,立即发送给别的服务器通知,别的服务器立马

mysql常用客户端工具的使用

mysql常用客户端工具的使用

2周前 (01-07) 浏览: 25 评论: 0

因为工作中有时候会用到mysql的客户端工具,但是有的不常用的,慢慢就忘记了,所以,铁匠在这里把自己之前总结记录的mysql客户端工具使用方法写下来。 mysql客户端工具 [crayon-58858611f227e903145911/] [crayon-58858611f2289406673062/] mysql客户端命令分为两类 mysql> [crayon-58858611f22939

Mysql数据库主从备份基本概念篇

Mysql数据库主从备份基本概念篇

3周前 (01-05) 浏览: 37 评论: 0

mysql数据库主从备份原理以及思路概念 [crayon-58858611f2e16713163764/] [crayon-58858611f2e21041906437/] 本文主要是为了实现mysql主从的备份效果,所以这里mysql就最基本的yum安装。 [crayon-58858611f2e2b617771644/] [crayon-58858611f2e34515297494/] 一、主从

使用Docker搭建Web漏洞测试环境

使用Docker搭建Web漏洞测试环境

4周前 (12-29) 浏览: 40 评论: 0

由于一直在做 Web 漏洞扫描器的开发, 那么就必然少不了 Web 的漏洞测试环境, 其中就包括 bWAPP、DVWA、OWASP WebGoat 等这些国际品牌。这些漏洞环境一般搭建比较繁琐, 而且出问题后有不能像 git 那样方便的’回滚’操作, 当然你可以使用 esxi 来管理, 不过虚拟机仍然会存在定期快照、回滚操作较长等繁重操作。 那有没有轻量级的能够快速搭建 Web 漏洞的测试环境呢?

Zabbix监控(十三):监控网络设备

Zabbix监控(十三):监控网络设备

4周前 (12-27) 浏览: 61 评论: 0

说明:本例使用VM虚拟机、GNS3模拟器、GETIF工具实验Zabbix监控网络设备。 1、配置Cisco路由器 本节以Cisco 2600路由器为例;只要支持SNMP协议的网络设备都可以使用本文档方法进行监控。 查看snmp-server系统命令: 交换机配置如下: 建立snmp团体,名称为public,权限为只读 1 (config)#snmp-server community public 

Linux设置IP地址 网关 DNS

Linux设置IP地址 网关 DNS

4周前 (12-25) 浏览: 32 评论: 0

切忌: 在做任何操作之前先备份原文件,我们约定备份文件的名称为:源文件名称+bak+日期,例如原文件名称为:centos.txt 那么备份文件名称为:centos.txtbak 引言:linux的网卡IP地址是存放在文件中的,这个配置文件在/etc/sysconfig/network-scripts下,名称分别为ifcfg-eth0,ifcfg-eth1等 如果你只有一块网卡,就只有ifcfg-e

部署 DevStack – 每天5分钟玩转 OpenStack(17)

部署 DevStack – 每天5分钟玩转 OpenStack(17)

1个月前 (12-23) 浏览: 34 评论: 0

本节按照以下步骤部署 DevStack 实验环境,包括控制节点和计算节点 创建虚拟机 按照物理资源需求创建 devstack-controller 和 devstak-compute 虚拟机 安装操作系统 安装 Ubuntu 14.04,并配置 eth0 的 IP devstack-controller  192.168.104.10 devstak-compute    192.168.104.

CentOS6.5配置VNCServer实现图形化访问桌面

CentOS6.5配置VNCServer实现图形化访问桌面

1个月前 (12-23) 浏览: 48 评论: 0

VNC (Virtual Network Console)是虚拟网络控制台的缩写。它 是一款优秀的远程控制工具软件,由著名的 AT&T 的欧洲研究实验室开发的。VNC 是在基于 UNIX 和 Linux 操作系统的免费的开源软件,远程控制能力强大,高效实用,其性能可以和Windows 和 MAC 中的任何远程控制软件媲美。 在 Linux 中,VNC 包括以下四个命令:vncserver,

Linux高级运维工程师面试题收集–带答案(更新)

Linux高级运维工程师面试题收集–带答案(更新)

1个月前 (12-22) 浏览: 370 评论: 0

1、Linux开机启动流程详细步骤是什么? 启动第一步——加载BIOS:当你打开计算机电源,计算机会首先加载BIOS信息,BIOS信息是如此的重要,以至于计算机必须在最开始就找到它。这是因为BIOS中包含了CPU的相关信息、设备启动顺序信息、硬盘信息、内存信息、时钟信息、PnP特性等等。在此之后,计算机心里就有谱了,知道应该去读取哪个硬件设备了。 启动第二步——读取MBR:众所周知,硬盘上第0磁道

详细解析Linux /etc/passwd文件

详细解析Linux /etc/passwd文件

1个月前 (12-22) 浏览: 34 评论: 0

在Linux /etc/passwd文件中每个用户都有一个对应的记录行,它记录了这个用户的一些基本属性。系统管理员经常会接触到这个文件的修改以完成对用户的管理工作。这个文件对所有用户都是可读的。但是Linux /etc/passwd文件中都有些什么内容呢? 它的内容类似下面的例子: [crayon-5885861203998139256696/] 从上面的例子我们可以看到,/etc/passwd中

解读Haproxy负载均衡

解读Haproxy负载均衡

1个月前 (12-21) 浏览: 30 评论: 0

在做反向代理服务器的负载均衡时,我们通常会使用nginx的均衡配置。其实,haproxy的负载均衡也是属于这一类的。那么关于这方面的配置过程我们现在来进行一下讲解。首先,对haproxy进行一个简单的介绍,之后就是安装和配置环节了。 HAProxy介绍 反向代理服务器,支持双机热备支持虚拟主机,但其配置简单,拥有非常不错的服务器健康检查功能,当其代理的后端服务器出现故障, HAProxy会自动将该

企业大数据分析实践指南、总结与展望

企业大数据分析实践指南、总结与展望

1个月前 (12-20) 浏览: 19 评论: 0

数据无处不在 在我们身处的时代,数据无处不在。据IBM公司估算,我们每天产生约2.5万ZB的数据,这意味着世界上90%数据都是过去的两年中产生的。 Gartner公司分析报告显示,在2015年财富500强的公司中百分之八十五的企业无法利用大数据来获取竞争优势。 到2020年,全世界将有上百万大数据相关的就业机会产生。这些庞大的数据蕴藏了宝贵财富,企业可以使用最先进的分析技术,利用这些数据更好地了解

大数据行业图谱(2):前有堵截,后有追兵,通用技术类公司如何突围

大数据行业图谱(2):前有堵截,后有追兵,通用技术类公司如何突围

1个月前 (12-20) 浏览: 21 评论: 0

从2011年至今,大数据概念火了五年,势头依然不减。从人人都在讲概念,到商业化应用典型案例出现,可以清晰地看到大数据在逐步落地。以Hadoop为代表的底层架构日趋成熟,处理数据的各项技术有了长足的进步,让大数据开始在各个领域发挥价值。 我们认为,大数据产业仍在初级阶段,商用价值仍未完整展现,市场前景一片广阔。一方面,国内企业IT投入占比低于全球平均标准,随着企业对信息化意识逐步提升,整个IT市场的

大数据行业图谱之(1):底层基础平台公司能做多大?

大数据行业图谱之(1):底层基础平台公司能做多大?

1个月前 (12-20) 浏览: 22 评论: 0

大数据是企业服务市场中的新兴领域,短短几年时间,大数据概念从兴起到落地,开始在各行各业发挥作用,行业政策频出,技术飞速发展,受到资本追捧。 整个大数据行业可大致分为三层,底层基础平台,中间层通用技术,上层行业应用。接下来,爱分析将按照上述分类,逐步介绍各细分领域的行业现状、未来前景。今天是大数据系列的第一篇——底层基础平台。 底层基础平台主要解决的是数据存储、计算的问题,是整个大数据生态的基石。采

Linux环境下Discuz! X2论坛nginx伪静态规则设置

Linux环境下Discuz! X2论坛nginx伪静态规则设置

1个月前 (12-20) 浏览: 17 评论: 0

[crayon-5885861204686286728505/] 案例: [[email protected] ~]# vim /usr/local/nginx/conf/nginx.conf 找到下面这行,在server_name  localhost;后边一行添加上面的代码 [crayon-5885861204694543235334/] 保存配置文件,最后重启nginx即可 [[email protected]

CentOS 6.5编译安装Nginx1.10.2+MySQL5.5.52+PHP5.5.38

CentOS 6.5编译安装Nginx1.10.2+MySQL5.5.52+PHP5.5.38

1个月前 (12-20) 浏览: 73 评论: 0

准备篇 一、配置防火墙,开启80端口,3306端口 [crayon-588586120511b222536836/] 二、关闭SELINU防火墙 [crayon-5885861205127850436050/] 三、系统约定 软件源码包存放位置:/usr/local/src 源码包存放安装位置:/usr/local/软件名字 四、下载软件包 1、下载nginx1.10.2 [[email protected]

为什么数据挖掘很难成功?

为什么数据挖掘很难成功?

1个月前 (12-16) 浏览: 9 评论: 0

大数据时代,数据挖掘变得越加重要,曾经做了很多,成功有之,失败的却更多,举一些例子,探究其失败原因,也许于大家都有启示吧。 数据缺失总是存在。 为什么数据挖掘的数据准备工作要这么长时间,可以理解成取数时间很长、转换成所需的数据形式和格式时间很长,毕竟只有这样做,才能喂给数据挖掘引擎处理。 但数据准备的真正目的,其实是要从特定业务的角度去获取一个真实的数据世界,数据的获取比处理重要,技巧倒是其次了。

切换注册

登录

忘记密码 ?

您也可以使用第三方帐号快捷登录

切换登录

注册

扫一扫二维码分享