• 排序:
    默认
    按访问量
    按评论量
  • losf命令及部分功能简介

    分类:linux 标签: lsof 进程 端口

    lsof(List Open Files)是一个强大的命令行工具,用于列出系统上被进程打开的文件信息。它不仅可以查看被锁定的文件,还有许多其他用途。让我们详细探讨 lsof 的功能: 1、检查文件锁定: lsof /path/to/file #这会显示正在使用指定文件的所有进程...
    阅读数:236 评论数:0
    2024-08-29 11:11:06
  • windows10系统wsl通过systemd桥接网络固定ip地址配置

    分类:linux 标签: wsl network systemd

    windows10安装wsl2并开启升级到最新版本 通过管理员权限打开powershell通过以下命令启用wsl 启用wsl DISM /online /enable-feature /featurename:VirtualMachinePlatform /norestart DISM...
    阅读数:815 评论数:0
    2023-04-04 13:53:17
  • mysql查看数据库大小以及使用情况

    分类:mysql 标签: mysql

    转自:https://blog.csdn.net/jiahao1186/article/details/124723834   一、用SQL命令查看Mysql数据库大小 要想知道每个数据库的大小的话,步骤如下: 1、进入information_schema 数据库(存放了其他的数据库的信息)...
    阅读数:743 评论数:0
    2022-07-08 11:59:27
  • python中for/else循环逻辑示例

    分类:python 标签: python for...else

    #!/usr/bin/env python # coding:UTF-8 # -*- coding:utf-8 -*- #双层for/else循环使用逻辑示例 #for循环中正常执行结束,则执行后面else中的语句;如果被break中断,则不执行else中的语句 for i in...
    阅读数:892 评论数:0
    2021-06-15 15:57:40
  • MySQL10个重要知识点

    分类:mysql 标签: mysql

    转自: 10道经典MySQL面试题 1.drop,delete与truncate的区别 相同点: truncate和不带where子句的delete,以及drop都会删除表内的数据 不同点:...
    阅读数:754 评论数:0
    2021-05-10 21:50:03
  • 67个解决数据处理的pandas函数

    分类:python 标签: pandas

    转自:总结了这67个pandas函数,完美解决数据处理,拿来即用! 今天,就为大家总结一下 “Pandas数据处理” 几个方面重要的知识,拿来即用,随查随查。 # 在使用之前,需要导入pandas库 import pandas as pd 导入数据 这里我为大家总结7个常见用法。...
    阅读数:999 评论数:0
    2021-04-30 00:35:43
  • 删除重复的图片(文件)的脚本

    分类:python 标签: python

    一个删除重复图片的脚本,改下文件后缀类型,可以删除各种类型的重复文件 通过计算md5值来区分文件是否重复。   #!/usr/bin/env python # coding:UTF-8 # -*- coding:utf-8 -*- #去除重复和图片大小小于2MB的图片 import...
    阅读数:857 评论数:0
    2021-04-22 22:10:03
  • sed常用命令

    分类:bash 标签: sed

    平时使用过的积累,留下方便参考 # sed 's/^/HEAD&/g' test.file 在每行的头添加字符,比如"HEAD" # sed 's/$/&TAIL/g' test.file 在每行的行尾添加字符,比如“TAIL” # sed 's/$/&\r/g' test.file...
    阅读数:1182 评论数:0
    2021-03-16 22:16:31
  • python的方括号、花括号和圆括号!

    分类:python 标签: 列表 元组 字典

    转自:用了十几年才想明白:Python的精髓居然是方括号、花括号和圆括号        ...
    阅读数:901 评论数:0
    2021-03-05 14:05:29
  • 字符串str二进制bytes编码解码和长度

    分类:python 标签: 编解码

    字符串在python内部的表示是unicode编码,也可以说现在的内存是unicode编码格式,硬盘是utf-8。 平常的数据操作都是先把数据读取到内存中,所以内存中都是unicode编码格式。所以我们平常在做编码转换时候,通常用unicode作为中间编码。...
    阅读数:868 评论数:0
    2021-03-03 01:07:52
  • 30个Python常用极简代码

    分类:python 标签: python

    转自:30个Python常用极简代码 学 Python 怎样才最快,当然是实战各种小项目,只有自己去想与写,才记得住规则。本文是 30 个极简任务,初学者可以尝试着自己实现;本文同样也是 30 段代码,Python 开发者也可以看看是不是有没想到的用法。 1 重复元素判定...
    阅读数:866 评论数:0
    2021-02-27 23:45:26
  • linux系统常用网络分析命令

    分类:linux 标签: ss lsof nc tcpdump

    linux常用网络分析命令 netstat命令: -r: 显示路由表 -n: 以数字方式显示 -t: 建立的tcp连接 -u: 显示udp连接 -l: 显示监听状态的连接 -p: 显示监听指定的套接字的进程的进程号及进程名 netstat -t       #查看当前已经建立的tcp连接...
    阅读数:2202 评论数:0
    2021-02-26 16:48:23
  • Shell 信号发送与捕捉

    分类:bash 标签: linux bash signal

    转自:https://blog.51cto.com/lizhenliang/1899347   1、Linux信号类型 信号(Signal):信号是在软件层次上对中断机制的一种模拟,通过给一个进程发送信号,执行相应的处理函数。 进程可以通过三种方式来响应一个信号:...
    阅读数:1125 评论数:0
    2021-01-25 22:59:41
  • js日期和时间

    分类:javascript 标签: js 时间

    JavaScript Date 对象 转自:https://www.w3school.com.cn/jsref/jsref_obj_date.asp   Date 对象 Date 对象用于处理日期和时间。 创建 Date 对象的语法: var myDate=new Date()...
    阅读数:1069 评论数:0
    2021-01-24 15:57:52
  • vsftp用户增减与权限管理脚本

    分类:bash 标签: vsftp

    vsftp用户与权限管理脚本 #!/bin/bash # echo "-------------------------------------------" echo "本脚本可添加或删除单个FTP用户..." echo -e...
    阅读数:811 评论数:0
    2020-12-31 23:40:07
  • Python正则表达式大全

    分类:python 标签: python 正则

    1 前言 正则表达式是对字符串(包括普通字符(例如,a 到 z...
    阅读数:852 评论数:0
    2020-12-31 19:17:32
  • python68个内置函数

    分类:python 标签: python 内置函数

    内置函数就是Python给你提供的, 拿来直接用的函数,比如print,input等。 截止到python版本3.6.2 ,一共提供了68个内置函数,具体如下: abs() dict() help() min() setattr() all() dir() hex() next()...
    阅读数:812 评论数:0
    2020-09-07 21:26:33
  • ​​​​​​​Pandas时间差(Timedelta)及时间范围(date_range)操作

    分类:python 标签: pandas

    时间差(Timedelta)是时间上的差异,以不同的单位来表示。例如:日,小时,分钟,秒。它们可以是正值,也可以是负值。 可以使用各种参数创建 Timedelta 对象 通过传递字符串,可以创建一个 timedelta 对象。参考以下示例代码 - import pandas as pd...
    阅读数:865 评论数:0
    2020-08-31 22:41:00
  • Pandas数据操作常用方法

    分类:python 标签: pandas

    #读取csv文件,只读取指定列名的内容 dft=pd.read_csv('/home/kulusi/conVdata/JHU_CSSE/05-06-2020.csv',usecols=['Country_Region','Confirmed','Deaths','Recovered'])...
    阅读数:849 评论数:0
    2020-08-31 22:29:58
  • RHEL7、8/CentOS7、8的多次登录失败黑名单脚本(firewalld防火墙)

    分类:linux 标签: firewall

    如题,直接上脚本,可以把尝试登录系统失败次数超过1000的IP加入黑名单。 $ cat ipattack.sh #!/bin/bash blackname=/home/kulusi/scripts/blackip_"$(date +%Y%m%d)" #...
    阅读数:1350 评论数:0
    2020-07-28 17:19:09
  • linux系统用route命令配置路由信息

    分类:linux 标签: 路由 route

    route 命令 设置和查看路由表都可以用 route 命令,设置内核路由表的命令格式是: route  [add|del] [-net|-host] target [netmask Nm] [gw Gw] [[dev] If] 参数说明: add : 添加一条路由规则 del :...
    阅读数:864 评论数:0
    2020-07-28 16:51:29
  • MySQL常用函数整理

    分类:mysql 标签: mysql 数据库

    1、数学函数 ABS(x) --返回x的绝对值 BIN(x) --返回x的二进制(OCT返回八进制,HEX返回十六进制) CEILING(x) --返回大于x的最小整数值 EXP(x) --返回值e(自然对数的底)的x次方 FLOOR(x) --返回小于x的最大整数值...
    阅读数:853 评论数:0
    2020-06-30 23:21:08
  • Oracle常用函数整理

    分类:oracle 标签: 数据库 oracle

    1、字符函数 字符函数接受字符参数,这些参数可以是表中的列,也可以是一个字符串表达式。常用的字符函数: ASCII(X) --返回字符X的ASCII码 --如:ASCII('A') 结果:65 CONCAT(X,Y) --连接字符串X和Y --如:CONCAT('SQL','数据库开发')...
    阅读数:773 评论数:0
    2020-06-30 23:15:51
  • js中const,var,let定义变量的区别

    分类:javascript 标签: js javascript

    js中三种定义变量的方式const, var, let的区别。 1.const定义的变量不可以修改,而且必须初始化。 const b = 2;//正确 // const b;//错误,必须初始化 console.log('函数外const定义b:' + b);//有输出值 // b = 5;...
    阅读数:836 评论数:0
    2020-05-23 19:59:29
  • python for嵌套循环遍历字典两种结果展现形式

    分类:python 标签: python 列表解析

    #列表中有3个子列表,每个子列表中又有2个字典 In [1]: l1 Out[1]: [[{'a': '1', 'b': '2', 'c': '3'}, {'a': 'A', 'b': 'B', 'c': 'C'}], [{'a': '11', 'b': '22', 'c': '33'},...
    阅读数:916 评论数:0
    2020-04-24 23:51:00
  • shell常用日期时间格式

    分类:bash 标签: 日期 时间

    写脚本经常会用到的一些时间格式 date +%F' '%T date +%D 04/09/20 date +%F 2020-04-09 date +%x 04/09/2020 date +%T 17:12:04 date +%X 05:13:38 PM date +%r 05:17:17...
    阅读数:916 评论数:0
    2020-04-09 17:52:20
  • 解析awk ‘!a[$0]++’去重功能

    分类:awk 标签: awk 去重

    awk ‘!a[$0]++’ a.txt 是awk ‘!a[$0]++ {print $0}’ a.txt的缩写,前面!a[$0]++是判断条件,{print $0}是要执行的结果,输出整行,可以省略 首先要理解a++和++a的不同...
    阅读数:869 评论数:0
    2020-03-21 23:35:22
  • echart地图缩放监听和随机高亮

    分类:javascript 标签: roam zoom highlight showtip

    监听地图被缩放和随机高亮,折腾了好长时间,记录下。 //监听地图缩放和拖拽 myChart_wdmap.on("georoam", function (params) { if(params.zoom!=null&&params.zoom!=undefined) { //捕捉到缩放动作...
    阅读数:1433 评论数:1
    2020-03-19 00:01:55
  • 十分钟玩转 jQuery

    分类:jquery 标签: jquery html

    一、简介 定义 jQuery创始人是美国John Resig,是优秀的Javascript框架; jQuery是一个轻量级、快速简洁的javaScript库。源码戳这 jQuery对象 jQuery产生的对象时jQuery独有的,只能自己调用 书写规则 支持链式操作;...
    阅读数:1202 评论数:2
    2020-03-03 22:38:27
  • python列表解析,也叫列表表达式

    分类:python 标签: python 列表解析

      列表解析是python迭代机制的一种应用,它常用于实现创建新的列表,因此要放置于[]中 [expression for iter_var in iterable] [expression for iter_var in iterable if cond_expr]...
    阅读数:1193 评论数:1
    2020-02-24 11:53:36
  • 用zip把元组或列表生成元组列表,用于动态构造字典

    分类:python 标签: python zip

    zip: 取得一个或多个序列为参数,将给定序列中的并排的元素配成元组,返回这些元组的列表 返回并行的元素元组的列表,常用于在for循环中遍历数个序列;zip(*list)逆操作   In [38]: zip("abc","123") 把元组生成元组列表,用于动态构造字典 Out[38]:...
    阅读数:1193 评论数:2
    2020-02-24 11:47:20
  • echarts中国地图配置部分

    分类:javascript 标签: 中国地图

    中国地图option配置部分 var option_chmap = { "title": [ { "text": "中国肺炎疫情地图", "subtext": "ynkulusi.com", "left": "center", "top": "8%", "textStyle": {...
    阅读数:854 评论数:0
    2020-02-24 11:42:08
  • echarts折线图配置参数

    分类:javascript 标签: 折线图

    echarts折线图配置参数: <script type="text/javascript"> var myChart_chinaDayList = echarts.init(document.getElementById('chinaDayList'), 'light',...
    阅读数:2057 评论数:0
    2020-02-24 11:34:57
  • MySQL基本知识点梳理和查询优化

    分类:mysql 标签: mysql

    目录 一、索引相关 二、EXPLIAN中有用的信息 三、字段类型和编码 四、SQL语句总结 五、踩坑 六、千万大表在线修改 七、慢查询日志 八、查看sql进程和杀死进程 九、一些数据库性能的思考  ...
    阅读数:795 评论数:0
    2020-02-24 11:19:20
  • Python装饰器

    分类:python 标签: python decorator

    转自:面试攻略 | 5分钟全面掌握 Python 装饰器 Python的装饰器是面试的常客,因为其写法复杂多变,经常忘记什么地方应该写哪种参数,新手学习起来也经常一头雾水,不怕不怕,看了这一篇你对装饰器的各种用法就全明白了。废话不多说,直接进入主题!   不带参数的函数,不带参数的装饰器...
    阅读数:897 评论数:0
    2020-01-11 10:22:45
  • js文件加载慢的解决方式

    分类:javascript 标签: js javascript

    当文档就绪时,使用js动态生成<script>标记,一个接一个的进行;   <script> $(document).ready(function(){ var HDom = document.documentElement.firstChild; var ADom =...
    阅读数:878 评论数:0
    2020-01-07 15:36:03
  • python多线程简单功能示例

    分类:python 标签: threading

    多线程例子,参考学习用。修改过一次,复杂了些,多跑几次更能理解相关功能。 #!/usr/bin/env python import threading import time from random import randint #print...
    阅读数:938 评论数:1
    2019-11-27 23:08:33
  • python多进程简单示例

    分类:python 标签: multiprocessing

    多进程例子,参考学习用 #!/usr/bin/env python from multiprocessing import Process from os import getpid from random import randint from time import time,...
    阅读数:824 评论数:2
    2019-11-27 23:06:05
  • 用nmcli命令配置VLAN

    分类:network 标签: rhel8 centos8

    如果在绑定bond接口上配置VLAN,绑定的所有slave接口都必须UP,绑定模式接口不支持配置fail_over_mac=follow选项,因为虚拟设备不能更改MAC地址来匹配父接口新的MAC地址 查看可用的网络接口 # ip address show...
    阅读数:833 评论数:0
    2019-10-08 09:15:19
  • 用nmcli命令配置网络组

    分类:network 标签: rhel8 centos8

    网络组:将多个网卡聚合在一起的方法,实现容错和提高吞吐量,提供更高的性能和扩展性 直接给两块网卡设置同一IP地址是不可以的,通过网络组,虚拟一块网卡对外提供连接,物理网卡的MAC地址被修改为相同的MAC地址,指向网络组接口的MAC 网络组由内核驱动和teamd守护进程实现...
    阅读数:883 评论数:0
    2019-10-08 09:14:28
  • 用nmcli命令进行桥接配置

    分类:network 标签: rhel8 centos8

    # nmcli connection add type bridge con-name bridge0 ifname bridge0 ipv4配置方式 # nmcli connection modify bridge0 ipv4.addresses '192.0.2.1/24' #...
    阅读数:876 评论数:0
    2019-10-08 09:13:24
  • 用nmcli命令进行网卡绑定配置

    分类:network 标签: rhel8 centos8

    # nmcli connection add type bond con-name bond0 ifname bond0 bond.options "mode=active-backup" # nmcli connection add type bond con-name bond0...
    阅读数:874 评论数:0
    2019-10-08 09:11:48
  • RHEL8/CentOS8的基础防火墙配置

    分类:linux 标签: firewall iptables

    systemctl systemctl unmask firewalld                   #执行命令,即可实现取消服务的锁定 systemctl mask firewalld                     #下次需要锁定该服务时执行 systemctl...
    阅读数:871 评论数:0
    2019-10-08 09:07:17
  • 通过nmcli管理配置网络

    分类:linux 标签: rhel8 centos8

    nmcli要实现自动补全,需要安装如下插件 # dnf install bash-completion 重新进入bash或者执行以下命令才有效 # source /etc/profile.d/bash_completion.sh...
    阅读数:863 评论数:0
    2019-10-08 09:05:00
  • hadoop streaming参数说明

    分类:hadoop 标签: hadoop streaming

    hadoop jar /usr/local/hadoop/hadoop-2.6.5/share/hadoop/tools/lib/hadoop-streaming-2.6.5.jar --info Usage: $HADOOP_PREFIX/bin/hadoop jar...
    阅读数:885 评论数:0
    2019-09-05 22:54:03
  • hadoop命令大全

    分类:hadoop 标签: hadoop hdfs

    hdfs常用命令: 第一部分:hdfs文件系统命令 第一类:文件路径增删改查系列: hdfs dfs -mkdir dir  创建文件夹 hdfs dfs -rmr dir  删除文件夹dir hdfs dfs -ls  查看目录文件信息 hdfs dfs -lsr  递归查看文件目录信息...
    阅读数:816 评论数:0
    2019-09-04 21:10:23
  • MapReduce编程实例:单词计数

    分类:hadoop 标签: hadoop mapreduce

    本节介绍如何编写基本的 MapReduce 程序实现数据分析。本节代码是基于 Hadoop 2.7.3 开发的。 任务准备 单词计数(WordCount)的任务是对一组输入文档中的单词进行分别计数。假设文件的量比较大,每个文档又包含大量的单词,则无法使用传统的线性程序进行处理,而这类问题正是...
    阅读数:826 评论数:0
    2019-09-03 18:39:24
  • MapReduce执行流程和Shuffle过程

    分类:hadoop 标签: hadoop mapreduce

    本节将对 Hadoop MapReduce 的工作机制进行介绍,主要从 MapReduce 的作业执行流程和 Shuffle 过程方面进行阐述。通过加深对 MapReduce 工作机制的了解,可以使程序开发者更合理地使用 MapReduce 解决实际问题。 Hadoop...
    阅读数:850 评论数:0
    2019-09-03 18:38:05
  • MapReduce实例分析:单词计数

    分类:hadoop 标签: hadoop mapreduce

    单词计数是最简单也是最能体现 MapReduce 思想的程序之一,可以称为 MapReduce 版“Hello World”。单词计数的主要功能是统计一系列文本文件中每个单词出现的次数。本节通过单词计数实例来阐述采用 MapReduce 解决实际问题的基本思路和具体实现过程。 设计思路...
    阅读数:783 评论数:0
    2019-09-03 18:37:00
  • Hadoop MapReduce工作流程

    分类:hadoop 标签: hadoop mapreduce

    MapReduce 就是将输入进行分片,交给不同的 Map 任务进行处理,然后由 Reduce 任务合并成最终的解。 MapReduce 的实际处理过程可以分解为 Input、Map、Sort、Combine、Partition、Reduce、Output 等阶段,具体的工作流程如图 1...
    阅读数:815 评论数:0
    2019-09-03 18:35:42
  • Hadoop MapReduce架构

    分类:hadoop 标签: hadoop mapreduce

    Hadoop MapReduce 是 Hadoop 平台根据 MapReduce 原理实现的计算框架,目前已经实现了两个版本,MapReduce 1.0 和基于 YARN 结构的 MapReduce 2.0。 尽管 MapReduce 1.0...
    阅读数:913 评论数:0
    2019-09-03 18:34:30
  • Hadoop MapReduce简介

    分类:hadoop 标签: hadoop mapreduce

    本节首先简单介绍大数据批处理概念,然后介绍典型的批处理模式 MapReduce,最后对 Map 函数和 Reduce 函数进行描述。 批处理模式...
    阅读数:874 评论数:0
    2019-09-03 18:32:44
  • HDFS两种操作方式:命令行和Java API

    分类:hadoop 标签: HDFS hadoop java

    HDFS 文件操作有两种方式:一种是命令行方式,Hadoop 提供了一套与 Linux 文件命令类似的命令行工具;另一种是 Java API,即利用 Hadoop 的 Java 库,采用编程的方式操作 HDFS 的文件。 本节将介绍 Linux 操作系统中关于 HDFS...
    阅读数:1531 评论数:0
    2019-09-02 20:52:28
  • HDFS读取和写入数据简介

    分类:hadoop 标签: HDFS hadoop

    HDFS 的文件访问机制为流式访问机制,即通过 API 打开文件的某个数据块之后,可以顺序读取或者写入某个文件。由于 HDFS...
    阅读数:815 评论数:0
    2019-09-02 20:46:58
  • HDFS架构和实现机制简介

    分类:hadoop 标签: HDFS hadoop

    本节将对 HDFS 的整体架构和基本实现机制进行简单介绍。 HDFS 整体架构 HDFS 是一个主从 Master/Slave 架构。一个 HDFS 集群包含一个 NameNode,这是一个 Master Server,用来管理文件系统的命名空间,以及调节客户端对文件的访问。一个 HDFS...
    阅读数:874 评论数:0
    2019-09-02 20:46:05
  • HDFS基本原理和设计理念

    分类:hadoop 标签: HDFS hadoop

    本节将对 HDFS 的基本原理进行讲解。 文件系统的问题 文件系统是操作系统提供的磁盘空间管理服务,该服务只需要用户指定文件的存储位置及文件读取路径,而不需要用户了解文件在磁盘上是如何存放的。 但是当文件所需空间大于本机磁盘空间时,应该如何处理呢? 加磁盘,但是加到一定程度就有限制了。...
    阅读数:824 评论数:0
    2019-09-02 20:44:42
  • Hadoop HDFS分布式文件系统简介

    分类:hadoop 标签: 大数据 hadoop

    在大数据时代,需要处理分析的数据集的大小已经远远超过了单台计算机的存储能力,因此需要将数据集进行分区并存储到若干台独立的计算机中。但是,分区存储的数据不方便管理和维护,迫切需要一种文件系统来管理多台机器上的文件,这就是分布式文件系统。...
    阅读数:787 评论数:0
    2019-09-02 20:43:14
  • Scrapy网络爬虫简介

    分类:大数据 标签: 大数据 scrapy

    Scrapy 是一个为了爬取网站数据、提取结构性数据而编写的应用框架,可以应用在包括数据挖掘、信息处理或存储历史数据等一系列的程序中。 1. Scrapy 架构 Scrapy 的整体架构由 Scrapy...
    阅读数:866 评论数:0
    2019-09-02 20:33:37
  • 通过网络爬虫采集大数据

    分类:大数据 标签: 大数据 爬虫

    网络数据采集是指通过网络爬虫或网站公开 API 等方式从网站上获取数据信息。该方法可以将非结构化数据从网页中抽取出来,将其存储为统一的本地数据文件,并以结构化的方式存储。它支持图片、音频、视频等文件或附件的采集,附件与正文可以自动关联。...
    阅读数:964 评论数:0
    2019-09-02 20:30:15
  • 通过系统日志采集大数据

    分类:大数据 标签: 大数据 flume

    许多公司的平台每天都会产生大量的日志,并且一般为流式数据,如搜索引擎的 pv 和查询等。处理这些日志需要特定的日志系统,这些系统需要具有以下特征。 构建应用系统和分析系统的桥梁,并将它们之间的关联解耦。 支持近实时的在线分析系统和分布式并发的离线分析系统。...
    阅读数:839 评论数:0
    2019-09-02 20:27:58
  • GFS、MapReduce和BigTable:Google的三种大数据处理系统

    分类:大数据 标签: 大数据 GFS MapReduce BigTable

    Google 在搜索引擎上所获得的巨大成功,很大程度上是由于采用了先进的大数据管理和处理技术。Google 的搜索引擎是针对搜索引擎所面临的日益膨胀的海量数据存储问题,以及在此之上的海量数据处理问题而设计的。 众所周知,Google...
    阅读数:808 评论数:0
    2019-09-01 22:51:50
  • 大数据预处理之数据消减

    分类:大数据 标签: 大数据 bigdata

    我们都知道对大规模数据进行复杂的数据分析通常需要耗费大量的时间,这时就需要我们的数据消减技术了。...
    阅读数:850 评论数:0
    2019-09-01 22:50:00
  • 大数据预处理之数据转换

    分类:大数据 标签: 大数据 bigdata

    数据转换就是将数据进行转换或归并,从而构成一个适合数据处理的描述形式。数据转换包含以下处理内容。 1)平滑处理 帮助除去数据中的噪声,主要技术方法有 Bin 方法、聚类方法和回归方法。 2)合计处理...
    阅读数:790 评论数:0
    2019-09-01 22:48:37
  • 大数据预处理之数据集成

    分类:大数据 标签: 大数据 bigdata

    数据处理常常涉及数据集成操作,即将来自多个数据源的数据,如数据库、数据立方、普通文件等,结合在一起并形成一个统一数据集合,以便为数据处理工作的顺利完成提供完整的数据基础。 在数据集成过程中,需要考虑解决以下几个问题。 1. 模式集成问题...
    阅读数:718 评论数:0
    2019-09-01 22:47:30
  • 大数据预处理之数据清洗

    分类:大数据 标签: 大数据 bigdata

    现实世界的数据常常是不完全的、有噪声的、不一致的。数据清洗过程包括遗漏数据处理,噪声数据处理,以及不一致数据处理。本节介绍数据清洗的主要处理方法。 遗漏数据处理...
    阅读数:900 评论数:0
    2019-09-01 22:45:43
  • 大数据处理技术有哪些?

    分类:大数据 标签: 大数据 bigdata

    本节将对大数据技术的基本概念进行简单介绍,包括分布式计算、服务器集群和 Google 的 3 个大数据技术。 分布式计算 对于如何处理大数据,计算机科学界有两大方向。 第一个方向是集中式计算,就是通过不断增加处理器的数量来增强单个计算机的计算能力,从而提高处理数据的速度。...
    阅读数:742 评论数:0
    2019-09-01 22:44:08
  • 大数据处理的基本流程:数据抽取与集成+数据分析+数据解释

    分类:大数据 标签: 大数据 bigdata

    大数据的数据来源广泛,应用需求和数据类型都不尽相同,但是最基本的处理流程是一致的。...
    阅读数:663 评论数:0
    2019-09-01 22:39:06
  • 大数据开发涉及到的关键技术有哪些?

    分类:大数据 标签: 大数据 bigdata

    大数据本身是一种现象而不是一种技术。大数据技术是一系列使用非传统的工具来对大量的结构化、半结构化和非结构化数据进行处理,从而获得分析和预测结果的数据处理技术。...
    阅读数:815 评论数:0
    2019-09-01 22:37:13
  • Hadoop大数据处理框架简介

    分类:大数据 标签: hadoop 大数据 bigdata

    Hadoop 是一个处理、存储和分析海量的分布式、非结构化数据的开源框架。最初由 Yahoo 的工程师 Doug Cutting 和 Mike Cafarella 在 2005 年合作开发。后来,Hadoop 被贡献给了 Apache 基金会,成为 Apache 基金会的开源项目。...
    阅读数:711 评论数:0
    2019-09-01 22:31:53
  • 大数据是什么?1分钟了解大数据的概念!

    分类:大数据 标签: bigdata 大数据

    大数据本身是一个抽象的概念。从一般意义上讲,大数据是指无法在有限时间内用常规软件工具对其进行获取、存储、管理和处理的数据集合。 目前,业界对大数据还没有一个统一的定义,但是大家普遍认为,大数据具备 Volume、Velocity、Variety 和 Value...
    阅读数:744 评论数:0
    2019-09-01 22:22:24
  • mysq、sql常用语句大全

    分类:mysql 标签: sql 命令

    一 、常用操作数据库的命令 1.show databases; 查看所有的数据库 2.create database test; 创建一个叫test的数据库 3.drop database test;删除一个叫test的数据库 4.use test;选中库 ,在建表之前必须要选择数据库...
    阅读数:772 评论数:0
    2019-08-08 08:47:57
  • hadoop HDFS常用文件操作命令

    分类:hadoop 标签: 命令

    转自:https://www.cnblogs.com/iloverain/p/8809950.html 命令基本格式: 1   hadoop fs -cmd < args > 1. ls 列出hdfs文件系统根目录下的目录和文件 1   hadoop fs -ls  /dir 1  ...
    阅读数:728 评论数:0
    2019-08-08 08:38:39
  • YARN学习小知识

    分类:hadoop 标签: yarn hadoop

    YARN产生背景 Hadoop1.x时: MapReduce: Master/Slave架构,1个JobTracker带多个TaskTracker JobTracker: 负责资源管理和作业调度 TaskTracker: 定期向JT汇报本节点的健康状况、资源使用情况、作业执行情况;...
    阅读数:893 评论数:0
    2019-08-08 08:22:57
  • python爬虫学习之爬取5K分辨率超清唯美壁纸

    分类:python 标签: 爬图

    简介 壁纸的选择其实很大程度上能看出电脑主人的内心世界,有的人喜欢风景,有的人喜欢星空,有的人喜欢美女,有的人喜欢动物。然而,终究有一天你已经产生审美疲劳了,但你下定决定要换壁纸的时候,又发现网上的壁纸要么分辨率低,要么带有水印。 完整源代码 # -*- coding:utf-8 -*-...
    阅读数:804 评论数:0
    2019-07-10 16:36:01
  • 用 Python 批量解压文件到指定路径

    分类:python 标签:

    今天给大家分享一个简单的Python脚本,用于批量解压zip文件到指定文件夹。可以节省你大量的时间,对于处理一些大批量的zip文件有很大的帮助。     导入需要使用到的模块,zipfile, os两个,这两个都是python自带的模块所以直接导入就可以了。   import zipfile...
    阅读数:797 评论数:0
    2019-06-16 10:24:32
  • MySQL 高性能优化实战全解

    分类:mysql 标签: mysql 优化

    摘自:MySQL高性能优化实战全解...
    阅读数:880 评论数:0
    2019-06-16 10:17:59
  • awk字符串操作函数

    分类:bash 标签: awk

    awk中包含大多数常见的字符串操作函数。 1. sub(ere, repl[, in]) 描述:简单地说,就是将in中匹配ere的部分替换成repl,返回值是替换的次数。如果in参数省略,默认使用$0。替换的动作会直接修改变量的值。 下面是一个简单的替换的例子: echo "hello,...
    阅读数:798 评论数:0
    2019-02-22 15:00:08
  • Flask 快速学习指南:从入门到开发

    分类:flask 标签: flask jinja2

    转自:https://blog.csdn.net/u011054333/article/details/70151857 Flask是一个Python编写的Web 微框架,让我们可以使用Python语言快速实现一个网站或Web服务。本文参考自Flask官方文档,大部分代码引用自官方文档。...
    阅读数:802 评论数:0
    2019-02-04 16:20:48
  • 用Python更加了解微信好友

    分类:python 标签: 微信 wxpy

    转自:https://mp.weixin.qq.com/s/oI2pH8uvq4kwYqc4kLMjuA?   用了微信几年了,微信号有也不少了,但是真正了解自己的好友吗?好友最多的城市是哪个?好友男女比例是多少?好友签名都是什么?今天我们来充分了解自己的微信好友。...
    阅读数:835 评论数:0
    2019-01-25 06:45:23
  • 通过电脑或其他客户端ssh到安卓手机备份照片等

    分类:linux 标签: ssh

    转自:https://lujun9972.github.io 使用Termux把Android手机变成SSH服务器 目录 Termux是一款能够为Android手机提供Linux环境的应用。它最大的特点就是无需root,而且自带pkg包管理软件,可以很方便的其他linux应用。...
    阅读数:794 评论数:1
    2018-12-30 14:46:47
  • CentOS下mysql主从同步与读写分离配置

    分类:mysql 标签: mysql

    说明:有两台系统一致的服务器,网络连接正常,能互相PING通,时钟一致 操作系统:CentOS 6.6 64位 MySQL数据库版本:mysql-5.1.73-3.el6_5.x86_6 Master:IP(192.168.1.1) Slave:IP(192.168.1.2)...
    阅读数:867 评论数:1
    2018-12-28 14:52:05
  • linux系统中samba的安装与配置

    分类:linux 标签: samba

    好些年前的配置安装日志了,留给需要的人参考吧。 1、检查Samba服务包是否已安装 [root@hulusi home]# rpm -qa |grep samba samba-common-3.6.9-168.el6_5.i686 samba-3.6.9-168.el6_5.i686...
    阅读数:821 评论数:0
    2018-12-28 14:48:24
  • mysql中文乱码问题处理

    分类:mysql 标签: mysql

    mysql修改表、字段、库的字符集 修改数据库字符集: ALTER DATABASE db_name DEFAULT CHARACTER SET character_name [COLLATE ...]; 把表默认的字符集和所有字符列(CHAR,VARCHAR,TEXT)改为新的字符集:...
    阅读数:752 评论数:0
    2018-12-28 14:29:50
  • Python遍历字典的一些基本方法

    分类:python 标签: dict 遍历

    基础知识,会用到的 脚本: #!/usr/bin/python dict={"a":"apple","b":"banana","o":"orange"} print "##########dict######################" for i in dict: print...
    阅读数:822 评论数:2
    2018-11-12 18:28:14
  • 模板jinja2常用方法

    分类:jinja2 标签: filter jinja2

    数学运算       +, -, *, /, **, //, %等数学运算符都支持. 逻辑运算       and, or, not也同样支持 先丢个官网过滤器地址:http://jinja.pocoo.org/docs/2.10/templates/#builtin-filters...
    阅读数:784 评论数:0
    2018-11-09 09:35:57
  • 二进制八进制十进制十六进制之间转换

    分类:python 标签: 进制

    各进制之间相互转换,弄个脚本跑下终归是方便些。 #!/usr/bin/python27 # -*- coding: utf-8 -*- import os,sys,time reload(sys) sys.setdefaultencoding('utf-8') if...
    阅读数:787 评论数:1
    2018-11-07 23:11:49
  • python pickle 模块的使用

    分类:python 标签: pickle

    用于序列化的两个模块 json:用于字符串和Python数据类型间进行转换 pickle: 用于python特有的类型和python的数据类型间进行转换 json提供四个功能:dumps,dump,loads,load pickle提供四个功能:dumps,dump,loads,load...
    阅读数:854 评论数:0
    2018-11-04 11:35:38
  • 两个三层交换机配置vrrp实例

    分类:network 标签: vrrp

    交换机VRRP配置在vlan接口时,需要连接心跳线,允许该vlan通过,交换机配置vrrp在物理接口上时,需要有下层交换机来充当心跳线,透传交换机状态。 SwitchA(config)#vlan 10 SwitchA(config-vlan)#name vlan10...
    阅读数:722 评论数:0
    2018-10-31 13:35:57
  • EtherChannel :以太信道端口绑定

    分类:network 标签: 端口聚合

    etherchannel 的特点:...
    阅读数:828 评论数:0
    2018-10-31 09:58:28
  • python获取本地外网IP地址

    分类:python 标签: ip

    一家伙要帮写的 #!/usr/bin/python # -*- coding: UTF-8 -*- import urllib2, time #ip = urllib2.urlopen('http://ip.42.pl/raw').read() ip =...
    阅读数:798 评论数:1
    2018-10-25 15:36:24
  • linux系统SSH源码升级安装步骤

    分类:linux 标签: ssh ssl

    近期又被扫描到ssh漏洞,没有最新的rpm包,懒得做了,系统版本多,直接源码编译安装吧! 下载编译系统所缺软件包 RHEL和CentOS系统各版本:http://vault.centos.org 用scp上传升级需要的所有文档到服务器上(根据实际需求和不同系统版本选择)...
    阅读数:843 评论数:0
    2018-10-10 16:55:56
  • linux中iptables关于ping的设置

    分类:linux 标签: linux ping

    允许其他机器能ping通本机 iptables -A INPUT -p icmp --icmp-type echo-request -j ACCEPT iptables -A OUTPUT -p icmp --icmp-type echo-reply -j ACCEPT...
    阅读数:832 评论数:0
    2018-09-28 10:15:59
  • 双网卡绑定和vlan子接口配置

    分类:linux 标签: 网卡绑定 vlan

    系统是rhel和centos ①.双网卡绑定 # service NetworkManager stop    先停止NetworkManager # cd /etc/sysconfig/network-scripts/   #进入目录下建立ifcfg-bond0文件 # cp...
    阅读数:883 评论数:0
    2018-09-13 13:52:08
  • 进程管理supervisor的简单说明

    分类:linux 标签: supervisor

    本文转载自:https://www.cnblogs.com/zhoujinyi/p/6073705.html 背景...
    阅读数:782 评论数:1
    2018-09-11 16:06:59
  • Python通过正则表达式去除(过滤)HTML标签

    分类:python 标签: 正则 html

    ##过滤HTML中的标签 #将HTML中标签等信息去掉 #@param htmlstr HTML字符串. def filter_tags(htmlstr): #先过滤CDATA re_cdata=re.compile('//<!\[CDATA\[[^>]*//\]\]>',re.I)...
    阅读数:849 评论数:0
    2018-08-26 23:55:33
  • jquery利用attr、prop方法获取、设置input的checked属性

    分类:jquery 标签: attr prop jquery checked

    转自:https://blog.csdn.net/xiaouncle/article/details/52001117 在jquery中应该使用prop方法来获取和设置checked属性,不应该使用attr,需要的朋友可以参考下。 1、prop方法获取、设置checked属性 <input...
    阅读数:829 评论数:0
    2018-08-25 15:20:00
  • 用jQuery动态获取本地时间

    分类:jquery 标签: jquery 时间

    HTML部分: <sapn class="time-info" id="time-info"> jQuery部分:  function time(){ var now=new Date(), time=now.toLocaleTimeString(); return time; }...
    阅读数:859 评论数:2
    2018-08-19 07:39:13
  • Flask实现分页功能

    分类:flask 标签: flask 分页

    转自:https://blog.csdn.net/weixin_36380516/article/details/80295101 在web开发中,分页是必不可少的功能,Flask实现展示内容的分页也非常简单,这里通过实例来学习一下Flask如何为网站分页。...
    阅读数:791 评论数:0
    2018-08-10 17:16:41
  • 测试我的文章页面翻页功能

    分类:html 标签: html python

    测试文章翻页功能。 2018/8/26编辑更新。
    阅读数:822 评论数:0
    2018-07-29 22:35:34
  • jQuery动态添加、删除css样式

    分类:jquery 标签: CSS 添加 删除

    两种方式动态添加css样式  1.addClass  css中: <style type="text/css"> .chColor {background: #267cb7;color:white; } </style> js中:...
    阅读数:838 评论数:1
    2018-07-27 18:36:32
  • 用CSS制作返回顶部的向上箭头

    分类:css 标签: border CSS

    <html> <head> <style type="text/css"> p { width:0px; border-left: 15px solid transparent; border-right: 15px solid transparent; border-bottom:...
    阅读数:830 评论数:3
    2018-07-20 20:57:20
  • 鼠标经过显示下拉菜单css配置

    分类:html 标签: CSS hover

    当鼠标经过ul区域文字时,显示li内容,鼠标移开后,不现实li内容。 <div id="a"> <ul>鼠标经过这里 <li> <ul> <li>AAA</li> </ul> </li> <li> <ul> <li>BBB</li> </ul> </li> <li> <ul>...
    阅读数:854 评论数:2
    2018-07-10 00:01:21
  • jinja2常用过滤器与 Flask 特殊变量及方法

    分类:jinja2 标签: filter flask jinja2

    转自:https://blog.csdn.net/jmilk/article/details/53292248 Jinja 中常用的过滤器 default 如果传入变量代码块的值为 None,则传入默认值: {{ post.date | default("2016-11-22") }}...
    阅读数:900 评论数:0
    2018-07-06 01:05:08
  • jQuery隐藏和显示某元素,淡入淡出和滑动

    分类:jquery 标签: 隐藏 显示 淡入淡出

    转自:https://blog.csdn.net/panlu666_pl/article/details/70919899 隐藏和显示 hide()和show() hide()作用:隐藏HTML元素  (相当于CSS中 display:none;) show()作用:显示HTML元素 ...
    阅读数:871 评论数:3
    2018-07-05 23:40:27
  • python的各种推导式(列表推导式、字典推导式、集合推导式)

    分类:python 标签: 推导式 python

    转自:python的各种推导式 推导式comprehensions(又称解析式),是Python的一种独有特性。推导式是可以从一个数据序列构建另一个新的数据序列的结构体。 共有三种推导,在Python2和3中都有支持: 列表(list)推导式 字典(dict)推导式 集合(set)推导式...
    阅读数:818 评论数:4
    2018-07-04 13:44:00
  • CSS border-radius边框圆角

    分类:html 标签: CSS border-radius

    转自:CSS border-radius边框圆角 在CSS3中提供了对边框进行圆角设定的支持,可对边框1~4个角进行圆角样式设置。 目录 1. 介绍 2. value值的格式和类型 3. border-radius 1~4个参数说明 4. 在线示例   1. 介绍 1.1 圆角属性...
    阅读数:837 评论数:1
    2018-07-03 22:58:35
  • python字符串、列表、元组、字典的基本操作

    分类:python 标签: str list tuple dict

    转自:非常用字符串方法   列表:list - list.append(obj) # 在列表末尾添加新的对象 - list.count(obj) # 统计某个元素在列表中出现的次数 - list.extend(seq) # 在列表末尾一次性追加另一个序列中的多个值(用新列表扩展原来的列表)...
    阅读数:886 评论数:0
    2018-07-03 22:19:58
  • 标签规范化测试完成

    分类:区块链 标签: 区块链 AI python

    测试内容:区块链/AI/python 以斜杠分割多个标签,前台每个标签对应一个超链接。
    阅读数:789 评论数:0
    2018-07-03 16:04:28
  • docker测试

    分类:docker 标签: docker

    测试文章分类功能,自动获取新增分类。
    阅读数:1068 评论数:5
    2018-07-01 00:46:40
  • 通俗易懂的讲解区块链

    分类:区块链 标签: 区块链

        最近,区块链很火,刚刚在人大会上又火了一把。之所以如此,是因为区块链既是全新的技术方案、交易模式和商业逻辑,同时也是一种全新的制度机制。区块链的“网红效应”才刚刚开始。    ...
    阅读数:795 评论数:2
    2018-06-30 10:41:55
  • 配置PS1变量

    分类:bash 标签: PS1

    配置登录账号的PS1变量,修改命令行提示信息及颜色 全局用户修改 vim /etc/profile文件,插入以下内容 export...
    阅读数:1089 评论数:0
    2018-06-29 18:05:38
  • jQuery实现动态添加、删除按钮及input输入框的方法

    分类:linux 标签: 增减按钮

    转自:https://www.jb51.net/article/112370.htm 这篇文章主要介绍了jQuery实现动态添加、删除按钮及input输入框的方法,涉及jQuery事件响应及页面元素动态操作相关实现技巧,需要的朋友可以参考下...
    阅读数:832 评论数:1
    2018-06-28 21:35:18
  • python 列表排序方法sort、sorted技巧篇

    分类:python 标签: sort sorted 排序

    转自:https://www.cnblogs.com/whaben/p/6495702.html   Python list内置sort()方法用来排序,也可以用python内置的全局sorted()方法来对可迭代的序列排序生成新的序列。 1)排序基础...
    阅读数:835 评论数:1
    2018-06-24 23:06:02
  • SQLAlchemy ORM使用经验

    分类:python 标签: mysql orm

    转自:https://www.keakon.net/2012/12/03/SQLAlchemy%E4%BD%BF%E7%94%A8%E7%BB%8F%E9%AA%8C 上篇文章提到了,最近在用 Python...
    阅读数:895 评论数:2
    2018-06-24 22:25:48
  • 测试代码框宽度

    分类:linux 标签: width

     测试代码框宽度,是否显示异常。   logs_10 = db.session.query(Operation_logs.url,func.count(Operation_logs.url)).filter(Operation_logs.record_time >=...
    阅读数:976 评论数:3
    2018-06-22 18:32:22
  • 脚本实现scp传输文件和ssh登陆执行命令

    分类:linux 标签: ssh_cmd

    #!/bin/bash CMD_PROMPT="\](\$|#)" script="/home/kulusi/scripts/test.sh" username='user' password='pass' #如果传递的变量中带特殊自己要加\转义,如$[*.`?)}等 while read...
    阅读数:840 评论数:0
    2018-06-22 17:43:15
  • CMD一键获取 所有连接过的WIFI密码

    分类:network 标签: test one

    CMD平常人看起來根本沒什麼用,但是如果你会使用,你会发现:它真的很强大! Windows 8、Windows 8.1、Windows 10已测试成功!Windows 7没条件测试... 使用方法: 一、以管理员权限运行CMD (以及 开启无线网卡、最好是笔记本) 二、输入命令: 1 for...
    阅读数:805 评论数:0
    2018-06-22 11:05:03
  • 源码发布测试12121

    分类:python 标签: code

    我的学习之路大致是这样的,供你参考: 我是15年4月份正式开始学习Python语言的,入门读物是一本书《父与子编程》。当中关于客户端(GUI)的操作,浅尝辄止。...
    阅读数:811 评论数:1
    2018-06-21 17:40:18
  • 源码发布测试

    分类:python 标签: session

        if curr_path != prev_path:     # if curr_path != prev_path and prev_path != jump_list[-1]:   #第一次时jump_list为空,判断有bug,此判断影响不大,可不要.        ...
    阅读数:1026 评论数:4
    2018-06-21 13:28:33
  • python测试2

    分类:python 标签: str

    str = ‘0123456789’ print str[0:3] #截取第一位到第三位的字符 print str[:] #截取字符串的全部字符 print str[6:] #截取第七个字符到结尾 print str[:-3] #截取从头开始到倒数第三个字符之前 print str[2]...
    阅读数:760 评论数:0
    2018-06-17 23:16:25
  • python测试1

    分类:python 标签: import

    Ctrl + Alt + I         自动缩进(向左或向右)当前行或选中区域 Tab                    缩进(向右)当前行或选中区域 Shift + Tab         反向缩进(向左)当前行或选中区域 Ctrl + /             行注释与取消...
    阅读数:736 评论数:0
    2018-06-17 16:45:17
  • Linux test

    分类:linux 标签: ls chmod

    linux基础知识。
    阅读数:1053 评论数:2
    2018-06-16 12:36:22