2021 07-23

YsoSerial 工具常用Payload分析之URLDNS

本文假设你对Java基本数据结构、Java反序列化、高级特性(反射、动态代理)等有一定的了解。 背景 YsoSerial是一款反序列化利用的便捷工具,可以很方便的生成基于多种环境的反序列化EXP。java-jarysoserial.jar可以直接查看payload适用环境及其适用版本。 关于此工具的背景,我引用P神的《Java安全漫游》文章对其的描述: 2015年GabrielLawrence(@gebl)和ChrisFrohoffff(@frohoffff)在AppSecCali上提

2021 07-23

记录Jackson和Lombok的坑

记录Jackson和Lombok的坑 今天遇到Jackson反序列化json缺少了字段,后来研究下发现是Jackson的机制和Lombok生成的setter不一致,导致没有正确调用setter。 复现 Java实体类 @Data publicclassDemoData{ privateDoublet; privateDoubleeDay; } Json字符串 { "t":12.23, "eDay":123.321 } 使用Jackson解析下来,发现只有t有值,而eDay没有解析到。 原因分

2021 07-23

一文读懂k8s rbac 权限验证

自我认为的k8s三大难点:权限验证,覆盖网络,各种证书。   今天就说一下我所理解的权限验证rbac。   咱不说rbac0,rbac1,rbac2,rbac3。咱就说怎么控制权限就行。     一、前言 1,反正RBAC模型是非常牛逼的。现在运用的非常广。官方的解释是(Role-BasedAccessControl:基于角色的访问控制)。 2,简单抽象的概括就是:谁 是否可以对什么东西进行怎么样的访问操作。 3,这样就组成了访问权限的三个重要的

2021 07-23

简单设计一个onedata指标管理体系

以阿里云的maxcompute的数据仓库架构为例,     从上往下定义,  dwp的数据,来源是dws+dim,最主要是dws。这里不讨论dim的作用。 dws的数据来源于dwd。 dwd的数据来源于ods。 -------- 接下来我们定义原子指标和派生指标。 派生指标定义在dws层。并且绑定原子指标。所有的应用数据由派生指标去groupby。 原子指标定义在dwd层+虚拟层。原子指标绑定一个dwd的度量值,但是有可能会有计算,所以不完全在dwd,运行的时候可

2021 07-23

ArrayList 深入浅出

ArrayList 特点:按添加顺序排列、可重复、非线程安全; 底层实现:数组 扩容原理:初始化集合时,默认容量为0,第一次添加元素时扩容为10,容量不够时扩容为原来容量的1.5倍。 这里扩容指的是无参构造初始化时的场景。对于指定集合长度的构造函数初始化时,初始容量为指定长度,容量不够时再扩容为原来的1.5倍。 下面主要介绍无参构造初始化时的场景。 初始化-构造函数 参数定义: transientObject[]elementData;//实际存储数据的数组缓冲区 privatesta

2021 07-23

单细胞分析实录(17): 非负矩阵分解(NMF)代码演示

本次演示使用的数据来自2017年发表于Cell的头颈鳞癌单细胞文章:Single-CellTranscriptomicAnalysisofPrimaryandMetastaticTumorEcosystemsinHeadandNeckCancer。本次演示提供处理好的测试数据,以及所有代码,一共6个脚本(我目前写得最详细的教程,也是全网少有的)。 数据的预处理就不演示了,预处理的代码存放在0.pre.R文件中。以下是肿瘤细胞tsne图和原图的对比,和原文一致,说明前面的数据提取及处理是没有问

2021 07-23

[源码解析] 深度学习分布式训练框架 horovod (18) --- kubeflow tf-operator

[源码解析]深度学习分布式训练框架horovod(18)---kubeflowtf-operator 目录 [源码解析]深度学习分布式训练框架horovod(18)---kubeflowtf-operator 0x00摘要 0x01背景知识 1.1Kubernetes 1.2容器作为调度单元 1.3Kubeflow 1.4TensorflowonKubeflow 1.5Operator 1.6TF-Operator 0x02TensorFlow分布式 2.1Parameters

2021 07-23

设计模式六大设计原则

设计模式到底是什么?它是对整个软件系统的拆分,组装,并决定模块间关系以及如何互动、通信的某种模式。究其本质,设计模式就是以语言特性(面向对象三大特性)为硬件基础,再加持六大设计原则的灵魂组合而,总结出的一系列套路,本章要讲地就是灵魂。 单一职责   我们知道功能完备的软件系统是复杂的,系统的拆分与模块化是不可或缺的,而面向对象是以类来划分模块边界的,也就是说每个类都代表着一个功能角色模块,其职责应该是单一的,不是自己分内的事不应该负责,这就是单一职责原则。   举个例子,灯泡一定是可以亮和灭的,

2021 07-23

【Mysql】InnoDB 引擎中的数据页结构

InnoDB是mysql的默认引擎,也是我们最常用的,所以基于InnoDB,学习页结构。而学习页结构,是为了更好的学习索引。 一、页的简介 页是InnoDB管理存储空间的基本单位,一个页的大小一般是16kb。 为了达成不同的目的,作者设计了多种类型的页,比如: 存放表空间头部信息的页 存放changebuffer信息的页 存放inode信息的页 存放undo日志信息的页 ...... 然而我们最关心的,还是那些存放进表中那些数据记录是在哪种页上,官方称这种存放记录的页为索引(INDEX)页,

2021 07-23

【16位RAW图像处理三】直方图均衡化及局部直方图均衡用于16位图像的细节增强。

    通常我们生活中遇到的图像,无论是jpg、还是png或者bmp格式,一般都是8位的(每个通道的像素值范围是0-255),但是随着一些硬件的发展,在很多行业比如医疗、红外、航拍等一些场景下,拥有更宽的量化范围的图像也越来越常见,比如10位(带宽1024)、12位(带宽4096)、14位(带宽16384)以及16位(带宽32768)的图像,当然还有以浮点数保存的高动态图像(hdr格式的那种),但是目前大部分的显示器还是只支持8位图像的显示,因此,对于这一