云存储(参考自腾讯云计算工程师认证)

目录

存储基础知识:

RAID:

云存储概述:

云存储产品:

CBS:

CFS文件存储:

COS对象存储:

云存储安全:


存储基础知识:

机械硬盘:HDD,即传统硬盘,由盘片、盘片转轴、磁头、磁头控制器等部分组成
固态硬盘:SSD,由控制单元和存储单元组成。将数据存储在电子电路上。

硬盘的性能指标:
IOPS:单位时间内系统能处理的I/O请求数量
吞吐量:带宽,每秒磁盘I/O的流量,吞吐量=IOPS*IO大小
时延:响应时间

企业存储发展历程:
1、硬盘在服务器内部
2、DAS,直连式存储,存储设备只与一台服务器连接。
3、存储网络兴起:
NAS:网络附加存储,网络上的文件系统:通过网络来链接服务器的带有文件系统的存储设备,主要提供文件存储型服务。
SAN:存储区域网络,网络上的磁盘:通过IP交换机和FC交换机来连接服务器和存储设备,从而搭建起专用于数据存储的区域网络,主要提供块存储型业务。

RAID:

Redundant Array of Independent Disks,独立冗余磁盘阵列,能够将多块独立物理硬盘按照不同的方式组合成一个硬盘组(逻辑硬盘)。

硬件RAID:由独立的RAID控制卡实现
软件RAID:基于服务器操作系统上的驱动程序来实现

RAID技术在将多块物理硬盘组合成一块逻辑盘时,会引入条带和分条两个概念

RAID的数据保护方式:镜像、算法(奇偶校验算法)

RAID0:数据条带化,无校验数据(不具备冗余性)
RAID1:数据镜像,无校验数据
RAID3:数据条带化,有校验数据,校验数据单独存放在专用硬盘中
RAID5:数据条带化,有校验数据,校验数据分布式存放各个硬盘中
RAID6:数据条带化,有两种类型的校验数据,提供两级冗余,校验数据分布式存放在各个硬盘中
RAID10:硬盘数据先完成RAID1方式组合,再完成RAID 0方式组合
RAID10:硬盘数据先完成RAID5方式组合,再完成RAID 0方式组合

可靠性:热备与重构

存储虚拟化:对存储硬件资源的抽象化表现,以逻辑资源的方式呈现,提供统一全面的存储服务的技术
基于主机的虚拟存储:C盘、/dev/sda1等;
基于存储设备的虚拟化:一些存储厂商的磁盘阵列、分布式存储产品等
基于网络的虚拟存储:SAN/NAS
 

云存储概述:

分布式存储:小聚大
存储虚拟化:大化小

Ceph:一款开源的统一分布式存储系统。采用crush算法来做数据分布

RadOS,ceph的核心:OSD、MON、MDS

HDFS:Hadoop File System,被设计成适合运行在通用硬件上的开源统一分布式文件存储系统
Namenode:存储文件系统的元数据,如文件和目录的命名空间、数据块的数量、副本的位置;管理客户端对文件的访问权限和对系统的操作;
Datanode:负责管理节点上的数据存储;

云存储产品:

CBS云硬盘:

Cloud Block Storage,云硬盘,是腾讯云用于提供给CVM的持久性数据块级存储服务。

弹性云硬盘/非弹性云硬盘:根据生命周期的不同,弹性云硬盘生命周期独立于云服务器。

根据产品类型分类:
高性能云硬盘:混合型存储产品。
通用型SSD云硬盘:入门级全闪类型块存储产品,高性价比优势。
SSD云硬盘:I/O性能有较高要求的场景
增强型SSD云硬盘:适用于对大型数据库,NoSQL等对实验要求很高的I/O密集型场景
极速型SSD云硬盘:IO密集型和吞吐量密集型工作负载。

云硬盘状态:待挂载、挂载中、使用中、卸载中、待回收、已销毁

相关概念:
云硬盘加密、云硬盘快照、云硬盘数据使用备份点

CBS使用场景:去本地化、海量数据分析、核心数据库

整体架构:

接入层:租户端、运营端

后端集群:存储池集群master控制中心/loadctrl支持流控配置/cell存储模块三副本/dbtrsf数据迁移、
快照集群:manager管理和维护快照中心\scheduler数据搬迁调度,数据的一致性确认\transfer

CBS读写流程:
基于驱动的方式实现资源的获取。

存储池Depot:
存储节点cell,diskpair硬盘分组、
数据组织的颗粒度从小到大:数据块block,逻辑小表tablet、硬盘disk、存储节点cell、存储池depot

快照机制:快照独立于云硬盘存在

CFS文件存储:

挂载点:每个文件系统都有一个挂载点,是一个IP地址

权限组:访问控制白名单。用户可以自行创建

SMB:一种在局域网上共享文件和打印机的一种通信协议

CIFS:通用Internet文件系统,是一种网络文件系统访问协议

VFS:虚拟文件系统

CFS存储类型:都提供三副本强一致架构能力和热迁移机制
通用标准型:适用于小规模通用数据存储场景
通用性能型:适合于小规模延时敏感型核心业务
Turbo标准型:提供私有协议的挂载方式。适用于大规模吞吐型和负载业务
Turbo性能型:高吞吐低时延并行文件存储。提供私有协议的挂载方式。适用于大规模小文件业务
吞吐型:分层架构的并行文件存储。适用于渲染、游戏战斗服务器、非线性编辑等读密集型业务

CFS使用场景:企业文件共享、高性能计算大数据分析、流媒体处理

CFS架构:CFS管控(对外承接租户端控制台、运营端控制台的请求,然后将其转发给CFS服务端做后续执行)、CFS客户端(云服务器本身)、CFS服务端(后端的NAS集群,master节点和agent节点)。

权限策略说明:来访地址、读写权限、用户权限、优先级(1为最高)

COS对象存储:

对象是COS的基本单元

存储类型:标准存储、低频存储、归档存储、深度归档存储、智能分层存储

使用方式:控制台、COSBrowser工具、COSCMD工具、API方式、SDK方式

使用场景:CDN数据分发、大数据分析、容灾与备份

整体架构:
接入层:对外提供COS服务的接口、
逻辑层:负责对COS数据存储的流程控制、对象元数据的CURD请求以及各种基础和高级特性的实现、
存储引擎层:包含lavadb和yotta两套引擎。数据进入存储引擎会被分片,然后将分片存储到数据存储系统yotta,将对象&分片的元数据信息存储在索引系统lavadb;

Lavadb是一个有序KV存储平台:
接入模块lavadb-access、存储模块lavadb-cell、中控模块lavadb master、故障探测arbiter、自动调度scheduler、数据搬迁dbtrsf

Lavadb读写流程:
读流程:lavadb-access接收上层请求,初始化状态并获取cell内小表路由信息,先读master小表,读取失败后再读取slave小表
写流程:lavadb-access接收上层请求,初始化状态并获取cell内小表路由信息,先写slave小表,再写master小表,最后返回写完成。

yotta是COS的数据管理系统

云存储安全:

安全威胁:数据不丢失、数据隐私防泄漏

云存储数据安全技术:
数据加密技术:KMS秘钥管理服务
数据擦除机制:硬销毁:物理硬盘破坏;软销毁:对数据进行多次复写、清除

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如若转载,请注明出处:http://www.pswp.cn/diannao/97570.shtml
繁体地址,请注明出处:http://hk.pswp.cn/diannao/97570.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

面试tips--JVM(2)--对象创建的过程

一、创建对象的完整过程1. 类加载检查JVM 遇到 new 指令时,首先去检查这个类 User 是否已经被加载、解析和初始化过。如果没有,就先执行 类加载过程(加载 .class 文件到方法区/元空间、创建 Class 对象等)。【这个过程就是加载、验…

【Web安全】CRLF注入攻击深度解析:原理、场景与安全测试防御指南

文章目录前言:为什么CRLF注入是安全测试不可忽视的威胁?1. CRLF注入核心原理:从字符定义到协议依赖1.1 什么是CRLF?1.2 CRLF在HTTP协议中的关键作用1.3 CRLF注入的本质:格式混淆攻击2. CRLF注入典型利用场景与安全测试…

【安全学习】DVWA 靶场 SQL 注入漏洞原理分析与防御策略(教育用途)

注意:本文内容仅用于合法授权的安全研究、教学演示及漏洞复现,严禁用于任何未授权的系统或网络环境。 所有操作需在本地沙箱或个人可控靶场中执行,切勿对生产环境、他人系统进行测试,非法使用后果自负。📌 法律与道德双…

Langflow Memory 技术深度分析

Langflow Memory 技术深度分析 1. Memory 技术概述和设计理念 1.1 技术概述 Langflow 的 Memory 系统是一个多层次的记忆管理框架,专门设计用于处理对话历史、上下文状态和会话数据的存储与检索。该系统采用了分层架构设计,支持多种记忆类型和存储后端&a…

从0开始搭建一个前端项目(vue + vite + less + typescript)

版本 node:v22.17.1 pnpm:v10.13.1 vue:^3.5.18 vite:^7.0.6 typescipt:~5.8.0脚手架初始化vue pnpm create vuelatest只选择: TypeScript, JSX 3. 用vscode打开创建的项目,并删除多余的代码esl…

(十)ps识别:Swin Transformer-T 与 ResNet50 结合的 PS 痕迹识别模型训练过程解析

Swin Transformer-T 与 ResNet50 结合的 PS 痕迹识别模型 思路分析模型融合思路: 利用ResNet50提取图像的局部纹理和边缘特征,这对检测篡改区域的细微变化非常重要利用Swin Transformer-T捕捉全局上下文信息和长距离依赖关系,有助于理解图像整…

[ICCV25]TRACE:用3D高斯直接学习物理参数,让AI“推演”未来场景

导读在复杂的动态世界中,让机器人既能看懂场景,又能预测未来变化,是一项极具挑战性的任务。过去的方法往往依赖人工标注或简化的物理模型,却难以真正捕捉物体运动的规律。TRACE 提出了一个全新的思路:把三维场景中的每…

电商数据开发实践:深度剖析1688商品详情 API 的技术与应用

在电商行业数字化转型的进程中,数据获取与处理的效率和准确性,直接影响着企业的竞争力。作为开发者,相信大家都遇到过这类棘手问题:在构建时,因数据不一致导致采购决策失误;使用传统,又常遭遇电…

Docker 详解+示例(部署Kafka镜像容器)

介 绍Docker 是一个开源的容器化平台,它的核心目标是解决 “软件在不同环境下运行不一致” 的问题,实现 “一次构建,到处运行” 。它基于 Linux 内核的底层技术,将应用程序及其依赖(如库文件、配置、运行环境等&#x…

SciPy科学计算与应用:SciPy应用实战-数据分析与工程计算

SciPy案例研究:从理论到实践 学习目标 通过本课程,学员将了解一系列实际案例,深入探讨SciPy库在数据分析、物理模拟和工程计算中的应用。同时学员将学习如何利用SciPy解决实际问题,加深对SciPy各个模块的理解和应用能力。 相关知识…

React学习教程,从入门到精通, ReactJS - 架构(6)

ReactJS - 架构 React应用的架构 React的架构就像一个井然有序的厨房,每个工具都有其特定的位置和用途。在其核心,React遵循一个基于组件的架构,这意味着我们使用可重用的组件构建应用程序。 组件:构建块 可以把组件想象成乐高积木…

Bias / variance and neural networks|偏差/方差和神经网络

----------------------------------------------------------------------------------------------- 这是我在我的网站中截取的文章,有更多的文章欢迎来访问我自己的博客网站rn.berlinlian.cn,这里还有很多有关计算机的知识,欢迎进行留言或…

Linux HMM(Heterogeneous Memory Management)的应用

原理篇见【https://blog.csdn.net/shenjunpeng/article/details/150931847?spm1011.2415.3001.5331】 1. HMM 的优势与挑战 1.1 优势 统一虚拟地址空间:简化异构计算平台的数据共享和访问。 高效页表同步:支持设备端的 page fault 和页表同步&#x…

鸿蒙创新赛活动——Mac提交压缩失败后续

Mac提交压缩失败后续来了… 传送带【上一篇】 背景 华为2025HarmonyOS创新赛 上传作品的时候,遇到了一个提示 ZIP包中的Office文件含有嵌入文件,就去这个Office文件找,怎么也找不到嵌入的文件。 解决方法1 上次推荐的解决方式是&#xff0…

Ubuntu操作系统下使用mysql、mongodb、redis

目录 一、核心步骤概览 二. MySQL (下面以其他用户为例) 1,、安装 2、管理服务 3、连接与使用 4、配置文件位置 5、下面来演示一下安装好之后如何在Linux操作系统中远程登录和window互连Linux 远程登录 window连Linux(连不上的&…

springboot java开发的rocketmq 顺序消息保证

首先要明确一个关键点:RocketMQ 保证的是一种局部顺序(Partially Ordered)​,而非全局顺序(Globally Ordered)。这意味着消息的顺序性只在某个特定维度(比如同一个订单ID)下保证&…

【机器学习】 14 Kernels

本章目录 14 Kernels 479 14.1 Introduction 479 14.2 Kernel functions 479 14.2.1 RBF kernels 480 14.2.2 Kernels for comparing documents 480 14.2.3 Mercer (positive definite) kernels 481 14.2.4 Linear kernels 482 14.2.5 Matern kernels 482 14.2.6 String kerne…

Android开发-工程结构

一、项目视图模式在开始之前,确保你的 Project 面板使用的是 【Android】 视图(默认)。这是最常用的视图,它将相关文件按功能逻辑分组展示。💡 你也可以切换到 【Project】 视图查看完整的文件系统结构。二、顶级项目结…

mysql的内置函数

文章目录mysql的内置函数时间函数1. 返回值的数据类型和格式2. 功能侧重点3. 函数别名情况我现在想给一个日期加上十天,然后输出加上十天之后的日期,我该怎么做?我现在想给一个日期减去两天,然后输出减去两天之后的日期&#xff0…

【动态规划】子序列问题

一、[最长递增子序列](https://leetcode.cn/problems/longest-increasing-subsequence/description/)二、[摆动序列](https://leetcode.cn/problems/wiggle-subsequence/description/)三、[最长递增子序列的个数](https://leetcode.cn/problems/number-of-longest-increasing-s…