当前位置: 首页 > news >正文

用爬虫做网站国外seo大神

用爬虫做网站,国外seo大神,外卖网站建设价钱,西安新闻网官网【Apache Doris】数据副本问题排查指南 一、问题现象二、问题定位三、问题处理 本文主要分享Doris中数据副本异常的问题现象、问题定位以及如何处理此类问题。 一、问题现象 问题日志 查询报错 Failed to initialize storage reader, tablet{tablet_id}.xxx.xxx问题说明 查…

【Apache Doris】数据副本问题排查指南

  • 一、问题现象
  • 二、问题定位
  • 三、问题处理

本文主要分享Doris中数据副本异常的问题现象、问题定位以及如何处理此类问题。

一、问题现象

  1. 问题日志

查询报错

Failed to initialize storage reader, tablet={tablet_id}.xxx.xxx
  1. 问题说明

查询时,FE让BE返回spec_version范围的数据,但是BE缺部分version了,就会报这个错误。

  1. 问题原因

迁移副本过程可能丢version,在2.0.3修复了,或者在数据导入过程中be宕机。

注意:
如果版本是2.0.1及以前,且它的所有副本last failed version > 0,通常需要重新建表进行导数。

二、问题定位

如上图所示,查询报错的 tablet_id 是 606202, BE ip是 10.xxx, BE 需要包含version 区间 [0 - 35]。

当确定异常tablet_id时,参考如下步骤先进行问题信息收集:

  1. show tablet {tablet_id} (这里是606202),拿到detail cmd

  2. 执行detail cmd的输出

SHOW PROC ' /dbs/10113/591325/partitions/606195/591326/606202";

找出该BE所在的副本(compact status url中包含有该BE的ip)

  1. 执行curl<步骤2的compact status url>, 该例子是
curl  http://10.xxx:8040/api/compaction/show?tablet_id=606202

查看该副本的rowset 和 missing_rowset,重点看rowset 的最大版本(这里是34)和 missing_rowsets。从上图可以看出该副本的rowset 为 0 ~ 34, 且中间不缺version(missing_rowsets为空)。而查询语句中是 special version 是 [0, 35], 但该BE不含version 35。所以需要给该BE补上version 35。

注意:这里的special version实际就是partition的visible version。 它也可以通过如下指令查看。

show partitions from <table-name xxx> where PartitionName = '<partition name xxx>' 

三、问题处理

  1. 确认是否自动修复

由于doris内部会自动做数据均衡和修复,所以当出现数据副本异常时,先确认异常数据副本能否自动修复:

如果是多副本,查看是否存在健康副本。健康副本是指副本version >= special version && last failed version = -1 && isBad = false, 且curl 它的 compact status, missing rowsets 为空。

如果存在这样的副本,把查询报错的副本set bad,如上图所示BackendId为10003上版本远落后于其他两个副本的version,可以通过设置为bad来自动修复。

ADMIN SET REPLICA STATUS PROPERTIES("tablet_id" = "7552021", "backend_id" = "10003", "status" = "bad");

等待一会(可能需要一两分钟),再执行步骤2中的detail cmd,如果副本都健康了:

version >= special version && last failed version = -1 && isBad = false

且curl它的compact status, missing rowsets为空,说明修补OK了。且执行select count (*) from table_xx 是否OK。

如果没问题,就自动修复完成了,不用往下看。如果还是有问题,接着往下看。

  1. 重新导数手动修复
  • 如果是多个副本都损坏,并且是分区表的情况下,可以删除这个分区,然后手动重建这个分区,重新导入数据即可。
  • 如果是多个副本都损坏,并且是非分区表的情况下,只能删除这个表重新导入数据。
  1. 填充空副本进行修复

注意:
以上两个方法可以恢复丢失的数据,而填充空副本方法,是插入若干个空rowset,它能恢复读写。但如果丢失的rowset是包含数据的,这种方法实质是丢数据的。

空副本修复方式如下:

curl -X POST "http://10.151.2.29:8040/api/pad_rowset?tablet_id=606202&start_version=35&end_version=35"
  • tablet_id table 的 id
  • start_version 起始版本
  • end_version 终止版本

该功能用于使用一个空的 rowset 填充损坏的副本。这个例子中修补的url中 start_version = 35, end_version = 35。

这个例子只是缺一个rowset, 实际中可能缺多个(missing rowset,最大version + 1 ~ special version),缺多少个rowset,就调用多少次修补的方法。

修补完之后,再执行下show tablet xxx,该副本last fail version 是否等于 -1,如果它的version都补上了,但是last fail version = version + 1, 还需要手工执行把last fail version 改成 -1:

ADMIN SET REPLICA VERSION PROPERTIES("tablet_id" = "10003", "backend_id" = "10001", "last_failed_version" = "-1");

低版本的doris可能不含这个SQL, 如果不支持这个SQL且是单副本的,通常需要重新建表进行导数。

如果没问题,使用

select count(*) from table_xx;

查看是否可读,可读则说明数据副本问题已处理。

http://www.mnyf.cn/news/14206.html

相关文章:

  • 观澜做网站八大营销模式有哪几种
  • 24小时自动发货网站建设网络推广精准营销推广
  • 网站规划与网站建设网店代运营和推广销售
  • 专业婚纱摄影网站制作新媒体运营培训
  • 电子商务做网站seo网站推广方法
  • 电子商务门户网站的研究与实现公司网站如何seo
  • 政府门户网站建设问卷调查网页自动点击软件
  • wordpress上传到服务器发布seo建站工具
  • 网站搭建推广优化广州十大营销策划公司
  • 小榄网站设计品牌推广策划方案怎么写
  • 专门做产品定制的网站站长统计网站统计
  • 四川成都网站制作公司网站seo分析报告
  • asp.net做登录网站资源搜索关键词排名一般按照什么收费
  • wordpress 付费会员百度seo规则最新
  • 菏泽手机网站建设制作公司网站的步骤
  • 网页升级访问每日天正常更新seo搜索引擎优化方式
  • 农产品电子商务网站建设要求廊坊seo排名优化
  • 装潢设计用什么软件seo一个关键词多少钱
  • 找资料的免费网站网站首页布局设计模板
  • 投资公司注册网站搜索排优化怎么做
  • 淘宝店铺装修做代码的网站什么叫关键词举例
  • 电子商务网站建设要求nba哈登最新消息
  • 手机网站案列深圳做网站seo
  • 太原市制作网站试分析网站推广和优化的原因
  • 做网站python和php百度识图在线
  • 国人经典wordpress主题liveo如何做好网站推广优化
  • 网站建设seo 视频教程百度搜索关键词
  • 门户网站建设验收报告html网页制作成品
  • 怎样在阿里云做网站营销策略有哪些有效手段
  • 物流网个人网站建设键词优化排名