晚上业务报警，老哥们咋处理

• 資深大佬 : johnchshen

  电脑、资料不在身边，麻烦分析日志、服务器状态。编写 bug 报告。方便次日分析处理。
  要求在测试环境重现。要重新步骤手册，图文兼顾那种。
  bug 报告模板可以在网上找，要求越高越好，越适合重现问题那种越好。

  多来几次，业务就会自己分析问题和初步处理了。

• 資深大佬 : jinhan13789991

  手机开飞行模式

• 資深大佬 : keepeye

  1.真有紧急情况还是要处理的，如果是你负责的。
  2.不应当经常出现此类情况，应当努力避免发生。

• 資深大佬 : sonice

  告警也是有级别划分的啊，有人给打电话过来了就可以起床弄了，否则当没看见。

• 資深大佬 : cubecube

  曾经，在某银行负责重要系统，几乎每天晚上告警，会被打电话叫起来，开机远程过去解决问题，半小时到一小时不等。
  晚上八点多还打卡，干了半年，精神状态都不好了，离职了。

• 資深大佬 : wujieyuan

  自己的负责的任务当然得尽快处理,特别是紧急的事情

• 資深大佬 : cubecube

  @cubecube 写错了，是早上八点多还要刷脸。

• 資深大佬 : tfdetang

  @cubecube 握手，也弄过这样的项目，晚上要和清算所对账，一开始总有各种各样问题，对不上。 头一个月每天晚上 4-5 点都要被拉起来解决问题，然后早上还要去上班。 虽然一个月后基本就稳定了，不过很长一段时间都养成了一到对账的点就醒的习惯

• 資深大佬 : cubecube

  @tfdetang 情况还不完全一样，系统管理和开发管理分离。开发经理带着一群外包不断挖坑，问题没办法收敛，心累

• 資深大佬 : luckyrayyy

  你要是问我，我肯定回答爬起来修复啊！！！

  当然实际上我静音了，听不见。

• 資深大佬 : chenmobuys

  手机静音

• 資深大佬 : wzq001

  @cubecube 关键在于还会有新坑出现，不可一直晚上救火啊！天大的事儿，第二天再说，让他长长记性，如果你这样一直加班搞，他会觉得理所应当，反正有人填坑~~~

  PS：开发经理肯定有外包回扣的，所以，如果他分比例给你的话，也可以考虑，没利益，干毛线

• 資深大佬 : NauxLiu

  1. 给 alert 分优先级，比如 P1 是即使晚上也需要起床紧急修复的。P2/P3 等是只有邮件或 IM 通知，可以第二天再修复。
  2. 轮班制，如果不是小公司，比如你们部门只有你一个人。那应该上轮班制度，大概每个人负责一周这样。

  我们公司用的 Opsgenie，可以和各个平台集成，设置消息优先级和通知渠道，以及设定规则自动轮班。

• 主 資深大佬 : fishofcat

  大佬们，说的对。第一没啥测试，第二没啥 backup 。静音的话没人处理了就。。。。。

• 資深大佬 : cw2k13as

  当没看见，一律上班处理 2333

• 資深大佬 : imbushuo

  贵司 Ops 没自动化的么（

  – 能采取自动措施的就自动解决，如果自动解决失败就 escalate 到 oncall DRI
  – 多地运行，每个 region 内再分 shard，如果只是区域性问题的话就把所有 traffic 迁移到下一个可用区域，然后等到上班了再来处理
  – Oncall 有 Primary 和 Secondary，多人一起备份
  – 印度 /Sunnyvale/NYC 多个组一起 oncall shift，这样大家都能睡觉

• 主 資深大佬 : fishofcat

  @imbushuo 你懂得。。。自动化做的那叫一个烂

• 資深大佬 : threeEggs123

  同事，oncall，关机没接，传到了上级领导，领导没接，最后打到了 VP 头上。同事直接被干掉。

• 資深大佬 : AngryPanda

  手环可以不呢

• 資深大佬 : gitjavascript

  暂停告警

• 資深大佬 : shuangya

  晚上告警当然还是要处理的。
  但经常告警，那你就得分析分析怎么回事了。该优化代码优化，该加机器就加。这不是一个应该有的现象。

• 資深大佬 : Mac

  手环

• 資深大佬 : levelworm

  @threeEggs123 这公司不呆也蛮好的。。。

• 資深大佬 : Tonara

  一路 ack 上去

• 資深大佬 : vanityfairn

  提高报警阈值，手动狗头~ 这样就看不到报警了

• 資深大佬 : d0v0b

  我看到篇帖子说手机和 wifi 有辐射建议你睡觉断网关机（狗头）

• 主 資深大佬 : fishofcat

  @Mac 手环是可以震动吗？其实报警不频繁，主要是家人睡的浅

• 資深大佬 : ruanimal

  招运维啊

• 資深大佬 : nieyujiang

  我表示睡着了也就地震和爆破可以把我震醒

• 資深大佬 : NoKey

  公司规定 24 小时待命，有报警多少小时内必须处理，等等
  那就干这活，就得做这事呗
  如果没规定。。。那你想怎么干怎么干。。。

• 資深大佬 : Mac

  @fishofcat #27 手环和手机是蓝牙连接的，可以震动

• 資深大佬 : zxcslove

  传统单位都是设置值班岗位，还是 IT 企业会省钱

• 資深大佬 : threeEggs123

  @levelworm 外企，工资又高，又不加班，只是倒霉，谁叫他没接电话呢，客户亏了钱，总得找个锅顶上？

• 資深大佬 : levelworm

  @threeEggs123 这事情不处理领导么。。。

• 資深大佬 : win7pro

  戴耳机睡

• 資深大佬 : ivyliner

  @fishofcat 可以买个小米手环, 会震动. 我是想早上自己早起, 买了个手环, 效果还可以.
  你的场景下的话, 手机可以静音, 然后手环会在手机没有接的 5s 之后震动.