El proceso M&O Stamp of Approval de Uptime Institute está diseñado para incorporar los aprendizajes de más de 20 años de visitas al sitio en instalaciones críticas de todo el mundo en las mejores prácticas para ayudar a los propietarios y operadores de centros de datos a introducir la coherencia, la transparencia y las mejores prácticas de la industria en los procesos de gestión y operaciones de centros de datos.

Uptime Institute ha analizado innumerables datos y ha descubierto que la mayoría de las interrupciones informadas en los centros de datos están directamente relacionadas con errores humanos, ya sea en forma de error del operador o de la gerencia en las decisiones relacionadas con la dotación de personal, los procesos de mantenimiento, la capacitación o el rigor general de la operación. Estos tipos de interrupciones pueden ocurrir a pesar de la topología de infraestructura del centro de datos. En el lado opuesto, un centro de datos bien administrado puede lograr disponibilidad para el negocio mucho más allá de las expectativas y, por lo general, se basa únicamente en la topología de la infraestructura instalada.

Dado que el error humano es responsable de la mayoría de todos los incidentes de centros de datos, tomar un enfoque holístico para la evaluación de las prácticas de dotación de personal y organización, las actividades de mantenimiento y operaciones y la gestión y planificación tenía sentido para Shawn Tugwell, director de Arquitectura e Ingeniería de Centros de Datos de PayPal. Vio esto como una oportunidad para asegurarse de que su equipo revisara cada detalle y utilizara la evaluación del M&O Stamp of Approval como una herramienta importante para cubrir cada aspecto de las operaciones con la perspectiva y experiencia de terceros de Uptime Institute.

Tugwell quería seguir presionando a su equipo para asegurarse de que no se desvirtuara ninguna piedra, preguntando: “¿Cómo puedo hacer esto más difícil para asegurarme de que no se omitiera nada?” También quería ver cómo podría, a su vez, tomar esta misma metodología y aplicar el M&O Stamp of Approval y la evaluación independiente a las colos que trabajan con PayPal para poder determinar cómo les estaba yendo a cada una de las colos individuales que trabajaban con PayPal y qué se podía mejorar.

La evaluación de M&O es una forma de medir directamente la efectividad operativa de los equipos dentro del centro de datos al enfocarse en los comportamientos dentro de cinco “componentes” y diseccionar cada comportamiento identificado para determinar si ese comportamiento cumple con los tres principios de Operational Sustainability: proactivo, practicado e informado. Los cinco componentes con los que estos comportamientos se alinean son: 1) dotación de personal y organización; 2) mantenimiento; 3) capacitación; 4) planificación, coordinación y gestión; y 5) condiciones operativas. El equipo de operaciones del centro de datos de PayPal en PHX01 es un equipo experimentado con años de experiencia en sus cinturones, pero nunca habían sido evaluados por Uptime Institute. Y con el reciente compromiso de Paypal con cinco nueve (99.999 %) de disponibilidad en todos los centros de datos, independientemente del nivel de Tier, la evaluación fue una forma de validar que el equipo pudiera alcanzar su objetivo.

El proceso comenzó a principios de 2018, cuando PayPal Data Center Services recibió el M&O Stamp of Approval de Uptime Institute para el centro de datos PHX01 al finalizar la evaluación. La compañía recibió un 96.2 %, uno de los puntajes más altos que se hayan recibido por primera vez, un gran logro que claramente ilustró el liderazgo de PayPal en la implementación de las mejores prácticas operativas y de gestión. El resultado es un resultado directo de la tenacidad del equipo de Operaciones de DC en Phoenix, Arizona, y refleja la dedicación del equipo a las operaciones impulsadas por procesos.

El equipo de Uptime Institute también quedó impresionado con la implementación de PayPal de la plataforma ServiceNow. El equipo de Operaciones de DC aprovecha ServiceNow para flujos de trabajo de aprobación de procedimientos, gestión de mantenimiento para infraestructura crítica de centros de datos, gestión de incidentes, así como planificación de espacio y energía. Cuando PayPal explicó que ServiceNow solo se había implementado durante unos meses dentro de DCS, los representantes de Uptime Institute estaban bastante satisfechos con el nivel de madurez del sistema.

PayPal luego sometió a PHX02 y PHX04 al mismo proceso de M&O Stamp of Approval, y cada sitio recibió otro puntaje por primera vez líder en la industria del 100 %. Con estas evaluaciones, el equipo competitivo de PayPal continúa elevando el nivel, con una comprensión clara de cómo llegar al siguiente nivel.

El compromiso de PayPal con Cinco Nueve de disponibilidad requiere lo que se conoce en la industria de los centros de datos como personal “24 por siempre”. Dentro del componente de “Personal y organización”, se identificó que el grupo de Operaciones de la instalación cumplió con estos criterios de dotación de personal al tener al menos tres técnicos de la instalación en el sitio en todo momento. Estos técnicos se someten a una rigurosa capacitación inicial y continua para garantizar que posean un conocimiento integral y profundo en diversas disciplinas y una variedad de sistemas y equipos.

El grupo de Operaciones de la Instalación también es responsable de la ejecución exitosa del mantenimiento preventivo y correctivo en el Centro de Datos. El equipo crea y mantiene estándares y procedimientos de mantenimiento en el sitio para garantizar que el mantenimiento se complete y documente con éxito. Los altos estándares del equipo de Instalaciones, en asociación con el equipo de Gestión de Centros de Datos de PayPal, dieron como resultado cero elementos de mantenimiento diferidos en todos los Centros de Datos. Un programa de mantenimiento preventivo exhaustivo y eficaz permite a PayPal mantener el equipo en condiciones como nuevas, lo cual es esencial para ofrecer Cinco Nueve de disponibilidad.

La capacitación está a la vanguardia del equipo de servicios de centros de datos de PayPal. Los nuevos empleados dentro del equipo de operaciones de la instalación deben completar un programa de capacitación inicial antes de que se les permita trabajar en el turno. Además del programa de capacitación inicial, también existe un programa de capacitación de proveedores para los proveedores que realizarán mantenimiento en el sitio. La capacitación del proveedor incluye temas de capacitación requeridos y varias reglas de trabajo para los centros de datos.

La planificación, coordinación y gestión efectivas son otro aspecto clave para cumplir con los objetivos de tiempo de actividad de PayPal. El equipo tiene varios procedimientos y estándares disponibles en la Base de conocimientos de ServiceNow para garantizar la coherencia en todos los centros de datos y reducir el riesgo de eventos de errores humanos en el sitio. Además, el equipo financiero de PayPal crea, revisa y realiza un seguimiento de los presupuestos para garantizar que cada centro de datos tenga un presupuesto adecuado para respaldar los objetivos comerciales. Estos presupuestos se mantienen independientemente de un sitio a otro para garantizar que se pueda poner el enfoque y la atención adecuados en centros de datos específicos.

Por último, PayPal utiliza límites de carga consistentes y documentados en los componentes para impulsar condiciones operativas exitosas. Los puntos de ajuste asociados con componentes y equipos se establecen como herramientas de mitigación de riesgos, así como se enfocan en el costo general de las operaciones en los Centros de datos. Los puntos de ajuste de alarma en la instalación se establecen para permitir la capacidad reservada para conmutación y conmutación por error, mientras que los puntos de ajuste se establecen en asociación con una firma consultora de ingeniería.

A medida que la organización continúa creciendo, la consistencia se vuelve aún más importante a medida que el equipo agrega compañías de colocación a su combinación de centros de datos. Luego, el equipo de Servicios del Centro de Datos tuvo éxito y trasladó el programa M&O Stamp of Approval a los proveedores del centro de datos de colocación de la organización. Ahora, los nuevos contratos requieren que los proveedores de centros de datos hayan alcanzado el M&O Stamp of Approval de Uptime Institute y mantengan un estado de premio válido mientras PayPal es cliente.

El objetivo general del Equipo de Servicios de Centros de Datos es continuar reduciendo los costos para el negocio, y cualquier tiempo de inactividad del centro de datos es una pérdida para el negocio. El equipo también quiere asegurarse de que todas las colos estén en condiciones de dar lo mejor de sí, y el M&O Stamp of Approval ayuda en estos objetivos. El M&O Stamp of Approval también ayuda a los equipos a asegurarse de que no ocurran sorpresas a medida que entran en juego nuevos equipos y prácticas operativas. PayPal también estuvo complacido con el excelente apoyo que recibió de su equipo de BGIS para el personal crítico y el mantenimiento del programa, que también fue clave para el éxito del programa.

Los excelentes puntajes de PayPal también proporcionaron al equipo la validación de un trabajo bien hecho y ayudaron al equipo de gestión del centro de datos a ilustrar claramente a su equipo ejecutivo que están haciendo un trabajo tremendo y pueden garantizar que sus clientes sus pagos estén seguros con la plataforma de pagos digitales de PayPal.