Google’s BMS got hacked. Is your datacenter BMS next ?

<English cross post with my DCP blog>

A recent USA Congressional survey stated that power companies are targeted by cyber attacks 10.000x per month.hacked-scada

After the 2010 discovery of the Stuxnet virus the North American Electric Reliability Corporation (NERC) established both mandatory standards and voluntary measures to protect against such cyber attacks, but most utility providers haven’t implemented NERC’s voluntary recommendations.

Stuxnet hit the (IT) newspaper front-pages around September 2010, when Symantec announced the discovery. It represented one of the most advanced and sophisticated viruses ever found. One that targeted specific PLC devices in nuclear facilities in Iran:

Stuxnet is a threat that was primarily written to target an industrial control system or set of similar systems. Industrial control systems are used in gas pipelines and power plants. Its final goal is to reprogram industrial control systems (ICS) by modifying code on programmable logic controllers (PLCs) to make them work in a manner the attacker intended and to hide those changes from the operator of the equipment.

DatacenterKnowledge picked up on it in 2011, asking ‘is your datacenter ready for stuxnet?’

After this article the datacenter industry didn’t seem to worry much about the subject. Most of us deemed the chance of being hacked with a highly sophisticated virus ,attacking our specific PLC’s or facility controls, very low.

Recently security company Cylance published the results of a successful hack attempt on a BMS system located at a Google office building. This successful hack attempt shows a far greater threat for our datacenter control systems.


The road towards TCP/IP

The last few years the world of BMS & SCADA systems radically changed. The old (legacy) systems consisted of vendor specific protocols, specific hardware and separate networks. Modern day SCADA networks consist of normal PC’s and servers that communicate through IT standard protocols like IP, and share networks with normal IT services.

IT standards have also invaded facility equipment: The modern day UPS and CRAC is by default equipped with an onboard webserver able of send warning using an other IT standard: SNMP.

The move towards IT standards and TCP/IP networks has provided us with many advantages:

  • Convenience: you are now able to manage your facility systems with your iPad or just a web browser. You can even enable remote access using Internet for your maintenance provider. Just connect the system to your Internet service provider, network or Wi-Fi and you are all set. You don’t even need to have the IT guys involved…
  • Optimize: you are now able to do cross-system data collection so you can monitor and optimize your systems. Preferably in an integrated way so you can have a birds-eye view of the status of your complete datacenter and automate the interaction between systems.

Many of us end-users have pushed the facility equipment vendors towards this IT enabled world and this has blurred the boundary between IT networks and BMS/SCADA networks.

In the past the complexity of protocols like Bacnet and Modbus, that tie everything together, scared most hackers away. We all relied on ‘security through obscurity’ , but modern SCADA networks no longer provide this (false) sense of security.

Moving towards modern SCADA.

The transition towards modern SCADA networks and systems is approached in many different ways. Some vendors implemented embedded Linux systems on facility equipment. Others consolidate and connected legacy systems & networks on standard Windows or Linux servers acting as gateways.

This transition has not been easy for most BMS and SCADA vendors. A quick round among my datacenter peers provides the following stories:

  • BMS vendors installing old OS’s (Windos/Linux) versions because the BMS application doesn’t support the updated ones.
  • BMS vendors advising against OS updates (security, bug fix or end-of-support) because it will break their BMS application.
  • BMS vendors unable to provide details on what ports to enable on firewalls; ‘ just open all ports and it will work’.
  • Facility equipment vendors without software update policies.
  • Facility equipment vendors without bug fix deployment mechanisms; having to update dozens of facility systems manually.

And these stories all apply to modern day, currently used, BMS&SCADA systems.

Vulnerability patching.

Older versions of the SNMP protocol have known several vulnerabilities that affected almost every platform, included Windows/Linux/Unix/VMS, that supported the SNMP implementation.

It’s not uncommon to find these old SNMP implementations still operational in facility equipment. With the lack of software update policies, that also include the underlying (embedded) OS, new security vulnerabilities will also be neglected by most vendors.

The OS implementation from most BMS vendors also isn’t hardened against cyber attacks. Default ports are left open, default accounts are still enabled.

This is all great news for most hackers. It’s much easer for them to attack a standard OS like a Windows or Linux server. There are lots of tools available to make the life of the hacker easer and he doesn’t have to learn complex protocols like Modbus or Bacnet. This is by far the best attack surface in modern day facility system environments.

The introduction of DCIM software will move us even more from the legacy SCADA towards an integrated & IT enabled datacenter facility world. You will definitely want to have your ‘birds-eye DCIM view’ of your datacenter anywhere you go, so it will need to be accessible and connected. All DCIM solutions run on mainstream OS’s, and most of them come with IT industry standard databases. Those configurations provide an other excellent attack surface, if not managed properly.

ISO 27001

Some might say: ‘I’m fully covered because I got an ISO 27001 certificate’.

The scope of ISO27001 audit and certificate is set by the organization pursuing the certification. For most datacenter facilities the scope is limited to the physical security (like access control, CCTV) and its processes and procedures. IT systems and IT security measures are excluded because those are part of the IT domain and not facilities. So don’t assume that BMS and SCADA systems are included in most ISO 27001 certified datacenter installations.

Natural evolution

Most of the security and management issues are a normal part of the transition in to a larger scale, connected IT world for facility systems.

The same lack of awareness on security, patching, managing and hardening of systems has been seen by the IT industry 10-15 year ago. The move from a central mainframe world to decentralized servers and networks, combined with the introduction of the Internet has forced IT administrators to focus on managing the security of their systems.

In the past I have heard Facility departments complain that IT guys should involve them more because IT didn’t understand power and cooling. With the introduction of a more software enabled datacenter the Facility guys now need to do the same and get IT more involved; they have dealt with all of this before…

Examples of what to do:

  • Separate your systems and divide the network. Your facility system should not share its network with other (office) IT services. The separate networks can be connected using firewalls or other gateways to enable information exchange.
  • Assess your real needs: not everything needs to be connected to the Internet. If facility systems can’t be hardened by the vendor or your own IT department, then don’t connect them to the Internet. Use firewalls and Intrusion Detection Systems (IDS) to secure your system if you do connect them to the Internet.
  • Involve your IT security staff. Have facilities and IT work together on implementing and maintaining your BMS/SCADA/DCIM systems.
  • Create awareness by urging your facility equipment vendor or DCIM vendor to provide a software update & security policy.
  • Include the facility-systems in the ISO 27001 scope for policies and certification.
  • Make arrangements with your BMS and/or DCIM vendor about management of the underlying OS and its management. Preferably this is handled by your internal IT guys who already should know everything about patching IT systems and hardening them. If the vendor provides you with an appliance, then the vendor needs to manage the patching process and hardening of the system.

If you would like to talk about the future of securing datacenter BMS/SCADA/DCIM systems than join me at Observe Hack Make (OHM) 2013. IOHM is a five-day outdoor international camping festival for hackers and makers, and those with an inquisitive mind. Starts July 31st 2013.

There are really good whitepapers on IDS systems (and firewalls) for securing Modbus and Bacnet protocols, if you do need to connect those networks to the internet. Example: Snort IDS for SCADA (pdf) or  books about SCADA & security at Amazon.

A large part of this blog is based on a Dutch article on BMS/SCADA security January 2012 by Jan Wiersma & Jeroen Aijtink (CISSP). The Dutch IT Security Association (PViB) nominated this article for ‘best security article of 2012’.


Controle en Vertrouwen; sleutels voor cloud

Als we naar cloud computing kijken komen er al snel een flink aantal voordelen, maar ook barrières voorbij:

  • Beveiliging;
  • Volwassenheid;
  • Governance;
    • Data integriteit
    • Monitoring
    • Audit
    • Identiteit en toegang
    • Financiële controls
  • Compliance;
    • PCI
    • SAS70
    • Etc..

Al deze barrières draaien in basis om ‘vertrouwen’ en ‘controle’. Soms is dit vertrouwen en controle vanuit de overheid die via wetgeving iets of iemand wil beschermen (wet) en soms door de overheid aangewezen instanties zoals de Nederlandse Bank, die de banken sector dient te controleren. Hierbij hebben we het dan vaak over compliance regels.

De meeste barrières voor cloud adoptie worden echter opgeworpen door leveranciers die hun markt aangevallen zien en… je eigen ICT afdeling;

De ICT-er en vertrouwen

De vertrouwen en controle issue tussen de IT organisatie en de eindgebruiker is al langer interessant. Neem bijvoorbeeld de desktop; Al enige jaren vertrouwt de IT organisatie zijn eindgebruiker niet en timmert daarom op alle mogelijke manier de desktop dicht. Zo voorkomen we dat die ‘domme’ eindgebruiker iets stuk maakt en het is nog veiliger ook. Deze manier van handelen gaat echter voorbij aan het feit dat de eindgebruiker misschien helemaal niet geholpen is in zijn dagelijks werk, met die ontzettend dicht getimmerde desktop.

1781.stripBij mijn IT security collega’s gaat dit alles vaak nog een stapje verder. Ik krijg af en toe het gevoel dat zij die eind gebruiker vooral lastig vinden. Soms lijkt de IT afdeling en zeker de security collega’s hier mee aan de macht te zijn in de organisatie. Er is dan een behoorlijke scheef groei ontstaan in het idee dat ICT de business zou moeten ondersteunen. In die situatie is security een dooddoener  geworden voor nieuwe ontwikkeling en innovatie. Deze macht gaat volledig voorbij aan het feit dat de business de eigenaar is van de informatie en deze zelf zou moeten kunnen beslissen wat er mee gebeurd. De IT afdeling en security mensen hebben daar in slechts een advies functie, en dienen de risico’s in kaart te brengen met suggesties voor maatregelen.

Ondertussen veranderd de eindgebruiker vanuit generatie en bijbehorende cultuur. De generatie die nu de werkvloer betreed en die nu naar de top van organisaties door stromen gaan anders met technologie om dan de babyboomers die tot nu toe aan de macht zijn.

dilbert-ipadsmallDaarnaast hebben we ook een technologische evolutie door gemaakt die het gebruik van ICT heeft vergemakkelijkt. Zo kan opa van 86 ook makkelijk met de iPad werken.

Het is goed voor te stellen dat de ICT-er en zijn afdeling dit alles met lede ogen aanzien; mondige gebruikers die binnen komen met hun eigen iPad en zelf IT resources regelen zoals Google Apps, of overstappen naar SalesForce als hun interne CRM niet bevalt. Dit alles tast de controle aan die de ICT-ers jaren lang hebben gehad.

De truc voor leveranciers en ICT-ers om cloud buiten de deur te houden is het creëren van Fear, Uncertainty and Doubt (FUD) rond het gebruik van cloud computing. Elke aanleiding word gebruikt om desinformatie te verspreiden en het hoofdstuk beveiliging leent zich goed voor het verspreiden van angst. Zo waren sommige er als de kippen bij om een koppeling te leggen tussen de Wikileaks (cabels) en gebruik van cloud computing. Dit terwijl het lekken van deze stukken gebeurde vanuit een intern US Army netwerk via een CD.

De cloud is ook bedreigend voor ICT-ers, omdat sommige denken dat hun werk wel eens zou kunnen verdwijnen als bedrijven al hun ICT naar een public cloud provider zouden verplaatsen.

Ook de private (in huis) cloud levert dit soort zorgen op. De zware mate van automatisering van ICT processen die hierbij gebruikt wordt geeft ICT-ers het gevoel dat ze er geen controle meer over hebben. Het niet langer handmatig uitvoeren van acties op een systeem en moeten vertrouwen op de acties van het systeem zelf beangstigd blijkbaar. Daarnaast zien sommige daar mee ook werk, en mogelijk banen, verdwijnen.

Ook de veranderende verhouding tussen ontwikkeling en beheer (DevOps) levert spanning op. Het afbreken van de silo’s binnen de IT-afdeling is een veranderingsproces dat tot de nodige verzet zal leiden.

Samenvattend kunnen we stellen dat de mentaliteit van de IT-afdeling en het wantrouwen van de technologie, een belemmering vormen voor de adoptie van (public) cloud computing.


Over de vraag of cloud computing veiliger is kun je tientallen blogs vinden die deze vraag positief en negatief beantwoorden. De juiste vraag is echter ‘veiliger als wat?’.  Christian Reilly en Chris Hoff merkte recent op:

As Chris Hoff has inferred many times via his Rational Survivability blog and specifically in his excellent presentation entitled “Cloudifornication”, the question of “is the cloud more secure?” can only be answered by the question “more secure than what?“. In a parallel universe, the question “is it better or worse than my current environment?” can only be answered with “how bad is your current environment?”. Quid Pro Quo.

Een aantal van de public cloud providers is in het bezit van een ISO 27001, SAS 70 Type II en PCI DSS (zoals Amazon). Dit dan vaak boven op kwaliteits certificaten als een ISO 9001. Zouden de traditionele ICT omgevingen en afdelingen vandaag de dag deze audits ook zonder kleerscheuren overleven? De vraag is dus: ‘hoe goed of slecht is het op dit moment gesteld met je eigen ICT omgeving?’ Pas als hier een eerlijk antwoord op volgt, kun je een vergelijking trekken met de mogelijkheden in de cloud voor je eigen ICT en de gevaren.

Los van alle technologische mogelijkheden en de berg certificaten blijft het vooral een kwestie van psychologische barrières zoals recent onderzoek door IDC en VMware op merkte:

The topic (security) has both technology and organization/compliance facets, as technical factors define the security and safety level of data stored in the cloud; at the same time, even in those cases where the third-party datacenter is certified and proofed, and all compliances are cleared, there is still a clear psychological barrier in knowing that data and applications reside physically “somewhere else.”

Beter beschikbaar?

In de lijn van de veiliger discussie ligt ook de ‘beter beschikbaar’ discussie voor cloud computing. Hier vinden we ook de nodige FUD. Recent kondigde Google aan dat ze al het ‘gepland onderhoud’ uit hun SLA schrapte omdat ze deze onderhouds periodes niet meer nodig hebben. Hier mee komt ‘zero-downtime’ akelig dichtbij en dat doet natuurlijk de nodige stof op waaien.

De daar op volgende discussie kwamen al snel op betrouwbaarheid en vertrouwen, waar mee we weer een psychologisch element te pakken hebben.

Het vertrouwen in cloud computing is iets wat gemakkelijk te schenden is. Het traditionele datacenter leeft redelijk ‘onder de radar’ als het gaat om uitval. Meestal raakt uitval daar slechts enkele applicaties of een deel van de business. Deze uitval kan wel degelijk een grote impact hebben op de productiviteit van een organisatie maar het zal nooit de mate van negatieve publiciteit krijgen die cloud providers ontvangen. Een aardige analogie in de blog van Christian Reilly maakt duidelijk waarom:

The number of US highway deaths in a typical six month period – around 21,000 – roughly equals all commercial jet fatalities worldwide since the dawn of jet aviation over four decades ago. In fact, fewer people have died in commercial airplane accidents in America over the past 60 years than are killed in US automobile accidents in any typical three-month time period. (Source : Boeing Corporation)


It’s very infrequent to hear of a road crash (the traditional data center) make national news, but in the event of a commercial jet crash (the cloud) then it’s guaranteed to make headlines. Perhaps this is simply due to the number of people affected on board the airliner at a single time during the incident ?

Hiermee is het vertrouwen van mensen in een cloud computing provider gemakkelijker beschadigd. Het is dus belangrijk om objectieve gegevens te hebben over de beschikbaarheid van een cloud provider en de bijbehorende SLA’s.

Een goede onafhankelijke bron hier voor is bijvoorbeeld CloudHarmony.

Kom op met die controle!

ICT en de business dienen gezamenlijk op te trekken als het gaat om de adoptie van cloud computing. Dit is nodig vanuit financiële en compliance overwegingen. De ICT-er dient hierbij de organisatie te helpen om het maximale uit het cloud potentieel te halen en een gezonde balans te bewaken tussen interne en externe diensten. Het geven van een carte blanche voor het gebruik van cloud computing kan leiden tot hogere kosten en distributie van data buiten de eigen organisatie, die vanuit veiligheid en compliance ongewenst is.

Om deze balans tussen interne ICT en public cloud te bewaken en bewaren, komen er steeds meer cloud management platformen op de markt zoals enStratus en ServiceMesh. Deze platformen leveren governance voor hybrid cloud computing en slaan hier mee een brug tussen intern en externe resources.

Het gaat hierbij om mogelijkheden van centrale inkoop en administratie van cloud computing services, ongeacht de leverancier. Binnen het ‘portaal’ wat hierbij komt kijken, kan men het gebruik van public en private cloud computing services coördineren, evalueren, autoriseren en beheren. Ook zaken als single sign-on en het vastleggen en monitoren van handelingen is onderdeel van deze cloud management platformen.

CSA-Assertion-GraphicZoals Chris Hoff in zijn meeste recente presentatie aan gaf is de sleutel integratie. Zodra cloud leveranciers API’s ondersteunen zoals die door de Cloud Security Alliance (CSA) word ontwikkeld, maakt dit het makkelijker om audits uit te voeren op de omgeving van deze leveranciers.

The goal of CloudAudit is to provide a common interface and namespace that allows cloud computing providers to automate the Audit, Assertion, Assessment, and Assurance (A6) of their infrastructure (IaaS), platform (PaaS), and application (SaaS) environments and allow authorized consumers of their services to do likewise via an open, extensible and secure interface and methodology.

In de komende tijd zullen we de focus van ‘het is niet veilig en betrouwbaar’ zien verschuiven naar dit soort governance vraagstukken en de technologische en organisatorische oplossingen hier voor.

Hierbij is de cultuur in de organisatie en de mentaliteit van de IT-afdeling zeer belangrijk. ICT-ers moeten weer begrijpen dat hun missie is de organisatie optimaal te ondersteunen met ICT en dat cloud computing daar een onderdeel van is. Of ze nu willen of niet. Leidinggevende (zoals CIO/CTO) dienen zich bewust te zijn van deze weerstand en deze actief te adresseren.

Security professionals dienen vooral te redeneren vanuit risico en op basis hier van de organisatie te adviseren over de mogelijkheden om de risico’s af te dekken of te accepteren. Ze gaan hier mee van ‘nee’ naar ‘ja, maar…’.

Als we gezamenlijk dit spelletje niet spelen, zal de business en IT-afdeling steeds verder uit elkaar groeien.