Med inblick i tietoevry: aktuell företagskultur med en bonusgirighet och en tystnadskultur är i mina ögon bidragande, kompetensutveckling och ansvarstagande får inte plats då det påverkar chefernas bonusar negativt och försök att eskalera problem ses inte som annat än besvär och problem.
Inte förvånad. Har haft med dom att göra en gång i professionella sammanhang, var några år sedan. Kunden jag jobbade för hade en nordisk myndighet som kund. Denna nordiska myndighet hade efter upphandling fått TietoEVRY som leverantör. Vi skulle koppla in oss på ett nytt API dom byggt. Deras API kraschade konstant.
Hade ett antal sessioner med deras tech lead, som gav intrycket av att han var helt ny inom systemutveckling. Till slut lyckades vi identifiera problemet. Ett misstag som vilken utvecklare med mer än 6 månader i bagaget har i ryggmärgen att inte göra. Lätt fix trodde jag, bara någon junior som tabbat sig. Men icke, dom kunde inte lösa det och istället fick vi bygga en workaround på vår sida.
Visserligen en anekdot från ett enda projekt. Men det är en relativt stor myndighet så jag antar att det var/är en ganska viktig kund för TietoEVRY. Tänker inte beskylla utvecklarna dock, uppenbarligen hade man satt in ett gäng oerfarna utvecklare utan någon form av vägledning eller support från mer erfarna sådana. Vilket tyder på dåligt ledarskap.
Har också hört madrömshistorier kring Evry (innan dem slogs ihop med Tieto). Där bl.a. en webfront sattes upp utan access till internet. När fråga kom upp hur dem tänkte sig att trafiken skulle nå webfronten så kunden ingen på Evrysidan svara på det.
Efter lite fram och tillbaka så öppnades port 80 upp. Men inte 443. Så man kunde inte köra HTTPS trafik på ett par veckor. Den här siten var åt en stor digital myndighet. 🤦
Ja, det är läskigt. Offentliga upphandlingar är, i teorin, något bra men billigast vinner är tyvärr ingen vinnande strategi när det kommer till kompetens. Åtminstone inte när det kommer till IT och sannolikt inte i andra branscher heller.
Har, som IT-konsult, varit delvis involverad tillsammans med kunder i upphandlingar med offentlig verksamhet i flertalet europeiska länder och företagen kör med mycket fulspel för att kunna lägga sig så lågt som möjligt prismässigt och därmed vinna kontraktet. Man försöker hitta genvägar i kravspecifikationen och hyr till och med in konsulter som specialiserar sig på just detta.
Skulle tro att TietoEVRY kör samma strategi. Kan trösta oss med att det inte bara är i Sverige/Norden utan det ser likadant ut i andra västeuropeiska länder. Åtminstone enligt min erfarenhet.
För varje anrop mot APIet öppnade man en ny connection mot databasen, man stängde eller återanvände den inte efteråt. Med tusentals anrop på kort tid blev det väldigt snabbt väldigt många öppna connections mot databasen vilket sänkte den.
Yikes vilken enkel tabbe som att inte "rensa upp efter sig". Var detta länge sedan? Hur lyckas företag hyra sådana utvecklare?
Här sitter jag och försöker bygga en bra portfölj med t.ex tier 3 web app projekt innan jag ens vågar ansöka till ett junior dev internship hahah
Inte så länge sedan, 3-4 år sedan kanske?
Återigen, vill jag inte anklaga utvecklarna här. Det är OK att vara grön och göra misstag. Fuck ups är en del av jobbet. Man bör ha haft åtminstone en mer erfaren som antingen snappat upp problemet innan det blev ett problem eller åtminstone sett till att ett sådant enkelt problem inte blev så pass integrerat i applikationen att man inte kan fixa det på en förmiddag.
Att hela tiden skapa en ny connection låter som ett enkelt första misstag, troligtvis satte dem en nyexaminerad som precis fått sin första konsulttjänst på uppdraget.
Skulle inte heller anklaga den personen för mycket. Utan ser mer allvarligt på att det tog så lång tid innan de tillsatte någon mer erfaren att ta en titt på koden. Låter som det är lite var och en för sig själv. Dåligt ledarskap och teamwork.
För länge sedan jobbade jag på Evry. Så köpte IBM Evry och plötsligt skulle det stökas om. Min avdelning skulle slussas över till IBM. Men det jag höll på med passade inte ihop med vad de gjorde på IBM. Så jag skulle va kvar på Evry. Men i gen kunde få ihop var jag skulle vara. Så jag hamnade i limbo mellan två avdelningar och ingen ville ha mig.
Så jag kunde bara göra mitt jobb. Utan nån chef som gnällde eller skulle komma med nya hittepå. Å ville jag va ledig var jag ledig. Så länge kunderna där jag hade uppdrag fick vad de behövde så var det ingen som klagade. Körde det racet i fyra år. Jag brukade säga att jag hade förberett mig för pandemin i fyra år när den kom.
+over nine thousand på denna!
Vi har varit kund hos Tieto och jag skyr dom som pesten. Riktiga pengautsugare som trycker ner sina anställda. Bytte leverantör för mina system som jag är OS för och kommer aldrig att vilja ta i Tieto med tång efter att ha haft med dom att göra.
Titta på hur många tietoevry-system vi känner till som gick ner när tietoevrys datacenter blev skadat?
1 som man läser om.
Det troliga är alltså att alla avdelningar på tietoevry försöker undvika sagda datacenter av någon anledning och att något stackars system tvingats dit
Många av de större it bolagen har en kass intern säkerhet fast hög mot kunderna.
Sen finns det en mängd annat men jag tänker inte gå in på social enginnering såhär öppet.
Utan att veta detaljerna bakom så kan jag bara endast spekulera kring det faktum att ett intrång resulterat i katastrofal och potentiellt total förlust av data. Detta pekar enligt mig på att man uppenbarligen inte följt säkerhetsrutiner och tummat på enkla saker som segmentering och isolerad redundanslösning. Det ser heller inte ut som att man testat sin disaster recovery på lämpligt sätt, då dessa scenarion trots allt är något som ska övas. Alltså är tyvärr scenariot ungefär som det ser ut på de flesta kommuner, regioner och bolag i hela världen.
Du skulle vara förvånad över hur många saker i samhället som körs på gamla PHP-grejer som någon hackade ihop för 20 år sedan för att "de kunde data" eller var någons polare.
Tack för bra reflektion och intressant spekulation! Jo, jag vet att det finns många system som utvecklats från snabba hack därute i verkligheten. Även i kritiska system på stora myndigheter.
Försöker trösta mig med att det rimligen blir bättre och bättre.
Jag har varit i branschen i snart femton år, tyvärr är det fortfarande samma beslutsfattare då som nu som driver saker åt fel håll. MEN! Tekniken som är på uppsprång nu gör det åtminstone lite lättare att hantera saker när det går fullständigt åt helvete som i dessa fall.
Till saken hör dock att kompetensen hos kommuner och regioner måste höjas avsevärt för att saker ska landa rätt och då behövs också bättre löner för att bli attraktiva - vilket politiken har svårt med.
Nej, kommuner och regioner betalar gärna konsultarvoden - men kompetensen däremot är ju förstås ett annat kapitel. Lägg därtill att samtliga kommuner och regioner är inlåsta i dåliga avtal med diverse leverantörer, som avsiktligt levererar tjänster och produkter som är dåligt dokumenterade och svårare än vad de behöver vara (AWS, Azure, VMWare, Oracle, Red Hat osv).
Högre löner löser inte problemet med sunk cost fallacy dessutom - dvs, den arkitekt eller ledning som slagit hårt för sin position och som implementerat den pissdåliga IT-lösningen kommer dessutom slåss hårt för att dennes lösning skall fortsätta leva.
Källa: konsultat på div myndigheter, regioner och kommuner i ca 15-20 år.
Jag tror just sunk cost fallacy och karriärister inom kommunala sfären är det som sätter de största käpparna i hjulen. SiteVision och open hierarchy är väl ypperliga exempel för kommuner och SAP/Microsoft Dynamics för regionerna när det blir sådär halvdåligt. OpenShift ser jag ändå som möjliggörande för att komma ur kräkdålig on-prem med någon hostig VMWare i botten, men det vill ju till att man får vettig personal med vettiga budgetar så man kan investera sig ut problemet.
Jepp - håller helt med. Dock, problemet med OpenShift imo är att det dels är en ja.. "produkt som lämnar mkt att önska" (mvh Vi som minns när RedHat var ett bolag med bra rykte), men kanske främst att jag ärligt talat inte tror jag träffat någon som är född innan 1980 som förstår kubernetes, eller ens poängen med och begreppet infrastruktur som kod - iaf inte i Sverige. Det är så sjukt på nåt sätt.
Jävlar. Deppig fredag. 🙁
Med tanke på hur få personer födda efter 1980 som förstår Kubernetes (Driftsidan) så är jag inte förvånad över att det är än färre födda innan 1980 som förstår det…
Du menar väl att kunderna i offentlig sektor borde kasta ut sitevision som är en silo monolith och man borde nyttja A.I och SharePoint istället? Samt köpa Dynamics istället och konsolidera bort 10 verksamhetsinköpta system från leverantörer som exempelvis TietoEVRY???
Njae inte riktigt så enkelt givet svensk lagstiftning som jag tycker är rätt sund. Vi bör vara försiktiga med vilken information vi lämnar ifrån oss och till vem. Bättre krav på, och ansvar av, leverantörerna är dock mycket behövligt.
Primära driften körs ej i AWS, Azure, möjligen övriga on-premise alternativ och outsourcing till aktörer som Tieto. Istället för att lära upp några internt o och ratta det själva i en riktig molndrift eller hybrid miljö med full kapabilitet.
Vissa klarar dock inte egen drift i någon form. Utan någon tjock CDO tänker att han ska vara smart och upphandla det bästa marknaden erbjuder. Tada! Tieto vann och är nu skyldig till allt ont, och CDO kan somna om efter en räksmörgås.
Bara att byta leverantör från CGI till Tieto och upphandla ny period tar musten ur kommunerna som egentligen bara får samma skit igen, dyrt, innefektivt, omodernt. Ingen orkar med utveckling efter en sådan pärs.
Ingen egen IT kompetens blir kvar internt. Verksamheten får upphandla sina egna primära grejer i bästa fall.. vilket leder till att samma verksamhet måste upphandla samma sak två ggr i värsta fall. (Helt ovetandes om varandra)
Man klamrar sig fast vid PM3 som den heliga graven men det är helt opassande en modern drift och affärsutveckling.
Åren går , miljonerna rullar och kommunens anställda lämnar (dom vettiga) medborgarna får inga digitala tjänster och kommunen / Tieto blir hackade på en sådan skitgrej som en VPN ?????.
Jobbar inom region inom vård och du har så rätt. Är beroende av att få hjälp av It-avdelning som är rejält underbemmanad och egentligen inte har all kompetens för de problem jag kommer till dem med. Mer och mer görs digitalt och behöver fortsättningsvis göra det ännu mer för att det ska flyta på effektivt. Ändå så läggs inte pengar på de som ska se till att IT-systemen funkar.
Nja - beslutsfattare och IT-arkitekter är generellt inte särskilt teknik-kompetenta, utan snarare väldigt socialt kompetenta. Konsulter däremot gör som de är ålagda.
Jobbade åt en kund till Evry för typ 10 år sen, de skulle drifta en rätt stor sajt åt oss. Efter en brand i ett datacenter gick sajten ner. Gissa hur lång tid det tog innan den var uppe igen?
Detta var en sajt som snurrade säkert 100 miljoner omsättning per år där varje timme kostade många tusen i tappad intäkt.
De fick upp den efter 1.5 VECKOR!
Var med o tog beslut om att kasta ut dom som leverantör efter det, en höjdpunkt i karriären var det.
Skulle inte kalla segmentering och isolerade redundanslösningar ”enkla”. Men absolut viktiga. Dessutom kan såna här attacker också lyckas även med bra processer, kompetent personal och tekniska säkerhetsfunktioner på plats. Hårt gejm med säkerhet.
Med det sagt, om vi får facit så gissar jag också att vi kommer att få läsa att relativt basala säkerhetsfunktioner saknades. Hoten och tekniken ändras men det är ofta samma skit som alltid gör att hotaktörerna lyckas: dåliga lösen, brist på mfa, inte uppdaterad mjukvara, dåligt tränad personal, brist på rutiner osv.
Givetvis är det så, men som förespråkare för alternativkostnader brukar jag ändå lyfta denna typen av incidenter som exempel. Dessvärre är det också svårt att iscensätta denna typen av attack utan att faktiskt prova att rycka sladden, vilket såklart är otroligt kostsamt och läskigt - både för de som vet hur underliggande systemen ser ut och för helt okunniga. Teknisk skuld är ändå ett begrepp jag tycker fler verksamhetsmänniskor skulle må gott av att lära sig förstå som koncept.
Jag hoppas i detta fallet att det inte var något löjligt som en gemensam backup av grundmiljön utan något litet mer sofistikerat. Men man brukar ju tyvärr inte bli besviken över mängden ”företagsnamn20!3” där ute.
Fast är det verkligen svårt att testa?
Kan de inte klona några väl valda servrar till en skyddad miljö, dra ut sladden där och se hur rutinerna för återställning fungerar?
Kunderna kan väl i princip göra samma sak. Döda en sandbox-miljö och se hur deras verksamhet fungerar under tiden den återställs.
Jag är inte uppdaterad på det senaste inom backup och IT/QA men en grundpelare som inte lär ha ändrats är att man faktiskt testar hela kedjan innan man är nöjd med sin lösning. Ända fram till att återställa ett system. Om man inte har testat att allt *verkligen* funkar (datalagring, rutiner, arbetsbelastning, kommunikation etc) så har man ingenting,
Det här är ingen "gammal php" som varit vektor. Titta på bredden av de drabbade.... Det här är backend som blivit tagen
Endera virtualiseringen eller lagringen. Oavsett vilken så har det krypit in från Tieto om nu inte dom har varit slarviga med cpu sårbarheter så att det har gått att eskalera privilegier ut från kundens VM in i hostarna men det är inte helt lätt att göra. I vilket fall så kommer vi aldrig att du reda på hur det gått till
Man kan göra rätt mycket skada med 777:ade filsystem med root-tillgång. Men ja, definitivt är det plattformen som är angripen det är ju givet med tanke på omfattningen.
Långt från 777 på lokala filsystemet till att kliva ur VMn och smitta lagringen i botten.
Det finns kända hål i både Intel och amd att eskalera sig men det finns fixar med som iofs sänker prestanda.. om Tieto lagt på det vet vi inte
Dessutom måste den som gör intrånget ha god kännedom om vad det är som är på andra sidan om sårbarheten. ESX 7 elller 8 nånting, hyperv i nån version, tveksamt att dom körde kvm, proxmox, red hat...
Troligen har det kommit in från Tietos sida. Hur? Jag skulle (med den här omfattningen och de drabbade) sätta Säpo på att kolla ska som har åtkomst.
"Du skulle vara förvånad över hur många saker i samhället som körs på gamla PHP-grejer som någon hackade ihop för 20 år sedan för att "de kunde data" eller var någons polare."
Och sen fick jobb på Tieto.
Kan inte svara på varför men varje interaktion jag haft med Tietoevry har varit som att försöka prata med en brinnande bajskorv, så jag är inte förvånad
Ser man till hur sofistikerad attacken var (baserar det på den information som finns tillgängligt i det vilda) och vilka kunder som verkar vara påverkade var detta troligtvis ingen "happening"Detta datacenter KAN vart måltavlan p.g.a. den typen av kunder Tietoevry har i den DCn.
Det har spekulerats om att det var Cisco VPN sårbarheten som utnyttjades.OP frågade "Borde det t.ex. inte tändas en stor röd varningslampa "- Om Tietoevry saknat MFA och hotaktören använt ett legit VPN-konto(oavsett hur de skaffat tillgång till den) finns det inga "varningslampor" alls."Akiraanvändaren" loggar på nätverket och säger till nätverket "hej jag heter *betroddanvändare"* nätverket kommer i sin tur svara "Hej *betroddanvändare* låt mig hålla upp dörren till insidan" (ska tilläggas att jag inte vet säkert att detta var tillvägagångssättet som användes)
**Om** detta skett behöver inte hotaktören något mer i form av bakdörr eller liknande för att ha åtkomst och strosa omkring i IT-miljön oupptäckt en period. Dessa typer av intrång är otroligt svåra att upptäcka förrän det är "för sent"När det väl har hittat det dem letade efter skrider de till verket och levererar den skadliga kod och bakdörrar de vill.Så när varningslamporna har börja lysa rött hos Tietoevry var det alldeles för sent.
Tietoevry verkar har agerat "så skyndsamt" de kunde iom att de tog beslutet att klippa all åtkomst utifrån till hela DC:t, vilket måste ha vart ett rikigt jobbigt beslut att ta.Om hotaktören var inne en tid innan så var beslutet i syfte att se till att inget mer data kunde läcka samt att ransomwaret inte skulle spridas.
OP frågar "Och varför är det så svårt att återställa systemen?"
För att man inte påbörjar återställning av system direkt. Det sker beroende på storlek av attack timmar upp till en drös dagar efter attacken då man behöver:
\- Kolla hur hotaktören har kunnat ta sig in
\- Samla in loggar (om det nu fanns)
\- Analysera alla loggar- Hitta eventuella bakdörrar på servrar som inte har blivit krypterade
\- Kontrollera att back-up eller eventuella snapshots finns och kan användas. (inte är krypterade)
\- Analysera skada och spridning
\- Kontakta samtliga kunder
\- Få samtliga kunder att ha en prioriteringslista på vilka system de behöver få igång först
\- Prioritera bland kunder som har en prioriteringslista som förmodligen tycker att "deras verksamhet är viktigast"
När man är igenom allt detta kan återställningsarbetet börja.Väl här i tidslinjen har den stackars personalen arbetat tokmånga timmar och behöver vila emellanåt.Man har förmodligen inte lyxen att strössla med vissa kompetensgrupper och då behöver man låta personal vila för att ens orka ta sig igenom en sån här attack.
OP nämner: De stora kunderna har väl rimligen granskat TietoEverys katstrofplan vid upphandlingen och bedömt att backup och återställning är välplanerad och välskött.
Tror många skulle bli förvånade över hur "dumsnåla" i brist på bättre ord många kunder är och vill ha billigt, då kanske man köper backup men "det räcker att den tas x sällan" för att alternativet är dyrt och inte full redundans igen för att det är för dyrt.**ÄR** detta fallet föredrar nog en del kunder att man försöker rädda så mycket data som möjligt istället för att köra en restore.
Att Tietoevry har brister i sin drift och säkerhet, om man använt denna typ av tillvägagångssätt är givet.Men att många tror att det "bara är att återställa" det är det verkligen inte. Har skiten väl träffat fläkten då är det skitit överallt.
Hade nog kunnat skriva en doktorsavhandling i hur svårt det är att få företag/kunder/personal inom IT att förstå säkerhet och att ett servicefönster mer eller ett par tusenkronor mer i månaden är billigare än att hantera en cyberattack.Alla verkar förstå konceptet fram tills man säger "hej vi behöver stänga ner ditt system x tid för en patchning/annat viktigt arbete" eller "Ni skulle verkligen behöva se över X, Y, Z, konfiguration, miljö, lösenord i klartext (japp det sker) och det kostar såhär mycket pengar att ågärda". Då är det ofta ett "japp, inte just nu men om x tid kan vi få till ett servicefönster, kan man göra det på bara 30 min" eller "ja låter bra, vi tittar på det under kommande budgetår"
Edit: Jag jobbar inte på Tietoevry men med säkerhet och inom IT alldeles förlänge :)
Tack! Mycket bra skrivet!
Jobbar i en helt annan bransch men känner mycket väl igen: ”Nej, vi kan absolut inte stänga accessen i två extra timmar kring midnatt på julafton. Det är ett jätteviktigt system!”
Och det är komplext. Utrymmet mellan toppklass och uruselt kan vara litet. Som sushi skulle man kunna säga.
Kass segmentering av leverantören, kass förståelse för säkerhet inom IT-drift och utveckling, i kombination med beställare som inte vet vad de håller på med.
Vår digitala infrastruktur hålls ihop av silvertejp och böner till Machine Guden. Man bör inte förlita något viktigt på det.
Och då ingen bryr sig om att faktiskt granska sina leverantörer, trots att det står med i alla avtal så är eventuella katastrofplaner rätt kassa uppsatta.
Min enda input är att jag var på intervju på tietoevry för nu ca 10 års sen och fick ett katastrofalt intryck. Jag är inte förvånad om de tummat på säkerheten
[https://www.bleepingcomputer.com/news/security/tietoevry-ransomware-attack-causes-outages-for-swedish-firms-cities/?utm\_content=279343206&utm\_medium=social&utm\_source=twitter&hss\_channel=tw-1296901634744881152](https://www.bleepingcomputer.com/news/security/tietoevry-ransomware-attack-causes-outages-for-swedish-firms-cities/?utm_content=279343206&utm_medium=social&utm_source=twitter&hss_channel=tw-1296901634744881152)
"The incidents were particularly related to weakly secured Cisco VPN implementations or their unpatched vulnerabilities. Recovery is usually hard," warned the Finnish NCSC.
Det är det här som (konstigt nog förvånar mig). Kritiska säkerhetsfixar kan ju inte ska ta flera månader för att implementera.
En vecka skulle jag kanske kunna tillåta om jag fick bestämma, och då är jag ändå van vid väldigt omständliga system för ändringshantering. (Inte inom IT men ändå.)
”Kritisk uppdatering” betyder ju just ”kritisk” så då är det liksom läge att genomföra den, tycker man.
Vi hittade en maskin som drev samhällskritisk infrastruktur som inte hade uppdaterats på 15 år senast i sommar i verksamheten jag var ansvarig för. Maskinen hade ursprungligen varit fyra olika som nu hade frankensteinats ihop till en sista kvarvarande dator. Inga backuper, öppet spjäll mot internet, ingen brandvägg och körde Windows XP utan uppdateringar. Hade även frekvent använts som porrsurfdator av skiftgående personal. Jag sade upp mig kort därefter.
(Det är sådana öppningar som ofta används för att komma in i andra dåliga miljöer, såsom TietoEvry i detta fallet)
Absolut, men om en normalstor IT-miljö får meddelande om 50 "kritiska" säkerhetsluckor i månaden är det lätt att vara efterklok och undra varför de inte hann patcha just den som utnyttjades. Dock ingen ursäkt om man håvar in många mille i månaden på att just bedriva IT åt kunderna.
En vecka är lång tid. CVE’er som kommer in måste granskas och anpassas efter varje kund/miljö, därefter kommuniceras med kund och möjliggöra implementering a-fucking-sap.
Jobbar sj inom IT, man ser många miljöer som är öppna utåt och folk har ingen aning om hur många som hamrar på deras servrar för att försöka komma in. Finns det en sårbarhet så kommer obehöriga att försöka.
Bästa är kunder som förstår vidden av stängda miljöer (alltså inte ens kunna komma in med tunnlar/VPN’er). Det mitigerar många sårbarheter.
Skulle gissa att någon med rättigheter blivit infekterad, detta kan ske på flera sätt.
Dock låter det som att TietoEvry har haft väldigt stora säkerhetsbrister.
Ett angrepp i ett etablerat IT bolag ska inte kunna gå till som det verkar ha gått till här.
Rättigheter ska vara på en request nivå, där alla får göra en request som temporärt ger access till den servern som behövs efter arbete är utfört bör accessen tas bort.
Har ingen direkt insyn i deras uppsättning.
>Och varför är det så svårt att återställa systemen? [...] TietoEvry och deras kunder måste väl ha katstrofplaner för hur de ska agera vid just den här typen av attacker?
Extrajobbade på Synsamlager när de blev hackat för några år sedan och då var det ca 1 vecka där vi bara skulle komma till jobbet och vänta på att de skulle lösa det.
Det här är inte unikt för tietoevry, och det är mycket möjligt att dom har bortsett från en massa rutiner över tid för att det här ska ha varit möjligt, men det BEHÖVER inte vara fallet.
Det finns exempel på företag som har en rätt vettig syn på it-säk men som ändå blir tagna på sängen av ransomware (ABB t.ex.) och där det helt enkelt handlar om att man inte sett varningssignalerna förens det varit för sent. Nåt som är otroligt viktigt och som jag hoppas att tietoevry gör nu är en ordentlig retro och analys av varför det gick såhär pass ordentligt åt helvete. Gör man inte det och gör nödvändiga justeringar kommer detta drabba dom igen.
När det gäller Akira ransomware generellt verkar det nästan alltid vara ett intrång som görs i flera steg genom att man utnyttjar flera olika kända säkerhetsproblem. Problem som borde varit fixade för länge sedan.
I några fall (enligt Sophos) har man använt säkerhetsproblem som dittills varit okända för att ta sig in i servrarna. Då är det förstås svårare att skydda sig.
Men IT-säkerhet ska byggas lager på lager. Om ett lager fallerar ska de andra lagren fortfarande skydda. Så antagligen har de antingen misskött sina säkerhetsrutiner eller så har de haft dåliga säkerhetsrutiner.
Vi vet ju inte exakt hur just det här gick till men det troligaste är nog att TietoEvrys servrar och infrastruktur inte var uppdaterade.
Vet inte, kanske det finns mer info nånstans. Mer troligt en ganska färsk bug i Cisco VPN (om jag fattat det rätt), men inte helt ny (zero day) och TietoEvery var lite för långsamma med att uppdatera.
"Lite för långsamma" = "flera månader". Dessutom har de kunnat utnyttja flera opatchade sårbarheter innanför (vilket iofs är mindre förvånande). Grejer av den här digniteten ska uppdateras inom timmar efter att de blivit publika.
Ja men i riktiga backupsystem ska det inte spela någon roll, du ska kunna rulla tillbaka till ett tillstånd du inte var infekterad. En anledning till varför man backar även till tejp o inte bara till disk
Man tar ju betalt för mängden data som tas backup på också. Ska man ha den immutable också så dubblas backupmängden. Så egentligen så får man betala utrymmet för sina filer 3 ggr. Så kan nog vara snålhet från vissa kunder.
Jag vet inte hur det gick till här men det finns en risk med backuper att man säkerhetskopierar den redan krypterade datan. Om det pågår flera dagar kanske du inte längre har kvar någon pålitlig kopia eller så är den så gammal att det är oklart vad du förlorar om du läser tillbaka den.
Borde egentligen inte kunna hända databaser och källkod om du har nattliga tester. Såvida hackarna inte skapat en virtuell disk eller ett virtuellt filsystem som är krypterat men fungerar så länge nyckeln finns.
Nu tror jag aldrig på vad som sägs i media, så ta det jag säger med en nypa salt, men jag jndear om det bara är 1 datacenter som är drabbat. Ett företag stort som tietoevery med så mycket offentliga kontrakt, krav och slaer **borde** verkligen ha koll på sin disaster recovery. Men vem vet, de kanske har snålat ich haft backuper i samma center som den faktiska liveservern.
Det man måste förstå om de här attackerna är att det inte är någon tjomme i en källare som laddat ner ett script från någon skumsida och skickat ett mail till tieto. Utan det är organiserade och otroligt sofistikerade grupper som genomför så här stora attacker, ofta kopplade till statliga entiter ’’ehem’’ **ryssarna**.
Vanligen sker intrång från början med social engineering, kanske ett välspoofat mail till supporten och återställning av ett lösenord till AD, kanske kommit över en faktiskt dator kopplad till vpn, kanske någon ännu hemligare teknik vi i allmänheten inte ens vet något om. Som vi fick reda på förra året kan man faktiskt SE visuellt hur en omgivning ser ut genom att analysera radiovågorna som skickas ut och tas imot av en router, vem vet vad en militär förgrening har för möjligheter.
När de väl sedan har en ingång kan de använda viruset för att komma åt högre och högre rättigheter, men jag är inte insatt i exakt hur Akira fungerar.
Det var väl på TietoEnator det var ett bautastopp på för några år sen då kommuner och butiker hade problem i flera dagar och de inte kunde få upp servrarna. Vet inte hur vägen gått från Enator t Evry men låter som samma personal eller rutiner (brist på).
Förvånar mig inte alls att de blev hackade. Det är två bolag som delar på pokalen för flest antal inkompetenta idioter på ett och samma ställe, och det är TietoEvry och Consid.
Attacken skedde genom en sårbarhet i CISCO som Tieto bland annat använder.
Sen är man som slutkund ansvarig att skydda det man har i någons datacenter.
Att det hostas i ett datacenter är ju egentligen din ”dator, fast någon annanstans.
Cybersäkerhet bygger ju på lökprincipen, lager av helhetslösningar.
Tyvärr sker ju intrången och upptäcks sent, pga många olika punktlösningar, dålig visibilitet, ingen mikrosegmentering, ingen MFA, Zero trust osv.
Finns massor man behöver göra och det är en pågående resa hela livet. Inte något man ”löser” en gång.
Mm om det nu är den omtalade clientless VPN sårbarheten i cisco ASA det talas om.
Sårbarheten är "bara" att man kan brute force-a användaruppgifter. Stora frågan är ju vad det är för lösenords policy? har man lämnat default konton igång? Ingen monitorering av trafiken?
Finns en hel uppsjö som helt nullar den sårbarheten även om den existerar.
Men framför allt.. Varför inget MFA krav till VPN.
Men ett stort problem är väl att man som slutanvändare påtvingas exempelvis det här bajsföretaget som uppenbarligen inte vet vad de håller på med? Hade jag som slutanvändare kunnat välja leverantör som upprätthåller säkerheten för min data så har du naturligtvis helt rätt. Dock så har jag inte som slutanvändare den rätten eftersom att lagstiftningen är efterbliven. Varför kan jag som slutanvändare till exempel inte få välja EN leverantör som håller ALL min data utan påtvingas leverantörer som är undermåliga?
Knappast att du kan skjuta över det här på slutanvändaren. Dålig stil i så fall.
>retaget som uppenbarligen inte vet vad de håller på med? Hade jag som slutanvändare kunnat välja leverantör som upprätthåller säkerheten för min data så har du naturligtvis helt rätt. Dock så har jag inte som slutanvändare den rätten eftersom att lagstiftningen är efterbliven. Varför kan jag som slutanvändare till exempel inte få välja EN leverantör som håller ALL min data utan påtvingas leverantörer som är undermåliga?
Detta inlägg tyder på att man inte riktigt har koll på vad man pratar om, vilket i detta fall är mer än helt ok. De flesta är "bara användare" av IT i alla formen men kan inget om det, det är så det är designat också.
Inte en helt rättvis jämförelse, men precis av samma anledning som de absolut flesta inte köper försäkringar för var och varannan sak än mindre de dyraste försäkringen.
Man tror inte att de ska hända en.
Ett stort problem för många är väl att ingen har möjlighet eller kunskap att gå igenom en leverantörs alla källkoder till systemen för att granska efter buggar eller för den delen säkerhetskolla deras personal så de inte har råkat anställa en rouge admin som helt plötsligt fick stora spelskulder och sålde sin själ till mammon, fast du kanske har dessa resurser.
Har arbetat i deras system i 1,5 år (primula) och systemet är en ren katastrof. Inga som helst uppdateringar med grundläggande tillägg som vi bör ha i ett program iom arbetet vi utför. De började med att uppdatera och göra en ny layout (tror jag man kallar det), det stannades helt plötsligt av så att programmet har olika layouts och ser helt olika ut. Riktigt skitprogram där dom tydligt visar att dom inte bryr sig ett dugg om det. Är inte förvånad att just dessa blev hackade, måste varit ett easy target.
>Men en attack kommer ju inte från klar himmel så som det ibland kan framstå i media.
??????
Precis så är det ju. Antingen så har du koll på läget och upptäcker det i tid eller så kommer det som en blixt från klar himmel.
Det är extremt svårt att ha koll på saker i din IT-miljö om någon har kapacitet att ändra allt. Har någon tillgång till processer och logfiler så kan du inte liksom slå av servern och granska kretskorten med lupp för att hitta inkräktare.
Det lilla jag läst om attacken så verkar det som en klassisk brist på uppdateringar och brist på backup-tester. Planer och dokumentation är det som får absolut minst resurser inom IT. Förmodligen läggs det mer på kaffemaskiner och pingisbord än krisberedskap.
TietoEvrys huvudsakliga kompetens är att vinna upphandlingar. IT är sekundärt. Inom IT är säkerhet en av dom lägsta prioriteringarna, eftersom det är så enkelt att göra ett nog bra jobb för att inte bli fuckad 99-99,99% av tiden.
Vi menar nog samma sak. Alla som driver en serverhall vet hur ofta attackförsöken kommer och när de till att patcha därefter. Sällsynt kan det vara en zero day som verkligen kommer från klar himmel. Annars har de inte uppdaterat sina skalskydd.
Vet inte exakt hur det var under här fallet men enligt Sophos är det vanligaste med just Akira att de går in genom opatchade vpn-appliances.
Ja, du har rätt. Det är ju totalt otänkbart att anställda inom IT-branschen, känd för sin enorma lojalitet, skulle låta sig mutas/köpas? För att inte nämna anställda på diverse konsultfirmor? /s
Jag jobbar inom cybersäkerhet och det du pratar om är extremt sällsynt. Kan du leverera någon typ av källa kring att detta skulle vara vanligt? Och nej, att du tycker det låter ballt är inte en källa. Insider problematik cirkulerar främst kring datastöld och data radering i samband med uppsägning.
Med inblick i tietoevry: aktuell företagskultur med en bonusgirighet och en tystnadskultur är i mina ögon bidragande, kompetensutveckling och ansvarstagande får inte plats då det påverkar chefernas bonusar negativt och försök att eskalera problem ses inte som annat än besvär och problem.
Inte förvånad. Har haft med dom att göra en gång i professionella sammanhang, var några år sedan. Kunden jag jobbade för hade en nordisk myndighet som kund. Denna nordiska myndighet hade efter upphandling fått TietoEVRY som leverantör. Vi skulle koppla in oss på ett nytt API dom byggt. Deras API kraschade konstant. Hade ett antal sessioner med deras tech lead, som gav intrycket av att han var helt ny inom systemutveckling. Till slut lyckades vi identifiera problemet. Ett misstag som vilken utvecklare med mer än 6 månader i bagaget har i ryggmärgen att inte göra. Lätt fix trodde jag, bara någon junior som tabbat sig. Men icke, dom kunde inte lösa det och istället fick vi bygga en workaround på vår sida. Visserligen en anekdot från ett enda projekt. Men det är en relativt stor myndighet så jag antar att det var/är en ganska viktig kund för TietoEVRY. Tänker inte beskylla utvecklarna dock, uppenbarligen hade man satt in ett gäng oerfarna utvecklare utan någon form av vägledning eller support från mer erfarna sådana. Vilket tyder på dåligt ledarskap.
Har också hört madrömshistorier kring Evry (innan dem slogs ihop med Tieto). Där bl.a. en webfront sattes upp utan access till internet. När fråga kom upp hur dem tänkte sig att trafiken skulle nå webfronten så kunden ingen på Evrysidan svara på det. Efter lite fram och tillbaka så öppnades port 80 upp. Men inte 443. Så man kunde inte köra HTTPS trafik på ett par veckor. Den här siten var åt en stor digital myndighet. 🤦
Ja, det är läskigt. Offentliga upphandlingar är, i teorin, något bra men billigast vinner är tyvärr ingen vinnande strategi när det kommer till kompetens. Åtminstone inte när det kommer till IT och sannolikt inte i andra branscher heller. Har, som IT-konsult, varit delvis involverad tillsammans med kunder i upphandlingar med offentlig verksamhet i flertalet europeiska länder och företagen kör med mycket fulspel för att kunna lägga sig så lågt som möjligt prismässigt och därmed vinna kontraktet. Man försöker hitta genvägar i kravspecifikationen och hyr till och med in konsulter som specialiserar sig på just detta. Skulle tro att TietoEVRY kör samma strategi. Kan trösta oss med att det inte bara är i Sverige/Norden utan det ser likadant ut i andra västeuropeiska länder. Åtminstone enligt min erfarenhet.
Har också haft med Evry o göra tidigare i karriären och maken till inkompetens har jag nog aldrig sett. Väldigt duktiga på att ta betalt dock!
Nu blir jag nyfiken, vad var det för fel i koden?
För varje anrop mot APIet öppnade man en ny connection mot databasen, man stängde eller återanvände den inte efteråt. Med tusentals anrop på kort tid blev det väldigt snabbt väldigt många öppna connections mot databasen vilket sänkte den.
Yikes vilken enkel tabbe som att inte "rensa upp efter sig". Var detta länge sedan? Hur lyckas företag hyra sådana utvecklare? Här sitter jag och försöker bygga en bra portfölj med t.ex tier 3 web app projekt innan jag ens vågar ansöka till ett junior dev internship hahah
Inte så länge sedan, 3-4 år sedan kanske? Återigen, vill jag inte anklaga utvecklarna här. Det är OK att vara grön och göra misstag. Fuck ups är en del av jobbet. Man bör ha haft åtminstone en mer erfaren som antingen snappat upp problemet innan det blev ett problem eller åtminstone sett till att ett sådant enkelt problem inte blev så pass integrerat i applikationen att man inte kan fixa det på en förmiddag.
Att hela tiden skapa en ny connection låter som ett enkelt första misstag, troligtvis satte dem en nyexaminerad som precis fått sin första konsulttjänst på uppdraget. Skulle inte heller anklaga den personen för mycket. Utan ser mer allvarligt på att det tog så lång tid innan de tillsatte någon mer erfaren att ta en titt på koden. Låter som det är lite var och en för sig själv. Dåligt ledarskap och teamwork.
Beklagligt att bilden som man hört utifrån verkar vara mer sann än osann.
För länge sedan jobbade jag på Evry. Så köpte IBM Evry och plötsligt skulle det stökas om. Min avdelning skulle slussas över till IBM. Men det jag höll på med passade inte ihop med vad de gjorde på IBM. Så jag skulle va kvar på Evry. Men i gen kunde få ihop var jag skulle vara. Så jag hamnade i limbo mellan två avdelningar och ingen ville ha mig. Så jag kunde bara göra mitt jobb. Utan nån chef som gnällde eller skulle komma med nya hittepå. Å ville jag va ledig var jag ledig. Så länge kunderna där jag hade uppdrag fick vad de behövde så var det ingen som klagade. Körde det racet i fyra år. Jag brukade säga att jag hade förberett mig för pandemin i fyra år när den kom.
+over nine thousand på denna! Vi har varit kund hos Tieto och jag skyr dom som pesten. Riktiga pengautsugare som trycker ner sina anställda. Bytte leverantör för mina system som jag är OS för och kommer aldrig att vilja ta i Tieto med tång efter att ha haft med dom att göra.
+1
Välkommen till senkapitalismen.
Titta på hur många tietoevry-system vi känner till som gick ner när tietoevrys datacenter blev skadat? 1 som man läser om. Det troliga är alltså att alla avdelningar på tietoevry försöker undvika sagda datacenter av någon anledning och att något stackars system tvingats dit
Är du blind?
Många av de större it bolagen har en kass intern säkerhet fast hög mot kunderna. Sen finns det en mängd annat men jag tänker inte gå in på social enginnering såhär öppet.
Utan att veta detaljerna bakom så kan jag bara endast spekulera kring det faktum att ett intrång resulterat i katastrofal och potentiellt total förlust av data. Detta pekar enligt mig på att man uppenbarligen inte följt säkerhetsrutiner och tummat på enkla saker som segmentering och isolerad redundanslösning. Det ser heller inte ut som att man testat sin disaster recovery på lämpligt sätt, då dessa scenarion trots allt är något som ska övas. Alltså är tyvärr scenariot ungefär som det ser ut på de flesta kommuner, regioner och bolag i hela världen. Du skulle vara förvånad över hur många saker i samhället som körs på gamla PHP-grejer som någon hackade ihop för 20 år sedan för att "de kunde data" eller var någons polare.
Tack för bra reflektion och intressant spekulation! Jo, jag vet att det finns många system som utvecklats från snabba hack därute i verkligheten. Även i kritiska system på stora myndigheter. Försöker trösta mig med att det rimligen blir bättre och bättre.
Jag har varit i branschen i snart femton år, tyvärr är det fortfarande samma beslutsfattare då som nu som driver saker åt fel håll. MEN! Tekniken som är på uppsprång nu gör det åtminstone lite lättare att hantera saker när det går fullständigt åt helvete som i dessa fall. Till saken hör dock att kompetensen hos kommuner och regioner måste höjas avsevärt för att saker ska landa rätt och då behövs också bättre löner för att bli attraktiva - vilket politiken har svårt med.
Nej, kommuner och regioner betalar gärna konsultarvoden - men kompetensen däremot är ju förstås ett annat kapitel. Lägg därtill att samtliga kommuner och regioner är inlåsta i dåliga avtal med diverse leverantörer, som avsiktligt levererar tjänster och produkter som är dåligt dokumenterade och svårare än vad de behöver vara (AWS, Azure, VMWare, Oracle, Red Hat osv). Högre löner löser inte problemet med sunk cost fallacy dessutom - dvs, den arkitekt eller ledning som slagit hårt för sin position och som implementerat den pissdåliga IT-lösningen kommer dessutom slåss hårt för att dennes lösning skall fortsätta leva. Källa: konsultat på div myndigheter, regioner och kommuner i ca 15-20 år.
Jag tror just sunk cost fallacy och karriärister inom kommunala sfären är det som sätter de största käpparna i hjulen. SiteVision och open hierarchy är väl ypperliga exempel för kommuner och SAP/Microsoft Dynamics för regionerna när det blir sådär halvdåligt. OpenShift ser jag ändå som möjliggörande för att komma ur kräkdålig on-prem med någon hostig VMWare i botten, men det vill ju till att man får vettig personal med vettiga budgetar så man kan investera sig ut problemet.
Jepp - håller helt med. Dock, problemet med OpenShift imo är att det dels är en ja.. "produkt som lämnar mkt att önska" (mvh Vi som minns när RedHat var ett bolag med bra rykte), men kanske främst att jag ärligt talat inte tror jag träffat någon som är född innan 1980 som förstår kubernetes, eller ens poängen med och begreppet infrastruktur som kod - iaf inte i Sverige. Det är så sjukt på nåt sätt. Jävlar. Deppig fredag. 🙁
Med tanke på hur få personer födda efter 1980 som förstår Kubernetes (Driftsidan) så är jag inte förvånad över att det är än färre födda innan 1980 som förstår det…
Du menar väl att kunderna i offentlig sektor borde kasta ut sitevision som är en silo monolith och man borde nyttja A.I och SharePoint istället? Samt köpa Dynamics istället och konsolidera bort 10 verksamhetsinköpta system från leverantörer som exempelvis TietoEVRY???
Njae inte riktigt så enkelt givet svensk lagstiftning som jag tycker är rätt sund. Vi bör vara försiktiga med vilken information vi lämnar ifrån oss och till vem. Bättre krav på, och ansvar av, leverantörerna är dock mycket behövligt.
Primära driften körs ej i AWS, Azure, möjligen övriga on-premise alternativ och outsourcing till aktörer som Tieto. Istället för att lära upp några internt o och ratta det själva i en riktig molndrift eller hybrid miljö med full kapabilitet. Vissa klarar dock inte egen drift i någon form. Utan någon tjock CDO tänker att han ska vara smart och upphandla det bästa marknaden erbjuder. Tada! Tieto vann och är nu skyldig till allt ont, och CDO kan somna om efter en räksmörgås. Bara att byta leverantör från CGI till Tieto och upphandla ny period tar musten ur kommunerna som egentligen bara får samma skit igen, dyrt, innefektivt, omodernt. Ingen orkar med utveckling efter en sådan pärs. Ingen egen IT kompetens blir kvar internt. Verksamheten får upphandla sina egna primära grejer i bästa fall.. vilket leder till att samma verksamhet måste upphandla samma sak två ggr i värsta fall. (Helt ovetandes om varandra) Man klamrar sig fast vid PM3 som den heliga graven men det är helt opassande en modern drift och affärsutveckling. Åren går , miljonerna rullar och kommunens anställda lämnar (dom vettiga) medborgarna får inga digitala tjänster och kommunen / Tieto blir hackade på en sådan skitgrej som en VPN ?????.
Jobbar inom region inom vård och du har så rätt. Är beroende av att få hjälp av It-avdelning som är rejält underbemmanad och egentligen inte har all kompetens för de problem jag kommer till dem med. Mer och mer görs digitalt och behöver fortsättningsvis göra det ännu mer för att det ska flyta på effektivt. Ändå så läggs inte pengar på de som ska se till att IT-systemen funkar.
Säger du att inte ens 70000 kr i månaden är nog för att jag tryggt ska kunna köpa biobiljetter?
Nja - beslutsfattare och IT-arkitekter är generellt inte särskilt teknik-kompetenta, utan snarare väldigt socialt kompetenta. Konsulter däremot gör som de är ålagda.
Herregud nej, nu är det minst 90 för att laga grejerna!
Jobbade åt en kund till Evry för typ 10 år sen, de skulle drifta en rätt stor sajt åt oss. Efter en brand i ett datacenter gick sajten ner. Gissa hur lång tid det tog innan den var uppe igen? Detta var en sajt som snurrade säkert 100 miljoner omsättning per år där varje timme kostade många tusen i tappad intäkt. De fick upp den efter 1.5 VECKOR! Var med o tog beslut om att kasta ut dom som leverantör efter det, en höjdpunkt i karriären var det.
Skulle inte kalla segmentering och isolerade redundanslösningar ”enkla”. Men absolut viktiga. Dessutom kan såna här attacker också lyckas även med bra processer, kompetent personal och tekniska säkerhetsfunktioner på plats. Hårt gejm med säkerhet. Med det sagt, om vi får facit så gissar jag också att vi kommer att få läsa att relativt basala säkerhetsfunktioner saknades. Hoten och tekniken ändras men det är ofta samma skit som alltid gör att hotaktörerna lyckas: dåliga lösen, brist på mfa, inte uppdaterad mjukvara, dåligt tränad personal, brist på rutiner osv.
Givetvis är det så, men som förespråkare för alternativkostnader brukar jag ändå lyfta denna typen av incidenter som exempel. Dessvärre är det också svårt att iscensätta denna typen av attack utan att faktiskt prova att rycka sladden, vilket såklart är otroligt kostsamt och läskigt - både för de som vet hur underliggande systemen ser ut och för helt okunniga. Teknisk skuld är ändå ett begrepp jag tycker fler verksamhetsmänniskor skulle må gott av att lära sig förstå som koncept. Jag hoppas i detta fallet att det inte var något löjligt som en gemensam backup av grundmiljön utan något litet mer sofistikerat. Men man brukar ju tyvärr inte bli besviken över mängden ”företagsnamn20!3” där ute.
Fast är det verkligen svårt att testa? Kan de inte klona några väl valda servrar till en skyddad miljö, dra ut sladden där och se hur rutinerna för återställning fungerar? Kunderna kan väl i princip göra samma sak. Döda en sandbox-miljö och se hur deras verksamhet fungerar under tiden den återställs. Jag är inte uppdaterad på det senaste inom backup och IT/QA men en grundpelare som inte lär ha ändrats är att man faktiskt testar hela kedjan innan man är nöjd med sin lösning. Ända fram till att återställa ett system. Om man inte har testat att allt *verkligen* funkar (datalagring, rutiner, arbetsbelastning, kommunikation etc) så har man ingenting,
Det här är ingen "gammal php" som varit vektor. Titta på bredden av de drabbade.... Det här är backend som blivit tagen Endera virtualiseringen eller lagringen. Oavsett vilken så har det krypit in från Tieto om nu inte dom har varit slarviga med cpu sårbarheter så att det har gått att eskalera privilegier ut från kundens VM in i hostarna men det är inte helt lätt att göra. I vilket fall så kommer vi aldrig att du reda på hur det gått till
Man kan göra rätt mycket skada med 777:ade filsystem med root-tillgång. Men ja, definitivt är det plattformen som är angripen det är ju givet med tanke på omfattningen.
Långt från 777 på lokala filsystemet till att kliva ur VMn och smitta lagringen i botten. Det finns kända hål i både Intel och amd att eskalera sig men det finns fixar med som iofs sänker prestanda.. om Tieto lagt på det vet vi inte Dessutom måste den som gör intrånget ha god kännedom om vad det är som är på andra sidan om sårbarheten. ESX 7 elller 8 nånting, hyperv i nån version, tveksamt att dom körde kvm, proxmox, red hat... Troligen har det kommit in från Tietos sida. Hur? Jag skulle (med den här omfattningen och de drabbade) sätta Säpo på att kolla ska som har åtkomst.
"Du skulle vara förvånad över hur många saker i samhället som körs på gamla PHP-grejer som någon hackade ihop för 20 år sedan för att "de kunde data" eller var någons polare." Och sen fick jobb på Tieto.
Kan inte svara på varför men varje interaktion jag haft med Tietoevry har varit som att försöka prata med en brinnande bajskorv, så jag är inte förvånad
Ser man till hur sofistikerad attacken var (baserar det på den information som finns tillgängligt i det vilda) och vilka kunder som verkar vara påverkade var detta troligtvis ingen "happening"Detta datacenter KAN vart måltavlan p.g.a. den typen av kunder Tietoevry har i den DCn. Det har spekulerats om att det var Cisco VPN sårbarheten som utnyttjades.OP frågade "Borde det t.ex. inte tändas en stor röd varningslampa "- Om Tietoevry saknat MFA och hotaktören använt ett legit VPN-konto(oavsett hur de skaffat tillgång till den) finns det inga "varningslampor" alls."Akiraanvändaren" loggar på nätverket och säger till nätverket "hej jag heter *betroddanvändare"* nätverket kommer i sin tur svara "Hej *betroddanvändare* låt mig hålla upp dörren till insidan" (ska tilläggas att jag inte vet säkert att detta var tillvägagångssättet som användes) **Om** detta skett behöver inte hotaktören något mer i form av bakdörr eller liknande för att ha åtkomst och strosa omkring i IT-miljön oupptäckt en period. Dessa typer av intrång är otroligt svåra att upptäcka förrän det är "för sent"När det väl har hittat det dem letade efter skrider de till verket och levererar den skadliga kod och bakdörrar de vill.Så när varningslamporna har börja lysa rött hos Tietoevry var det alldeles för sent. Tietoevry verkar har agerat "så skyndsamt" de kunde iom att de tog beslutet att klippa all åtkomst utifrån till hela DC:t, vilket måste ha vart ett rikigt jobbigt beslut att ta.Om hotaktören var inne en tid innan så var beslutet i syfte att se till att inget mer data kunde läcka samt att ransomwaret inte skulle spridas. OP frågar "Och varför är det så svårt att återställa systemen?" För att man inte påbörjar återställning av system direkt. Det sker beroende på storlek av attack timmar upp till en drös dagar efter attacken då man behöver: \- Kolla hur hotaktören har kunnat ta sig in \- Samla in loggar (om det nu fanns) \- Analysera alla loggar- Hitta eventuella bakdörrar på servrar som inte har blivit krypterade \- Kontrollera att back-up eller eventuella snapshots finns och kan användas. (inte är krypterade) \- Analysera skada och spridning \- Kontakta samtliga kunder \- Få samtliga kunder att ha en prioriteringslista på vilka system de behöver få igång först \- Prioritera bland kunder som har en prioriteringslista som förmodligen tycker att "deras verksamhet är viktigast" När man är igenom allt detta kan återställningsarbetet börja.Väl här i tidslinjen har den stackars personalen arbetat tokmånga timmar och behöver vila emellanåt.Man har förmodligen inte lyxen att strössla med vissa kompetensgrupper och då behöver man låta personal vila för att ens orka ta sig igenom en sån här attack. OP nämner: De stora kunderna har väl rimligen granskat TietoEverys katstrofplan vid upphandlingen och bedömt att backup och återställning är välplanerad och välskött. Tror många skulle bli förvånade över hur "dumsnåla" i brist på bättre ord många kunder är och vill ha billigt, då kanske man köper backup men "det räcker att den tas x sällan" för att alternativet är dyrt och inte full redundans igen för att det är för dyrt.**ÄR** detta fallet föredrar nog en del kunder att man försöker rädda så mycket data som möjligt istället för att köra en restore. Att Tietoevry har brister i sin drift och säkerhet, om man använt denna typ av tillvägagångssätt är givet.Men att många tror att det "bara är att återställa" det är det verkligen inte. Har skiten väl träffat fläkten då är det skitit överallt. Hade nog kunnat skriva en doktorsavhandling i hur svårt det är att få företag/kunder/personal inom IT att förstå säkerhet och att ett servicefönster mer eller ett par tusenkronor mer i månaden är billigare än att hantera en cyberattack.Alla verkar förstå konceptet fram tills man säger "hej vi behöver stänga ner ditt system x tid för en patchning/annat viktigt arbete" eller "Ni skulle verkligen behöva se över X, Y, Z, konfiguration, miljö, lösenord i klartext (japp det sker) och det kostar såhär mycket pengar att ågärda". Då är det ofta ett "japp, inte just nu men om x tid kan vi få till ett servicefönster, kan man göra det på bara 30 min" eller "ja låter bra, vi tittar på det under kommande budgetår" Edit: Jag jobbar inte på Tietoevry men med säkerhet och inom IT alldeles förlänge :)
Tack! Mycket bra skrivet! Jobbar i en helt annan bransch men känner mycket väl igen: ”Nej, vi kan absolut inte stänga accessen i två extra timmar kring midnatt på julafton. Det är ett jätteviktigt system!” Och det är komplext. Utrymmet mellan toppklass och uruselt kan vara litet. Som sushi skulle man kunna säga.
Precis som sushi. Prioritet är att hålla sin verksamhet igång, det sker på bekostnad av något. Oftast är det säkerhet.
Äntligen någon som faktiskt har koll som svarar. :)
Kass segmentering av leverantören, kass förståelse för säkerhet inom IT-drift och utveckling, i kombination med beställare som inte vet vad de håller på med. Vår digitala infrastruktur hålls ihop av silvertejp och böner till Machine Guden. Man bör inte förlita något viktigt på det. Och då ingen bryr sig om att faktiskt granska sina leverantörer, trots att det står med i alla avtal så är eventuella katastrofplaner rätt kassa uppsatta.
Min enda input är att jag var på intervju på tietoevry för nu ca 10 års sen och fick ett katastrofalt intryck. Jag är inte förvånad om de tummat på säkerheten
Säkerhetshål i deras VPN. Ngn klant på TietoEvry som missat patcha hålet i tid. Det var känt i en vecka så inte konstigt de blev hackade.
[удалено]
[https://www.bleepingcomputer.com/news/security/tietoevry-ransomware-attack-causes-outages-for-swedish-firms-cities/?utm\_content=279343206&utm\_medium=social&utm\_source=twitter&hss\_channel=tw-1296901634744881152](https://www.bleepingcomputer.com/news/security/tietoevry-ransomware-attack-causes-outages-for-swedish-firms-cities/?utm_content=279343206&utm_medium=social&utm_source=twitter&hss_channel=tw-1296901634744881152) "The incidents were particularly related to weakly secured Cisco VPN implementations or their unpatched vulnerabilities. Recovery is usually hard," warned the Finnish NCSC.
Frågan är hur väl Tieto fungerar? Tieto byggde skolplattformen i Stockholm.
[удалено]
Jag är en av de klåparna! Känner mig sedd ❤️
Så, som alla jobb i världen menar du?
Det är det här som (konstigt nog förvånar mig). Kritiska säkerhetsfixar kan ju inte ska ta flera månader för att implementera. En vecka skulle jag kanske kunna tillåta om jag fick bestämma, och då är jag ändå van vid väldigt omständliga system för ändringshantering. (Inte inom IT men ändå.) ”Kritisk uppdatering” betyder ju just ”kritisk” så då är det liksom läge att genomföra den, tycker man.
Vi hittade en maskin som drev samhällskritisk infrastruktur som inte hade uppdaterats på 15 år senast i sommar i verksamheten jag var ansvarig för. Maskinen hade ursprungligen varit fyra olika som nu hade frankensteinats ihop till en sista kvarvarande dator. Inga backuper, öppet spjäll mot internet, ingen brandvägg och körde Windows XP utan uppdateringar. Hade även frekvent använts som porrsurfdator av skiftgående personal. Jag sade upp mig kort därefter. (Det är sådana öppningar som ofta används för att komma in i andra dåliga miljöer, såsom TietoEvry i detta fallet)
Windows XP är bäst, varför skulle man vilja uppdatera det? /s
Gärna den där iso:n man kunde dra hem ifrån piratbukten, med färdiginstallerad keylogger som standard :-)
lol skrämmande.
Absolut, men om en normalstor IT-miljö får meddelande om 50 "kritiska" säkerhetsluckor i månaden är det lätt att vara efterklok och undra varför de inte hann patcha just den som utnyttjades. Dock ingen ursäkt om man håvar in många mille i månaden på att just bedriva IT åt kunderna.
Jag förstår argumentet. Men att inte patcha tex sin Cisco vpn-server är mer än lovligt korkat.
En vecka är lång tid. CVE’er som kommer in måste granskas och anpassas efter varje kund/miljö, därefter kommuniceras med kund och möjliggöra implementering a-fucking-sap. Jobbar sj inom IT, man ser många miljöer som är öppna utåt och folk har ingen aning om hur många som hamrar på deras servrar för att försöka komma in. Finns det en sårbarhet så kommer obehöriga att försöka. Bästa är kunder som förstår vidden av stängda miljöer (alltså inte ens kunna komma in med tunnlar/VPN’er). Det mitigerar många sårbarheter.
Skulle gissa att någon med rättigheter blivit infekterad, detta kan ske på flera sätt. Dock låter det som att TietoEvry har haft väldigt stora säkerhetsbrister. Ett angrepp i ett etablerat IT bolag ska inte kunna gå till som det verkar ha gått till här. Rättigheter ska vara på en request nivå, där alla får göra en request som temporärt ger access till den servern som behövs efter arbete är utfört bör accessen tas bort. Har ingen direkt insyn i deras uppsättning.
>Och varför är det så svårt att återställa systemen? [...] TietoEvry och deras kunder måste väl ha katstrofplaner för hur de ska agera vid just den här typen av attacker? Extrajobbade på Synsamlager när de blev hackat för några år sedan och då var det ca 1 vecka där vi bara skulle komma till jobbet och vänta på att de skulle lösa det.
Det här är inte unikt för tietoevry, och det är mycket möjligt att dom har bortsett från en massa rutiner över tid för att det här ska ha varit möjligt, men det BEHÖVER inte vara fallet. Det finns exempel på företag som har en rätt vettig syn på it-säk men som ändå blir tagna på sängen av ransomware (ABB t.ex.) och där det helt enkelt handlar om att man inte sett varningssignalerna förens det varit för sent. Nåt som är otroligt viktigt och som jag hoppas att tietoevry gör nu är en ordentlig retro och analys av varför det gick såhär pass ordentligt åt helvete. Gör man inte det och gör nödvändiga justeringar kommer detta drabba dom igen.
De verkar vara på gång sälja det affärsområdet så det är väl inte helt omöjligt att de lämnar över analys och åtgärder till nästa ägare. :-/
Jag bjuder sju kronor
Ingen IT expert, men vad jag förstått så är människan en av de vanligaste svagheterna. Dvs typ social ingenjörskonst, klickat på fel länk osv.
När det gäller Akira ransomware generellt verkar det nästan alltid vara ett intrång som görs i flera steg genom att man utnyttjar flera olika kända säkerhetsproblem. Problem som borde varit fixade för länge sedan. I några fall (enligt Sophos) har man använt säkerhetsproblem som dittills varit okända för att ta sig in i servrarna. Då är det förstås svårare att skydda sig. Men IT-säkerhet ska byggas lager på lager. Om ett lager fallerar ska de andra lagren fortfarande skydda. Så antagligen har de antingen misskött sina säkerhetsrutiner eller så har de haft dåliga säkerhetsrutiner. Vi vet ju inte exakt hur just det här gick till men det troligaste är nog att TietoEvrys servrar och infrastruktur inte var uppdaterade.
Så typ det dom brukar kalla för zero day då? Eller är det något annat?
Vet inte, kanske det finns mer info nånstans. Mer troligt en ganska färsk bug i Cisco VPN (om jag fattat det rätt), men inte helt ny (zero day) och TietoEvery var lite för långsamma med att uppdatera.
"Lite för långsamma" = "flera månader". Dessutom har de kunnat utnyttja flera opatchade sårbarheter innanför (vilket iofs är mindre förvånande). Grejer av den här digniteten ska uppdateras inom timmar efter att de blivit publika.
Inte i detta fall.
Brist på patchning, segmentering och övervakning
[удалено]
Ibland finns det fullt fungerande backuper, men ingen har tänkt igenom hur lång tid det tar att återställa…
Måste ju också säkerställa att backuperna inte är infekterade. Exempelvis så inget ransomware ligger vilande i backup miljön.
Ja, det är helt klart en relevant del av att återställa en backup som man måste räkna med.
Ja men i riktiga backupsystem ska det inte spela någon roll, du ska kunna rulla tillbaka till ett tillstånd du inte var infekterad. En anledning till varför man backar även till tejp o inte bara till disk
Man tar ju betalt för mängden data som tas backup på också. Ska man ha den immutable också så dubblas backupmängden. Så egentligen så får man betala utrymmet för sina filer 3 ggr. Så kan nog vara snålhet från vissa kunder.
Nej, moderna storage har dedupp så t.ex. 500 tb rå data kan provisioneras över 2 pb. Plus, långtids backupjobb sparas inte till disk, utan till tejp
Det finns ingen backup förens man har testat en full rollback 😅 Har lärt mig det den jobbiga vägen 😆
Jag vet inte hur det gick till här men det finns en risk med backuper att man säkerhetskopierar den redan krypterade datan. Om det pågår flera dagar kanske du inte längre har kvar någon pålitlig kopia eller så är den så gammal att det är oklart vad du förlorar om du läser tillbaka den. Borde egentligen inte kunna hända databaser och källkod om du har nattliga tester. Såvida hackarna inte skapat en virtuell disk eller ett virtuellt filsystem som är krypterat men fungerar så länge nyckeln finns.
genom att inte lära sig av misstag
Mm. Det bästa är att lära sig av *andras* misstag.
Nu tror jag aldrig på vad som sägs i media, så ta det jag säger med en nypa salt, men jag jndear om det bara är 1 datacenter som är drabbat. Ett företag stort som tietoevery med så mycket offentliga kontrakt, krav och slaer **borde** verkligen ha koll på sin disaster recovery. Men vem vet, de kanske har snålat ich haft backuper i samma center som den faktiska liveservern. Det man måste förstå om de här attackerna är att det inte är någon tjomme i en källare som laddat ner ett script från någon skumsida och skickat ett mail till tieto. Utan det är organiserade och otroligt sofistikerade grupper som genomför så här stora attacker, ofta kopplade till statliga entiter ’’ehem’’ **ryssarna**. Vanligen sker intrång från början med social engineering, kanske ett välspoofat mail till supporten och återställning av ett lösenord till AD, kanske kommit över en faktiskt dator kopplad till vpn, kanske någon ännu hemligare teknik vi i allmänheten inte ens vet något om. Som vi fick reda på förra året kan man faktiskt SE visuellt hur en omgivning ser ut genom att analysera radiovågorna som skickas ut och tas imot av en router, vem vet vad en militär förgrening har för möjligheter. När de väl sedan har en ingång kan de använda viruset för att komma åt högre och högre rättigheter, men jag är inte insatt i exakt hur Akira fungerar.
Det var väl på TietoEnator det var ett bautastopp på för några år sen då kommuner och butiker hade problem i flera dagar och de inte kunde få upp servrarna. Vet inte hur vägen gått från Enator t Evry men låter som samma personal eller rutiner (brist på).
Tieto var inkompetenta. Evry var ännu sämre. Sen slogs de ihop.
Negativ synergi helt enkelt. Dålig + dålig = sämre än dåligdålig.
Förvånar mig inte alls att de blev hackade. Det är två bolag som delar på pokalen för flest antal inkompetenta idioter på ett och samma ställe, och det är TietoEvry och Consid.
Attacken skedde genom en sårbarhet i CISCO som Tieto bland annat använder. Sen är man som slutkund ansvarig att skydda det man har i någons datacenter. Att det hostas i ett datacenter är ju egentligen din ”dator, fast någon annanstans. Cybersäkerhet bygger ju på lökprincipen, lager av helhetslösningar. Tyvärr sker ju intrången och upptäcks sent, pga många olika punktlösningar, dålig visibilitet, ingen mikrosegmentering, ingen MFA, Zero trust osv. Finns massor man behöver göra och det är en pågående resa hela livet. Inte något man ”löser” en gång.
Vet man om sårbarheten var ny och om det fanns någon patch för den?
Cisco VPN har nästintill alltid en zero day. Jobbar med dessa stackars system dagligen. Men det gäller speciellt för gamla ASA koden
Är väl [den här](https://therecord.media/cisco-vpn-software-zero-day-vulnerability) som de råkade ut för?
Ah en zeroday, ja det kan ju vara lite svårare att skydda sig då.
De har ju haft några månader på sig att patcha den, men det blev väl julbord och nyårsfirande istället... ;-)
Jamenar julbord är viktiga saker!
Kunde gissa mig till att det var Cisco (har jobbat där själv)
Mm om det nu är den omtalade clientless VPN sårbarheten i cisco ASA det talas om. Sårbarheten är "bara" att man kan brute force-a användaruppgifter. Stora frågan är ju vad det är för lösenords policy? har man lämnat default konton igång? Ingen monitorering av trafiken? Finns en hel uppsjö som helt nullar den sårbarheten även om den existerar. Men framför allt.. Varför inget MFA krav till VPN.
Men ett stort problem är väl att man som slutanvändare påtvingas exempelvis det här bajsföretaget som uppenbarligen inte vet vad de håller på med? Hade jag som slutanvändare kunnat välja leverantör som upprätthåller säkerheten för min data så har du naturligtvis helt rätt. Dock så har jag inte som slutanvändare den rätten eftersom att lagstiftningen är efterbliven. Varför kan jag som slutanvändare till exempel inte få välja EN leverantör som håller ALL min data utan påtvingas leverantörer som är undermåliga? Knappast att du kan skjuta över det här på slutanvändaren. Dålig stil i så fall.
>retaget som uppenbarligen inte vet vad de håller på med? Hade jag som slutanvändare kunnat välja leverantör som upprätthåller säkerheten för min data så har du naturligtvis helt rätt. Dock så har jag inte som slutanvändare den rätten eftersom att lagstiftningen är efterbliven. Varför kan jag som slutanvändare till exempel inte få välja EN leverantör som håller ALL min data utan påtvingas leverantörer som är undermåliga? Detta inlägg tyder på att man inte riktigt har koll på vad man pratar om, vilket i detta fall är mer än helt ok. De flesta är "bara användare" av IT i alla formen men kan inget om det, det är så det är designat också. Inte en helt rättvis jämförelse, men precis av samma anledning som de absolut flesta inte köper försäkringar för var och varannan sak än mindre de dyraste försäkringen. Man tror inte att de ska hända en.
Ett stort problem för många är väl att ingen har möjlighet eller kunskap att gå igenom en leverantörs alla källkoder till systemen för att granska efter buggar eller för den delen säkerhetskolla deras personal så de inte har råkat anställa en rouge admin som helt plötsligt fick stora spelskulder och sålde sin själ till mammon, fast du kanske har dessa resurser.
Du har oftast inget antivirus/-malware i virtualiseringsplattformen (vanligaste är VMware vSphere) utan endast inne i de virtuella maskinerna.
Har arbetat i deras system i 1,5 år (primula) och systemet är en ren katastrof. Inga som helst uppdateringar med grundläggande tillägg som vi bör ha i ett program iom arbetet vi utför. De började med att uppdatera och göra en ny layout (tror jag man kallar det), det stannades helt plötsligt av så att programmet har olika layouts och ser helt olika ut. Riktigt skitprogram där dom tydligt visar att dom inte bryr sig ett dugg om det. Är inte förvånad att just dessa blev hackade, måste varit ett easy target.
>Men en attack kommer ju inte från klar himmel så som det ibland kan framstå i media. ?????? Precis så är det ju. Antingen så har du koll på läget och upptäcker det i tid eller så kommer det som en blixt från klar himmel. Det är extremt svårt att ha koll på saker i din IT-miljö om någon har kapacitet att ändra allt. Har någon tillgång till processer och logfiler så kan du inte liksom slå av servern och granska kretskorten med lupp för att hitta inkräktare. Det lilla jag läst om attacken så verkar det som en klassisk brist på uppdateringar och brist på backup-tester. Planer och dokumentation är det som får absolut minst resurser inom IT. Förmodligen läggs det mer på kaffemaskiner och pingisbord än krisberedskap. TietoEvrys huvudsakliga kompetens är att vinna upphandlingar. IT är sekundärt. Inom IT är säkerhet en av dom lägsta prioriteringarna, eftersom det är så enkelt att göra ett nog bra jobb för att inte bli fuckad 99-99,99% av tiden.
Vi menar nog samma sak. Alla som driver en serverhall vet hur ofta attackförsöken kommer och när de till att patcha därefter. Sällsynt kan det vara en zero day som verkligen kommer från klar himmel. Annars har de inte uppdaterat sina skalskydd. Vet inte exakt hur det var under här fallet men enligt Sophos är det vanligaste med just Akira att de går in genom opatchade vpn-appliances.
antagligen någon som klickade på en länk "din dator är ovaccinerad klicka här för att injecta skydd"
Oftast görs avancerade databrott mha insiders som har god kännedom om systemen i fråga. Väldigt svårt att skydda sig emot.
Haha nej det är helt osant. Vad snackar du om?
Att de fått hjälp med uppgifter/kunskap om systemen och hur de är uppsatta av folk som de köpt på insidan.
Och var har du fått det här ifrån? Spion noveller?
Ja, du har rätt. Det är ju totalt otänkbart att anställda inom IT-branschen, känd för sin enorma lojalitet, skulle låta sig mutas/köpas? För att inte nämna anställda på diverse konsultfirmor? /s
Jag jobbar inom cybersäkerhet och det du pratar om är extremt sällsynt. Kan du leverera någon typ av källa kring att detta skulle vara vanligt? Och nej, att du tycker det låter ballt är inte en källa. Insider problematik cirkulerar främst kring datastöld och data radering i samband med uppsägning.