Alexander Norman – Sida 11

Managerad driftövervakning via Adminor

En av våra tilläggstjänster är managerad driftövervakning. Då tar Adminor emot larm och driftinformation från de system vi övervakar hos en kund.

Vi ser notifieringar via GUI (grafiskt interface), via epost och SMS.
Är det väldigt viktiga tjänster så får vi även uppringningar av automatiska system oavsett tid på dygn.

När vi tar emot larm så klassifierar vi det enligt en skala med allt som kan lösas ”next business day” till det som går på SLA prioritet dygner runt. En ticket skapas och vi notifierar via epost, sms eller telefon beroende på vilken tid på dygnet samt vilken grad av incident. Därefter bestämmer man hur felet ska hanteras och implementerar en lösning.

Vill man inte använda sig av tjänsten managerad driftövervakning så går det givetvis bra att sköta sådant själv. På IDG har man skrivit en bra artikel för de som vill övervaka sina tjänster med hjälp av Pingdom. Artikeln är mer av en guide på hur man kan anpassa Pingdom för sitt eget behov.

2010-10-18 (21:10-21:13)

Delar av nätverket drabbades av en kort driftstörning.

Uppdatering 02:12 19/10:
Vi har fått meddelat från interconnect leverantör att det var en länk som gick ned pga trasig SFP.
Trafiken routades automatiskt över på failover när detta skedde. 01.15 var SFP utbytt och ordinarie länk åter i drift.

Sökmotoroptimering (SEO) – hemstajling för företag

När man lägger ut sin lägenhet till försäljning så är det viktigt att den är städad och fin. Vissa anlitar homestylers som ska snygga till lägenheten så att eventuella skavanker syns mindre vid visning och hemfotografering.
Det gäller att bostaden syns på så många ställen som möjligt. Ju fler som talar och diskuterar om objektet desto bättre samt fler som bjuder i slutändan.

På samma sätt så måste en webbsida vara lättnavigerad , snabb och relevant för att sökmotorer ska ranka den högt i sökmotorlistor. En av de viktigaste aspekterna är antal andra webbsidor som länkar till den sida som ska synas högt. Ju mer relevanta länkar och ju högre upp de andra webbsidorna är i googles listor – desto bättre. Ett mått på hur synlig en webbsida är i google kallas Pagerank.

Det finns en hel del sökmotoroptimeringsföretag på nätet som lovar guld och gröna skogar för att se till att just din webbsida hamnar högt upp i resultaten. En hel del sökmotoroptimerare använder sig även av tvivelaktiga metoder. Exempel på detta är sökmotorföretag som har egna listor på siter där de får slänga in länkar kors och tvärs utan relevans för att skapa artificiell synlighet. Upptäcks det av google så riskerar man att bli straffad och istället hamna långt ned eller helt uteslutas ur sökresultat.

Detta är en marknad som en hel del företag riktat in sig på – så kallad sökmotoroptimering (search engine optimization, SEO) .

Jag anser personligen att det inte finns några genvägar om man verkligen ska lyckas. Det finns dock en hel del enkla knep man kan börja med för att hjälpa sökmotorerna på traven. Det viktigast är dock att ha en webbsida med relevant och intressant material.

Just nu jobbar jag med ett antal olika projekt i Adminor för att hjälpa allt från privatpersoner till små och medelstora företag med sina webbsidor. Givetvis så tillämpar jag samma etiska metoder som jag förespråkar!

Molntjänster – skillnad på moln och moln

Det snackas mycket om molnet och cloud hosting.

Vad är molnet?

Med molntjänster (även kallat cloud Computing) menar man möjligheten att köra serverbaserade applikationer eller program över Internet. Traditionellt så brukar man hantera applikationer inom ett företag eller en organisation genom att installera applikationen på en egen fysisk server. Dessutom så ansvarar man för drift och underhåll av både server samt applikation själva eller genom att överlåta på en extern IT-leverantör (outsourcing).

Inom molnet är det istället ofta tjänsteleverantörer som svarar för installation på sin server samt ansvarar för drift och underhåll av miljlön i egna datacenter. För att göra allt det här möjligt så brukar tjänsteleverantören använda virtualiserings-teknologi för att kunna dela upp resurserna bland olika applikationer och ”virtuella privata servrar”. På så vis kan man maximera resursutnyttjandet av de fysiska servrarna genom att tilldela precis så mycket resurser som behövs – till skillnad från det resursslöseri man riskerar att ha i en traditionell miljö.

Skillnad på moln och moln

Jag anser att olika leverantörer av molntjänster kan delas in i tre olika kategorier eller nivåer, så kallade tiers. Dessa nivåer är vad som spelar in på kvalité och pris av tjänsten. Ju högre nivå av tjänsten desto dyrare.

Den främsta skillnaden bland olika tiers är IOPs (operationer per sekund) kapacitet på deras lagringsplatform. Därefter kommer funktionaliteten.

IO-prestandan är så pass viktig att om du har otur att välja en leverantör som har låg prestanda eller har sparat in på lagringsmiljön kan din virtuella privata server påverkas negativt av långsam läs- och skrivkapacitet. Priset på lagringsutrymme spelar roll på prestanda!

Har man inte högt ställda krav på IOPS prestanda och hellre vill ha maximalt lagringsutrymme så kanske man inte behöver välja de dyrare tiers. Har man dock krav på prestanda så får man nog satsa på de högre tiers.

Nedan har jag försökt klassifiera olika tiers och deras egenskaper:

– Premium tier
Högst driftsäkerhet, dedicerade infrastrukturresurser med flera niors upptid SLA. Deras lagringsmiljö är oftast bland de mest kvalificerade och högpresterande som kostat miljoner att driftsätta.
Oftast egen tekniskt platform som de själva driftar och utvecklar. De lever på sitt namn och har råd att ta betalt.
Dessa leverantörer brukar även leverera sin mjukvara till företag så att de kan hosta privata moln (virtuella miljöer). Ett exempel på dessa leverantörer är VMWare.

– Enterprise tier
Steget under Premium tier. De håller hög nivå på sin infrastruktur men är inte lika stora som premium tier. De har mindre datahallar och licensierar sin mjukvara från Premium tier leverantörer. De satsar även på att kunna leverera vad de lovar vilket driver upp priser någorlunda för lagringsutrymmen (SAN i hundratusenkronors klassen) men är inte lika dyra som Premium.

– Budget tier
Billigaste billiga. Vissa begränsningar i virtualiseringsfunktioner och överbokar gärna sina resurser för att hålla låga priser till slutkunder. De kör ofta mjukvarubaserade filsystem för att kunna maximera tillgängligt lagringsutrymme på bekostnad av IOPs prestanda. Distribuerade filsystem körs på vanliga konsument SATA diskar som har maximal lagringskapacitet, låg IOPs men även låga priser.

Hur kan man skilja på ett moln från ett annat då?
Priset!
Titta på grundpaketet från leverantören.
Kostar VPS:en man vill beställa bara mellan 50 och 120kr/må så kan man vara säker på att de sparat in på något. Är lagringsutrymme extremt billigt så kan man vara bombsäker på att det är distribuerade filsystem som använder långsamma SATA diskar för maximalt utrymme.
En start kostnad runt 170kr/mån brukar indikera Enterprise tier och allt ovanför 250kr/mån är Premium. Priserna för lagringsutrymme springer gärna iväg till många tior per GB diskutrymme.

Kraften av Unix?

Jag läste en intressant artikel på IDG där man tar upp hur man kan använda MacPorts som pakethanterare under Macintosh.
Mycket bra genomgång även om jag får passa på att ge Mac OSX en känga eftersom man kunnat göra detta under Linux sen någon gång på 90-talet 🙂

Mina personliga favoriter under olika distributionsträd är följande:
I Debian, Ubuntu och andra distributioner baserat på Debian har vi apt-get / aptitude.
I Gentoo har vi emerge / portage.
I RedHat och Redhat kompatibla distributioner så som CentOS och WhiteHat har vi yum.

Absolut snabbast av alla dessa är apt för Debian även om emerge / portage på Gentoo kan tänkas vara den mest flexibla av paketeringssystemen.

Hur skiljer sig då pakethantering under Linux mot t.ex. Windows?
Jo, man på Linux har man ofta stora arkiv online med tillgänglig mjukvara som man kan vraka och välja bland. Det går att genom ett kort kommando både söka, installera och avinstallera alla mjukvaror som behövs. Alla filer som behövs laddas ned vid behov och installeras snabbt och enkelt. Ibland skulle jag vilja säga att detta gör Linux enklare än Windows för en administratör!

Använder du Android eller iPhones market funktioner för att tanka appar kan du tänka dig att det funkar liknande.
Du söker en app och väljer den helt enkelt för installation.

I Windows får du oftast leta upp den mjukvara du vill ha, fixa en installationsfil eller cd-skiva och därefter installera.
Hoppas verkligen att Microsoft följer efter och ger upp tänket med att behöva ladda ned en ISO för att bränna ned på skiva varje gång man vill installera någon större applikation. Vi på Adminor är SPLA partner men det tar avsevärt mycket längre tid att installera programvaror från Microsofts licenspartnerprograms webbsidor än motsvarande från andra operativsystems leverantörer. Synd!

Varnish cache – en case-studie

En kväll blev Adminor uppringd av en webbportal som hade ett akut problem.

Problemet
Deras sida hade legat nere under halva dagen och mesta delen av kvällen. När sidan väl var uppe tog det över 10 sekunder för sidan att ladda.
Mesta dels var problemet självförvållat genom ökande popularitet av deras webbsida.

De var i akut behov av att lösa problemen men hade inte möjlighet att byta server snabbt på grund av budgetbegränsningar och intern miljö.
På mjukvarusidan fanns en vanlig WordPress installation på en Apache webbserver och MySQL-databas. Utöver det hade dom själva redan försökt lösa problemet genom att köra wordpress cache plugin.

En till synes omöjlig uppgift när budget begränsar och det inte fanns mycket man kan göra på mjukvarusidan.

Förberedelser

Det första vi tittade på var serverinställningarna på Apache och MySQL. Vi kunde dock inte se några underligheter utan inställningarna var rätt hyffsade. Det var helt enkelt så att de måste frigöra resurser på något vis, antingen genom att köpa in ny hårdvara eller förbättra applikationen.
Vi kom då med ett tredje förslaget att istället implementera Varnish som en caching proxy framför deras webbportal. På så vis skulle man kunna cacha de dynamiska förfrågningarna.

Felåtgärd

Ofta måste man göra en fullständig undersökning av kundens miljö eftersom man inte vill orsaka problem med att ändra inställningar för server.
I detta fall var det ganska enkelt när servern bara har en site som körs och sidan ändå var nere mera än den var uppe pga det höga trycket.

Vi körde därför igång på direkten. Det första vi gjorde var att göra en snabbanalys. Detta gjorde vi genom att installera grafverktyg och statistikinsamling på det systemet som var berört.

Adminor identifierade det material som MÅSTE vara dynamiskt och vilket material som kunde cachas. Det visar sig att allt förstasidematerial och dess undersidor med enkelhet kunde cachas i åtminstone 10 minuter. Restererande material som publikationsdel och administrationssidor fick inte cachas.
Sen diskuterade vi med kunden om detta verkade överenstämma. Att installera Varnish är rätt enkelt så 2h efter att kunden först tog kontakt så var en lösning färdigimplementerad.

Resultat

Graferna nedan visar de första 20 minutrarna då vi precis installerat övervakningen och sen den kraftiga resursminskning efteråt när Varnish aktiverats.

Datapunkterna på CPU-grafen visar iowait, user och system CPU-utnyttjande som låg långt över det rekommenderade. Minnesanvändningen låg över det som fanns fysiskt installerat så att server var tvungen att swappa (läsa / skriva från långsammare diskminne).
Efter Varnish-installationen så har CPU användningen minskat från >100% till endast en 1/4 del utav de tillgängliga resurserna som högsta nivå under dagarna. Minnesgrafer är nu jämn under dagarna med avtagande ökning (normalt och hälsosamt) istället för den kaotiska höga commit nivån (5.96GB!) som låg ovanför den fysiska gränsen i början av datapunkterna.

Det ska nämnas att innan Varnish implemeterades kunde portalen endast ta emot ett tjugotal samtidiga besökare. Efter förändringen så gjorde vi ett lasttest som visade att det nu var serverns bandbreddsanslutning som kommer begränsa – men det är långt tills dess. Detta ger nu portalen en hel del utrymme att växa i utan att öka sina serverkostnader!
Efter Varnish togs i bruk laddades 100% av besökarna under 0.5sekunder enligt apache benchmark statistik.

Kommando: ab -n 1000 -c 5 http://www.domain.se/

This is ApacheBench, Version 2.3 <$Revision: 655654 $>
Copyright 1996 Adam Twiss, Zeus Technology Ltd, http://www.zeustech.net/
Licensed to The Apache Software Foundation, http://www.apache.org/

Benchmarking www.domain.se (be patient)
Completed 100 requests
Completed 200 requests
Completed 300 requests
Completed 400 requests
Completed 500 requests
Completed 600 requests
Completed 700 requests
Completed 800 requests
Completed 900 requests
Completed 1000 requests
Finished 1000 requests

Server Software:        Apache/2.2.9
Server Hostname:        www.domain.se
Server Port:            80

Document Path:          /
Document Length:        71552 bytes

Concurrency Level:      5
Time taken for tests:   57.714 seconds
Complete requests:      1000
Failed requests:        0
Write errors:           0
Total transferred:      72030893 bytes
HTML transferred:       71552000 bytes
Requests per second:    17.33 [#/sec] (mean)
Time per request:       288.570 [ms] (mean)
Time per request:       57.714 [ms] (mean, across all concurrent requests)
Transfer rate:          1218.82 [Kbytes/sec] received

Connection Times (ms)
              min  mean[+/-sd] median   max
Connect:       39   40   0.6     40      51
Processing:   202  248  77.6    204     447
Waiting:       40   41   2.7     41     112
Total:        241  288  77.6    244     487

Percentage of the requests served within a certain time (ms)
  50%    244
  66%    245
  75%    256
  80%    407
  90%    444
  95%    446
  98%    447
  99%    448
 100%    487 (longest request)

I nästa blogg-inlägg kommer jag gå igenom vilka Varnish konfigurations & VCL-regler vi fick definera – vad man måste göra för att få en cache att fungera och vilka undantag som måste göras för respektive del för att dynamiskt material ska fungera korrekt.

Kompetens – HTTP, server- och webboptimering

Adminor erbjuder redan idag expertis inom cache- och reverseproxy lösningar så som nginx, Varnish och Squid. Därför är det inte mer än rätt att vi snart kommer publicera våra första blogg-artiklar om olika cache- och reverseproxies.

Först ut kommer vi vara med att gå igenom varnish, dess funktion, hur vcl:erna fungerar och hur exempel på vart det används. Vi kommer steg för steg gå igenom hur man kan förbättra prestanda på webbsidor och på så vis minska belastningen på servrar, förbättra upplevelsen för besökare samt göra bakomliggande infrastrukturer mer kostnadseffektiva.

Senare kommer vi även beröra hur nginx och mindre kända lösningar som POUND – REVERSE-PROXY AND LOAD-BALANCER kan användas för att utöka funktionaliteten av de olika programmen.
T.ex. kommer vi gå igenom hur man får Varnish att fungera bakom SSL-siter (https) genom att använda antingen nginx eller Pound , för och nackdelar med endera lösning.

I en senare bloggartikel kommer vi även belysa på vilket sätt proxylösningar kan förbättra säkerheten för webbsidan och dess besökare.

Kort om Linux- och MySQL-användarhantering.

Jag fick en fråga på en kund om skillnaden mellan linux-användare (system users) och de användare som finns i MySQL.
Vissa gånger kan det vara lätt att blanda ihop om man sköter sitt eget linux system.
T.ex. en vanlig webbserver med databas där man har MySQL som databasmotor.

Det lättaste att komma ihåg är att MySQL och systemanvändarna är helt skiljda. Det är helt enkelt olika användartabeller.

Lite förenklat så är alla systemanvändare i linux (som nås via t.ex. ssh) är definerade i olika filer (med hjälp av olika verktyg för lösenordsändring, typ passwd):

/etc/passwd – användarnamn, userid, gruppid (primär grupp som användare tillhör), hemkatalog, shell som ska köras vid inloggning typ /bin/bash

/etc/shadow – krypterade lösenorden som tillhör användare

/etc/group – gruppdefinationer, gruppid och medlemmar av sekundära grupper
Mer matnyttig information finns längst ned i denna post.

Det finns undantag, t.ex. om man använder LDAP eller andra centrala användardatabaser – men i detta inlägg förenklar jag och tar inte upp central användarhantering.

MySQL är ett program likt alla andra på ett system men körs ofta som en ”daemon” under linux och exekvieras av en vanlig systemanvändare, ofta som administratörs-användare ”root”.
När MySQL körs så tillhandahållet MySQL en egen miljö för att hantera databaser. Det finns logik , datalagring och användarhantering med mera.
I MySQL lagras användarna i en speciell reserverad tabell ”user” under databas med namnet ”mysql”. Det är mest ett sammanträffande att man använder samma namnkonvention som unix-system där superusern kallas ”root”.

mysql> show tables;
+—————————+
| Tables_in_mysql           |
+—————————+
| columns_priv              |
| db                        |
| func                      |
| help_category             |
| help_keyword              |
| help_relation             |
| help_topic                |
| host                      |
| proc                      |
| procs_priv                |
| tables_priv               |
| time_zone                 |
| time_zone_leap_second     |
| time_zone_name            |
| time_zone_transition      |
| time_zone_transition_type |
| user |
+—————————+
17 rows in set (0.01 sec)
17 rows in set (0.01 sec)

I MySQL är användare lagrade på formen permissions och privileges. Permissions sätts upp med access per databas och även på tabellnivå för läs/skriv samt vilken ”host” som användare får ansluta från % (wildcard, alla hosts) eller per IP/subnät. En bra introduktionsguide till hur man hanterar och administrerar användare i MySQL finns länkade i slutet av denna post.

En likhet mellan systemanvändare och MySQL användare är säkerhetsaspekten. Man bör t.ex. aldrig tillåta ”root” på ett system eller ha en superuser på Mysql som kan logga in från vilket IP/domän som helst.
Man ska alltid försöka begränsa access och ge ut de privilegier som beövs till de databaser som behöver nås – per IP.
Rekommenderar att läsa följande dokumentation för användaradministration i Linux (även andra unix system är liknande): http://www.comptechdoc.org/os/linux/usersguide/linux_ugusers.html
Mer ingående information om MySQL permissions kan finnas här: http://www.databasejournal.com/features/mysql/article.php/3311731/An-introduction-to-MySQL-permissions.htm

Layer2 stabilitet (BPDU guard)

Att skydda kunder från andra kunder är en fråga som varit på tapeten många gånger.
Enkla åtgärder som att partitionera nätet med egna VLAN och subnät är bara några av de saker vi gör för att förbättra prestanda i nätet genom att minska ”skräp”-trafik. Ibland behövs ytterligare lite nätverks-magi.

I denna post kommer jag beskriva en av de metoder vi använder för att skydda våra nätverk på länklagret (layer 2).

Här om dagen fick jag en historia berättad för mig där en kille had stoppat in en kabel i fel nätverksport på sin skola.
Tydligen hade det sänkt hela kommunens nätverk när en switch-loop uppstått.

Här har vi ett solklart exempel på när nätverks-ansvarig inte gjort sin läxa.
Vad som hände här var att switchar får multipla vägar som trafiken kan gå. Ethernet är inte alltid så smart så att det kan förstå när nån gör fel. Den försöker bara matcha vad som händer på det fysiska lagret.

Ett värre exempel var nyligen då ett sjukhus datornätverk gick ned helt och hållet.
Detta berodde på att någon sjuksköterska hade kopplat in en nätverkskabel i fel nätverksuttag. Felet upptäcktes inte förrens man gått igenom varje avdelning där det fanns nätverk.

Vad som skapar detta fel om man inte vidtagit åtgärder mot detta är att när en port aktiveras och en ny väg till samma switchar märks så uppstår en loop. Paketen skickas runt runt, arp requests skickas fel och eventuell broadcast storm .

En lösning är att sätta upp korrekta spanning tree protocol (STP) konfigurationer. Beroende på switch-tillverkare och modell så aktiverar man STP per VLAN och port. Anger vilken port som kommer vara primär, och vilken som kommer vara sekundär vid eventuellt bortfall för att få redundans.

För cisco så finns det en superb beskrivning på Ciscos portal här .
Själv föredrar jag att lösa redundans i core och distribution på andra vis – men problemet med loopar kan fortfarande uppstå. Detta löser jag på ett smidigare sätt än STP.
Svaret på detta problem (och som kommunens it-tekniker borde kunnat) är BPDU guard.
Det är så enkelt och går snabbt att implemetera på ciscoutrustning och annan utrustning som stödjer det.

I cisco-miljö görs det på följande vis:

CatOS Command

Console> (enable) set spantree portfast bpdu-guard enable 

Spantree portfast bpdu-guard enabled on this switch. 

Console> (enable)

Cisco IOS Software Command

CatSwitch-IOS(config)# spanning-tree portfast bpduguard 
CatSwitch-IOS(config)

Vad detta gör är att när en switch loop upptäcks försätts ena anslutningen i inaktiverat (disable) läge.
Om man vill att switchen ska försöka återansluta efter ett tag kan man konfigurera automatiskt retry. Annars kommer den felande länken vara inaktiverad tills man löser det manuellt.

CatOS Commands

Console> (enable) set errdisable-timeout interval 400 

Console> (enable) set errdisable-timeout enable bpdu-guard

Cisco IOS Software Commands

CatSwitch-IOS(config)# errdisable recovery cause bpduguard

CatSwitch-IOS(config)# errdisable recovery interval 400

Note: The default timeout interval is 300 seconds and, by default, the timeout feature is disabled.

BPDU Guard bör man konfigurera på alla kritiska switchar där loopar kan uppstå. Det räcker med något så enkelt som att koppla en kabel från en port till en annan på samma switch ibland för att skapa en loop.
Källa: http://www.cisco.com/en/US/tech/tk389/tk621/technologies_tech_note09186a008009482f.shtml