WordPress XML Importerin optimointi

WordPressin XML-tuonti on kätevä tapa siirtää sisältöä sivustolta toiselle, mutta suurten aineistojen käsittely voi nopeasti muuttua raskaaksi. Muutaman sadan artikkelin tuonti onnistuu yleensä ongelmitta, kun taas tuhansien sisältöjen, kuvien, kommenttien ja metatietojen käsittely voi aiheuttaa muistiongelmia, aikakatkaisuja ja hitaita tietokantakyselyitä.

XML Importerin optimoinnissa tärkeintä ei ole pelkästään tuontinopeuden kasvattaminen. Hyvä toteutus vähentää palvelimen kuormitusta, tekee prosessista palautettavan ja helpottaa virheiden selvittämistä.

Mikä WordPress XML Importer on?

WordPressin XML-tuonnissa käytetään tyypillisesti WordPressin WXR-vientimuotoa. WXR perustuu XML:ään ja voi sisältää esimerkiksi:

• artikkeleita
• sivuja
• Custom Post Type -sisältöä
• kategorioita
• tägejä
• kommentteja
• kirjoittajia
• mediaan liittyviä tietoja
• metatietoja

Tuontia voidaan käyttää esimerkiksi WordPress-sivuston migraatiossa tai sisällön siirtämisessä toiseen ympäristöön.

Miksi XML-tuonti hidastuu?

Suuri XML-tiedosto sisältää usein huomattavasti enemmän tietoa kuin pelkät artikkelit.

Tuonnin aikana WordPress voi joutua:

• lukemaan XML-dataa
• luomaan sisältöobjekteja
• käsittelemään metatietoja
• luomaan taksonomioita
• lataamaan mediatiedostoja
• muodostamaan kuvien liitteitä
• käsittelemään kommentteja
• päivittämään välimuisteja
• suorittamaan useita tietokantakyselyitä

Jos kaikki tapahtuu yhdellä selainpyynnöllä, PHP:n aikakatkaisu tai muistiraja voi tulla nopeasti vastaan.

Pilko suuri XML-tiedosto

Yksi tehokkaimmista optimointikeinoista on suuren aineiston jakaminen pienempiin kokonaisuuksiin.

Esimerkiksi:

• 100–500 sisältöä per tiedosto
• media erillisenä prosessina
• kommentit tarvittaessa omassa erässään
• sisältötyypit omiin XML-tiedostoihinsa

Pienemmät erät helpottavat myös virheiden korjaamista. Jos yksi tuontierä epäonnistuu, koko prosessia ei tarvitse aloittaa alusta.

WP-CLI suurissa tuonneissa

Suurissa migraatioissa selainpohjainen tuonti ei aina ole paras vaihtoehto.

WP-CLI mahdollistaa WordPressin hallinnan komentoriviltä ja soveltuu hyvin automatisoituihin migraatioihin.

Komentorivipohjaisen prosessin etuja ovat:

• pidemmät suoritusajat
• pienempi riippuvuus selaimesta
• helpompi automatisointi
• parempi lokitus
• mahdollisuus käyttää palvelimen resursseja tehokkaammin
• tuonnin ajaminen taustalla

Erityisesti tuhansien sisältöjen migraatiossa tämä voi tehdä prosessista huomattavasti luotettavamman.

PHP:n muistirajan tarkistaminen

XML-tuonti voi kuluttaa paljon muistia.

Ennen suurta migraatiota kannattaa tarkistaa:

• PHP memory limit
• max execution time
• upload limits
• post limits
• palvelimen levytila
• tietokannan käytettävissä oleva tila

Muistirajan kasvattaminen ei kuitenkaan korjaa huonosti suunniteltua tuontia. Jos mahdollista, data kannattaa käsitellä pienempinä erinä.

Älä tuo kaikkea

Optimointi kannattaa aloittaa jo ennen varsinaista tuontia.

Jos sivustolla on esimerkiksi vanhoja luonnoksia, tarpeettomia kommentteja tai käyttämätöntä metadataa, kaikkea ei välttämättä tarvitse siirtää.

Ennen tuontia kannattaa määrittää:

• mitkä sisältötyypit tarvitaan
• mitkä kirjoittajat tarvitaan
• mitkä taksonomiat tarvitaan
• tarvitaanko kommentit
• tarvitaanko vanhat versiot
• mitkä metakentät ovat olennaisia
• mitkä mediatiedostot ovat tarpeellisia

Pienempi aineisto tarkoittaa yleensä nopeampaa ja turvallisempaa migraatiota.

Media on usein hitain vaihe

Tekstin tuonti on yleensä huomattavasti kevyempää kuin tuhansien kuvien lataaminen.

Mediaan liittyvä prosessi voi sisältää:

• tiedoston lataamisen
• HTTP-pyynnön
• tiedoston tallentamisen
• MIME-tyypin tarkistamisen
• attachment-tietueen luomisen
• kuvakokojen muodostamisen
• metadatan tallentamisen

Jos XML sisältää suuren määrän kuvia, media kannattaa mahdollisuuksien mukaan käsitellä erillään varsinaisesta sisältötuonnista.

Kuvien uudelleenkäsittely

WordPress voi muodostaa ladatuille kuville useita eri kuvakokoja.

Suuren mediakirjaston migraatiossa tämä voi kuluttaa huomattavasti:

• CPU-aikaa
• muistia
• levytilaa

Jos uusia kuvakokoja ei tarvita välittömästi, prosessi kannattaa suunnitella siten, ettei kaikkea kuvankäsittelyä tehdä samassa tuontivaiheessa.

Tietokannan optimointi

XML-tuonti voi synnyttää suuren määrän tietokantakyselyitä.

Suorituskykyyn vaikuttavat esimerkiksi:

• wp_posts
• wp_postmeta
• wp_terms
• wp_term_relationships
• wp_termmeta

Erityisesti metatietojen suuri määrä voi kasvattaa tietokannan kokoa nopeasti.

Tuonnin jälkeen tietokanta kannattaa analysoida ja tarvittaessa optimoida.

Duplikaattien estäminen

Migraation voi joutua ajamaan uudelleen esimerkiksi virheen vuoksi. Siksi tuontiprosessin pitää osata erottaa uusi sisältö jo olemassa olevasta.

Tähän voidaan hyödyntää esimerkiksi:

• alkuperäistä post ID:tä
• guid-arvoa
• ulkoista tunnistetta
• omaa metakenttää
• slugia

Pelkkään otsikkoon perustuva tunnistus ei yleensä ole riittävän luotettava.

Idempotentti tuonti

Hyvä XML-tuonti voidaan ajaa uudelleen ilman, että sama sisältö syntyy joka kerta uudestaan.

Tätä kutsutaan idempotentiksi toiminnaksi.

Esimerkiksi:

Ensimmäinen ajo: sisältö luodaan.

Toinen ajo: olemassa oleva sisältö tunnistetaan ja päivitetään.

Tämä tekee migraatiosta huomattavasti turvallisemman.

Lokitus

Suuren XML-tuonnin aikana kannattaa kirjata ainakin:

• käsiteltyjen tietueiden määrä
• onnistuneet tuonnit
• päivitetyt tietueet
• epäonnistuneet tietueet
• ohitetut tietueet
• mediaongelmat
• API-virheet
• käsittelyaika

Hyvä lokitus säästää aikaa, jos tuonti pysähtyy kesken prosessin.

Virheiden käsittely

Yksittäisen virheen ei pitäisi välttämättä pysäyttää koko migraatiota.

Tuontijärjestelmä voi esimerkiksi:

1. tunnistaa virheen
2. kirjata tietueen tunnisteen
3. tallentaa virheen syyn
4. siirtyä seuraavaan tietueeseen
5. tarjota epäonnistuneen tietueen uudelleen käsiteltäväksi

Näin suuri aineisto voidaan käsitellä hallitummin.

Staging ennen tuotantoa

XML-tuontia ei kannata ensimmäisenä ajaa tuotantopalvelimelle.

Staging-ympäristössä voidaan testata:

• sisältöjen määrä
• media
• taksonomiat
• metatiedot
• URL-rakenteet
• käyttäjät
• duplikaattien käsittely
• suorituskyky
• virhetilanteet

Samalla voidaan arvioida, kuinka paljon palvelimen resursseja todellinen tuonti tarvitsee.

Varmuuskopio ennen tuontia

Ennen suurta migraatiota kannattaa ottaa palautettavissa oleva varmuuskopio.

Varmuuskopion pitäisi kattaa vähintään:

• tietokanta
• wp-content
• ladatut tiedostot
• tarvittavat asetukset

Pelkkä XML-tiedosto ei ole tuotantopalvelimen palautuspiste.

Välimuistin hallinta

Suuren tuonnin aikana välimuistikerrokset voivat vaikuttaa toimintaan.

Ympäristössä voi olla esimerkiksi:

• WordPressin objektivälimuisti
• Redis
• Varnish
• CDN
• palvelintason välimuisti

Tuonnin jälkeen välimuistit kannattaa tarvittaessa tyhjentää, jotta uusi sisältö näkyy oikein.

Suorituskyvyn seuranta

Tuonnin aikana kannattaa seurata palvelimen toimintaa.

Hyödyllisiä mittareita ovat:

• PHP:n muistinkäyttö
• CPU-kuorma
• tietokannan kuormitus
• levytila
• I/O
• HTTP-pyyntöjen määrä
• tuontiin käytetty aika

Näiden avulla pullonkaulat voidaan tunnistaa ennen seuraavaa migraatiota.

XML Importer ja Custom Post Types

Custom Post Type -sisältö voi sisältää tavallista artikkelia enemmän dataa.

Esimerkiksi tuotteen mukana voidaan tuoda:

• SKU
• hinta
• varastotiedot
• tekniset ominaisuudet
• kuvat
• kategoriat
• mukautetut metakentät

Mitä monimutkaisempi tietomalli on, sitä tärkeämpää on testata tuonti pienellä aineistolla ennen täyttä migraatiota.

WooCommerce-tuonnit

WooCommerce-sivustojen XML-tuonnissa kannattaa olla erityisen varovainen.

Tuotetietojen lisäksi mukana voi olla:

• variaatioita
• attribuutteja
• kuvia
• kategorioita
• varastotietoja
• metatietoja

Suuren tuotemäärän tuonti voi kuormittaa sekä tietokantaa että PHP-prosessia merkittävästi.

Jos kyseessä on jatkuva tuotetietojen synkronointi, erillinen API- tai integraatioratkaisu voi olla parempi kuin kokonaisen XML-tiedoston toistuva tuonti.

Yleisimmät optimointivirheet

XML-tuonnin optimoinnissa tehdään helposti samoja virheitä.

Tyypillisiä ongelmia ovat:

• koko aineiston tuonti yhdellä kertaa
• liian pieni PHP memory limit
• median ja sisällön käsittely samassa raskaassa prosessissa
• duplikaattien tunnistamatta jättäminen
• lokituksen puuttuminen
• tuotantotuonnin testaamatta jättäminen
• varmuuskopion unohtaminen
• liian suuren XML-tiedoston käyttäminen selaimen kautta

Nopeuden sijaan kannattaa tavoitella hallittavaa ja palautettavaa prosessia.

Parhaat käytännöt

WordPress XML Importerin optimointi kannattaa rakentaa seuraavien periaatteiden ympärille:

• pilko suuret XML-aineistot pienempiin eriin
• testaa tuonti staging-ympäristössä
• käytä WP-CLI:tä suurissa migraatioissa
• tarkista PHP:n muistirajat ja suoritusajat
• käsittele media tarvittaessa erillisenä vaiheena
• estä duplikaattien syntyminen
• tee tuonnista mahdollisuuksien mukaan idempotentti
• kirjaa virheet ja käsitellyt tietueet
• ota täydellinen varmuuskopio ennen tuotantotuontia
• seuraa palvelimen kuormitusta tuonnin aikana

Milloin XML Importer ei ole paras ratkaisu?

XML on erinomainen migraatiomuoto, mutta jatkuvaan tiedonsiirtoon se ei aina ole tehokkain vaihtoehto.

Jos tietoa siirretään jatkuvasti esimerkiksi ERP-järjestelmästä WordPressiin, parempi ratkaisu voi olla:

ERP → API → WordPress

Tällöin vain muuttuneet tiedot voidaan synkronoida sen sijaan, että koko XML-aineisto käsitellään uudelleen.

API-pohjainen integraatio sopii erityisesti:

• tuotetietojen synkronointiin
• varastosaldoihin
• hinnoitteluun
• asiakastietoihin
• tapahtumatietoihin
• reaaliaikaisiin integraatioihin

Yhteenveto

WordPress XML Importerin optimoinnissa tärkeintä on hallita aineiston kokoa, palvelimen resursseja ja tuontiprosessin palautettavuutta. Suuren XML-tiedoston käsitteleminen yhtenä kokonaisuutena on harvoin paras ratkaisu.

Kun aineisto pilkotaan eriin, turha data jätetään pois, media käsitellään hallitusti ja tuontia seurataan lokien avulla, myös suuret migraatiot voidaan toteuttaa luotettavasti. WP-CLI helpottaa erityisesti suurten aineistojen käsittelyä, kun taas jatkuvassa tiedonsiirrossa REST API tai muu suora integraatio voi olla XML-tuontia järkevämpi vaihtoehto.

Hyvin optimoitu XML-tuonti ei ole vain nopea. Sen pitää olla myös toistettava, valvottava, virheistä palautuva ja turvallinen.