LET OP: Het programma Wetenschaps-, Technologie- & Innovatie-Indicatoren van OCW is per 1 januari 2015 opgehouden te bestaan. Deze website wordt daarom niet meer geüpdatet. 

Bibliometrische karakteristieken bestaan altijd uit twee delen, de publicatie-output en de citatie-impact.

  • Publicatie-output: dit kan gezien worden als de productie. De Publicatie-output is niet altijd een heel getal omdat het publicatietype “letter” niet meetelt als een volwaardige wetenschappelijke publicatie maar als een kwart gedeelte daarvan. De aantallen zijn “ongewogen” rechte tellingen. “Ongewogen” in die zin dat als een publicatie bijvoorbeeld geschreven is door co-auteurs uit verschillende landen, de publicatie voor al die landen geteld wordt als een hele publicatie.
  • Citatie-impact: dit is het gebruik door derden, je zou kunnen zeggen de consumptie. WTI2 geeft citaties geïndexeerd weer, dus afgezet tegen het wereldgemiddelde van 1 en wordt daarom citatie-impact genoemd. De intensiteit van het gebruik kan dan ook als de mate van waardering worden gezien. Zeker als dit, zoals hier, wordt weergegeven tegen de achtergrond van wat de verwachtingswaarde, het wereldgemiddelde is, waardoor een waarde hoger dan 1 bovengemiddeld definieert en een waarde lager dan 1 achterblijft bij te verwachten waarde.

De manier waarop de productie en de consumptie verdeeld zijn, geeft inzicht in hoe de concentratie is verdeeld. Immers publicaties zijn altijd gericht op bijvoorbeeld een bepaald wetenschapsgebied, worden geschreven op basis van onderzoek aan één of meer instellingen uit evenzoveel landen. Andersom vindt de consumptie/acceptatie/waardering van publicaties als referentiebron voor derden plaats vanuit een wetenschapsgebied door een instituut uit een bepaald land. Zo is het steeds mogelijk vanuit de invalshoeken van productie en consumptie van wetenschappelijke artikelen kerncijfers te berekenen die inzichtelijk maken hoe en waar het wetenschappelijk werk gemaakt, gebruikt en gewaardeerd werd. Deze handvatten zullen steeds gebruikt worden in de rechts weergegeven onderdelen.

In de bibliometrische analyses ten behoeve van het WTI2-project (en diens voorloper, het NOWT) maakt het CWTS gebruik van de Web of Science (WoS) database. De WoS is een database die internationale tijdschrift literatuur ontsluit. Twee belangrijke onderscheidende kenmerken van de WoS zijn in de eerste plaats het feit dat het systeem de referenties bevat naar andere in het systeem opgenomen tijdschrift literatuur (en tevens ‘naar buiten’), en in de tweede plaats alle adressen van auteurs van de opgenomen publicaties heeft opgenomen.

Qua inhoud dekt de WoS de vooraanstaande tijdschrift literatuur over het gehele wetenschappelijke spectrum. Dit wil echter niet zeggen dat de WoS daarmee een systeem is dat bibliometrische analyses in alle gebieden even goed faciliteert: door de bank genomen werkt de WoS goed voor die disciplines waarin wetenschappelijke communicatie zich voornamelijk via tijdschrift literatuur voltrekt (bijv. de natuurwetenschappen, het biomedisch onderzoek), maar veel minder sterk in die wetenschapsgebieden waarin de manier van onderling communiceren daarvan afwijkt, bijv. via conferentie bijdragen in de technische wetenschappen, of via boeken en hoofdstukken in boeken in veel onderdelen van de sociale en geesteswetenschappen. Het volgende figuur geeft een overzicht van de dekkingsgraad voor disciplines. Op deze site kunt u de volledige lijst van journals vinden.

De eerste figuur hieronder geeft de coverage aan van de disciplines die in het WTI2 rapport worden genoemd. Deze coverage is bepaald door te kijken in hoeverre de referenties die door wetenschappers publicerend in die disciplines weer terugverwijzen naar WoS tijdschrift publicaties, waarbij de hypothese is dat een hoge mate van terugverwijzen naar de WoS een stevige duiding is voor de relevantie van de tijdschriftliteratuur in zo’n disciplines, en dus ook voor de toepassing van bibliometrische evaluatie-methoden op basis van tijdschriftliteratuur. Omgekeerd geredeneerd, een lage mate van verwijzen naar WoS tijdschriftliteratuur betekent dat de tijdschriften in de WoS gecoverd slechts van beperkte relevantie zijn voor de wetenschappelijke communicatie in een discipline. Figuur is gebaseerd op alle publicaties wereldwijd in de WoS (van het type article, letter, of review), in 2010.
In ieder geval is een coverage percentage van 60% of hoger een stevige basis voor toepassing van bibliometrische methoden. Een dekkingspercentage tussen 40—60% zou voorzichtigheid geboden moeten zijn bij de interpretatie van de getallen, terwijl een coverage percentage van kleiner dan 40% aangeeft dat bibliometrische resultaten gebaseerd op tijdschrift-data alleen onvoldoende recht doen aan de communicatie-praktijken in een discipline.

In de figuur daaronder worden voor een grote verzameling gerefereerde publicaties uit Noorwegen (53.800 publicaties) over de periode 2005-2010 de relatie met de WoS aangegeven. Het betreft hier wetenschappelijke publicaties in diverse talen uit het Noorse hoger onderwijs systeem. Voor diverse wetenschappelijke velden wordt aangeven hoe de dekking is voor tijdschriftpublicaties die in zo’n veld worden geschreven, dan wel hoe de dekking is van de WoS ten opzichte van alle publicaties die in zo’n veld verschenen zijn in die periode 2005-2010. Het ordeningsprincipe in deze figuur is hier deze laatste indicator.

Niet toevallig zien we een sterke mate van overeenkomst tussen beide figuren, waarbij de overlap laat zien dat de humane- en delen van de sociale wetenschappen aan de onderkant van beide figuren verschijnen, wat tot de conclusie moet leiden dat WoS gebaseerde analyses met betrekking tot deze disciplines/velden een geringe betekenis hebben.

De WoS database, de internet versie van de voormalige Science Citation Index en verwante indexen (de Social Sciences Citation Index en Arts en Humanities Citation Index), wordt door CWTS omgebouwd van een bibliografisch systeem naar een bibliometrisch systeem. Hiermee kan het CWTS op de vraag toegesneden bibliometrische analyses uitvoeren. Dat betekent dat de database is uitgerust met een aantal faciliteiten die de reguliere WoS niet kent. Zo heeft de CWTS versie een eigen algoritme om citaties aan publicaties te koppelen, worden adressen van instellingen opgeschoond, en is de database uitgerust met specifieke sets met referentiewaarden om tijdschrift en gebiedsnormalisatie te kunnen uitvoeren. Deze laatste zijn met name nodig om vergelijkingen over wetenschapsgebieden te kunnen maken.

Het bibliometrisch werk in het kader van het WTI2 is gebaseerd op de adressen die aan de publicaties in het systeem zijn gekoppeld. Om vergelijkingen tussen landen te kunnen maken volstaat de landennaam, die opgeschoond in het systeem aanwezig is.

Dit maakt vergelijkende studies mogelijk, zoals die in het kader van het WTI2 worden uitgevoerd. Binnen de dataset voor Nederland vindt er vervolgens een verdere analyse plaats van sectoren en instellingen. Sectoren worden bepaald op basis van de aard van de instellingen, zoals bijv. instellingen in de universitaire sector, bedrijven in de private sector, etc.. Voor instellingen in Nederland vindt er periodieke opschoning van de publicaties plaats, waarbij de meest recente inzichten over de classificatie van instellingen worden gevolgd (zoals bijv. een aantal jaren geleden de fusie tussen de Wageningse universiteit en de DLO).

De vraagstelling van het WTI2 (en voorheen het NOWT), “maak een internationale vergelijking van de stand van de Nederlandse wetenschap en de actoren daarbinnen”, leidde tot de noodzaak om bij de verzameling van de data uit te gaan van adresgegevens). Maar analyses kunnen ook op een andere manier worden uitgevoerd, zoals het CWTS dat doet bij studies ten behoeve van visitaties van de Nederlandse wetenschap. Daarbij worden publicatiegegevens verzameld op naam, eventueel van de huidige staf, of de voormalige staf. Deze manier van werken leidt tot een andere set met publicaties per instelling, en vervolgens - geaggregeerd - ook voor een gehele discipline.

Het gevolg van de twee benaderingen is dat er zo een verschil ontstaat tussen het beeld van een discipline dat ontstaat op basis van analyses in het WTI2 project (waaraan alle Nederlandse publicaties in die discipline bijdragen) en het disciplinegewijze beeld (waarbij slechts een specifiek gedeelte van de publicaties meedoet). Dergelijke verschillen kunnen zich ook voordoen bij analyses op het niveau van instituten: instituten die in het kader van het WTI2 werk, op basis van adresgegevens, een bepaalde outputomvang en bijbehorende impact hebben, kunnen op basis van een selectie van de staf andere scores voor output en impact hebben. Hoewel het lijkt dat de methode waarbij publicaties verzameld op basis van namen van wetenschappers de meest te prefereren methode is, is dit echter in de praktijk onuitvoerbaar. Dat zou namelijk leiden tot een ingewikkelde constructie waarbij alle in Nederland werkzame onderzoekers periodiek hun publicaties bij CWTS verifiëren, hetgeen een zeer tijdrovende en kostbare kwestie is, maar tevens zouden internationale vergelijkingen wel gebaseerd zijn op met adresgegevens verzameld materiaal.

In de bibliometrische analyses produceert CWTS output en impact scores. Een belangrijke output maat is het aantal publicaties (articles, letters en reviews) in de tijdschriften in de WoS in een bepaalde periode. Als impact maat wordt het aantal keren dat men wordt geciteerd als indicator gebruikt. Omdat er grote verschillen bestaan voor wat betreft de tijdsdimensie, d.w.z. het tempo volgens welke nieuwe wetenschappelijke kennis tot stand komt in diverse wetenschapsdomeinen, en het volume van citatiekarakteristieken tussen wetenschapsgebieden, vindt er een normalisatie plaats waardoor correctie voor dit soort vakgebiedspecifieke verschillen optreedt.

In verband met het hierboven reeds genoemde probleem van verschillen in dekkingsgraad van de WoS in relatie tot de publicatiecultuur van bepaalde disciplines, maar ook in verband met de geringe betekenis van bibliometrische scores die zijn gebaseerd op relatief kleine aantallen, worden de publicaties van deze gebieden pas opgenomen in de dataset voor het WTI2 project wanneer bepaalde drempelwaarden zijn bereikt.

De classificatie gebruikt in het WTI2 project is gebaseerd op een indeling van tijdschriften in de WoS in zogenaamde Journal Subject Categories, die weer worden geaggregeerd tot ongeveer 35 wetenschappelijke disciplines. Een overzicht van deze indeling is te vinden in [verwijzing opnemen]. Daarnaast vinden er analyses plaats op het niveau van – een achttal - HOOP gebieden. Dit is een indeling van wetenschap die in het Nederlandse onderzoeksbestel gebruikt wordt, waardoor de bibliometrische scores in het perspectief van andere gegevens in het bestel kunnen worden gezien. Deze HOOP-indeling vindt eveneens plaats via een aggregatie van de genoemde Journal Subject Categories.