Wednesday, 27 March 2019

Outliers

...

Referensi

  1. Outlier Treatment, http://r-statistics.co/Outlier-Treatment-With-R.html
  2. Data Management in R Identify, describe, plot, and remove the outliers from the dataset, https://datascienceplus.com/identify-describe-plot-and-removing-the-outliers-from-the-dataset/

Wednesday, 24 May 2017

Menganalisa Hasil Ujian Pilihan Ganda dengan IRT (Item Response Theory)

Status : Draft


Output IRT menghasilkan dua cluster informasi, theta siswa dan item parameter.

Θ, theta, adalah tingkat kepandaian siswa.

IRT modelling dapat menggunakan satu sampai dengan 3 parameter, parameter A, B, dan G.

  1. Parameter B : Item difficulty, difficulty parameter. Parameter ini menunjukkan, seberapa mudah atau sulit sebuah item. Paramater B digunakan dalam one-parameter (1P) IRT model.
  2. Parameter A = Discrimination parameter. Nilai parameter ini, menginformasikan seberapa efektif sebuah item dapat membedakan siswa yang pandai dan kurang pandai. Two-parameter (2P) IRT model menggunakan parameter A dan B.
  3. Parameter C   = Dikenal juga dengan nama G parameter atau guessing parameter. Nilai ini memberi informasi kepada kita, seberapa mungkin siswa menjawab suatu item dengan cara menebak. Model yang menggunakan parameter A, B dan G, disebut three-parameter (3P) IRT model. 
Untuk menentukan item difficulty dan item discrimination kita bisa menggunakan verbal terms untuk mempermudah membedakannya;

Item difficulty dapat dibagi menjadi beberapa level : 
No Verbal label Typical value
1 very easy -2.625
2 easy -1.5
3 medium 0
4 hard 1.5
5 very hard 2.625

Sedangkan item discrimination dapat dibagi menjadi beberapa level sebagai berikut :
No Verbal label Typical value
1 none 0
2 low 0.4
3 moderate 1
4 high 2.1
5 perfect 999

Untuk item discrimination, verbal label-nya, dapat kita bagi sebagai berikut :
No Verbal label Range of values Typical value
1 None 0 0.00
2 Very Low 0.01 - 0.34 0.18
3 Low 0.35 - 0.64 0.50
4 Moderate 0.65 s.d 1.34 1.00
5 High 1.35 s.d 1.69 1.50
6 Very High > 1.70 2.00
7 Perfect +∞ +∞

ICC, Item Charasteristic Curve 


A typical item characteristic curve, sumber : The Basics of Item Response Theory Using R, Hal 13


IIF, Item Information Function 
TIF, Test Information Function
Odd ratio, 
Logit,
Item-Person Map (IPM)
Misfit, outliers
Misfit indices,
Model fit,
Infit Standardized Residuals,
Outfit Standardized Residuals,
Regression Analysis
Systematic Bias
Chi-square,
Item Fit,
Infit Mean Squared,
Outfit Mean Squared,
Degress of  freedom (df),
Parallel coordinate,
Person fit,



IRF, Item Response Function,
TRF, Test Response Function,

Referensi

  1. A Simple Guide to the Item Response Theory (IRT) and Rasch Modeling Chong, Ho Yu, Ph.Ds, https://www.creative-wisdom.com/computer/sas/IRT.pdf
  2. Introduction to Item Response Theory, https://www.slideshare.net/NathanThompson54/introduction-to-item-response-theory-70872990
  3. The Basics of Item Response Theory Using R, by Frank B. Baker, Seock-Ho Kim, https://amzn.to/2UM849e
  4. psych: Procedures for Psychological, Psychometric, and Personality Research, https://cran.r-project.org/web/packages/psych/index.html
  5. ltm: Latent Trait Models under IRT, https://cran.r-project.org/web/packages/ltm/index.html
  6. IRT workshop Spring 2014, https://github.com/cddesja/IRTS2014
  7. Introduction to IRT Using R (2PL), https://wnarifin.github.io/simpler/irt_2PL.html
  8. How should we handle missing responses?, https://www.researchgate.net/post/How_should_we_handle_missing_responses
  9. 7 Ways To Handle Missing Data, https://measuringu.com/handle-missing-data/
  10. Evaluating Performance of Missing Data Imputation Methods in IRT Analyses, http://ijate.net/index.php/ijate/article/view/549
  11. link: IRT Separate Calibration Linking Methods, https://cran.r-project.org/web/packages/plink/index.html
  12. A method for designing IRT-based item banks, https://research.utwente.nl/en/publications/a-method-for-designing-irt-based-item-banks
  13. WrightMap Tutorial - Part 1, http://wrightmap.org/post/80523814110/wrightmap-tutorial-part-1
  14. Data Analysis Using Item Response Theory Methodology: An Introduction to Selected Programs and Applications., https://digitalcommons.library.umaine.edu/cgi/viewcontent.cgi?article=1019&context=psy_facpub
  15. PSYCHOMETRICS, Item Response Theory (Part 1), https://rpubs.com/castro/156912
  16. PSYCHOMETRICS, Item Response Theory (Part 2), https://rstudio-pubs-static.s3.amazonaws.com/156125_d88cf281bd2546c294c519afb2577768.html#
  17. PerFit: Person Fit, https://rdrr.io/cran/PerFit/
  18. Person fit assessment using the PerFit package in R, https://www.tqmp.org/RegularArticles/vol12-3/p232/p232.pdf
  19. HOW DOES DIRECTOR FINANCIAL LITERACY INFLUENCE FINANCIAL MONITORING?, https://eprints.qut.edu.au/213554/1/Jacqueline_Bettington_Thesis.pdf

Saturday, 3 September 2016

Berkenalan dengan Item Response Theory (IRT)

Menghitung Item analisis klasikal dengan ITEMAN - Assessment Systems Corporation

Alhamdulillah, setelah menghitung analisa item menggunakan ITEMAN - Assessment Systems Corporation hasilnya sama dengan hasil yang menggunakan jMetrik [2] dan R - ITEMAN [3]. Berikut hasilnya :


Referensi

  1. Sample Data untuk input ITEMAN, https://gist.github.com/wildanm/44ab9e4ad7ec22607841d03929b5b0dc
  2. Menghitung Item analisis klasikal dengan jMetrik, http://statistika.openthinklabs.com/2016/09/menghitung-item-analisis-klasikal-dengan-jmetrik.html
  3. Menghitung Analisa Item klasikal dengan Paket ITEMAN di R, http://statistika.openthinklabs.com/2016/09/menghitung-analisa-item-klasikal-dengan-paket-iteman-di-R.html
  4. Reliability and Validity of the Test,  https://shodhganga.inflibnet.ac.in/bitstream/10603/40163/14/14_chapter%206.pdf

Friday, 2 September 2016

Menghitung Item analisis klasikal dengan jMetrik

Status : Draft


Salah satu hal paling merepotkan adalah ketika melakukan setup Basic Item Scoring, ketika mengisi kunci jawaban, harus manual mengetik satu persatu, tidak ada opsi import. Kalau ada ratusan kode soal bisa sangat merepotkan. Harus dicari tahu cara yang lebih efektif untuk melakukan hal ini. Apakah bisa proses nya dilakukan dengan command line ?

Dibanding ITEMAN ada kelebihan dan kekurangannya, untuk hal ini masih perlu diexplore.

Contoh ouput analisa item soal dengan jMetrik :

Referensi


  1. jMetrik, http://www.jmetrik.com/index.php