Tugas IR 2
KOLEKSI UJI STANDAR (STANDART TEST COLLECTION)
Dosen Pembimbing : Ratri Enggar Pawening, S.Kom
Oleh: Nur Hidayah (10011758 )
Dalam bab ini saya akan coba
membahas tentang daftar koleksi tes yang paling standar dan seri evaluasi. Kita berfokus terutama pada koleksi tes untuk sistem informasi ad hoc pengambilan evaluasi, tetapi juga menyebutkan beberapa koleksi tes serupa untuk teks classification.
Ad hoc adalah sebuah istilah dari bahasa latin yang populer dipakai dalam bidang keorganisasian atau penelitian. Istilah ini memiliki arti "dibentuk atau dimaksudkan untuk salah satu tujuan saja" atau sesuatu yang "diimprovisasi".
Contoh: "Komisi ad hoc DPR".
1. TREC (Text Retrieval Converence/Teks Retrieval Konferensi )
Pada akhir
1980-an dan awal 1990-an ,Donna
Harman dan rekannya membentuk Trec , sebuah tahunan latihan di mana sejumlah besar
kelompok riset internasional bekerjasama untuk membangun koleksi uji beberapa
lipat lebih besar daripada yang telah ada sebelumnya.Bekerja
dengan set data baru menunjukkan bahwa bobot yang ada dan fungsi peringkat
tidak cocok untuk koleksi-koleksi yang berbeda. Itu juga menjadi jelas bahwa
koleksi yang berbeda diperlukan peringkat yang berbeda dan pembobotan pendekatan.
Dan pada tahun 1992 Institut Nasional Standar dan Teknologi (NIST) menjalankan serangkaian tes besar
IR tidur evaluasi. Dalam kerangka ini, ada trek selama bertahun berbagai koleksi uji beda tetapi koleksi
terbaik pengujian diketahui adalah yang digunakan untuk melacak Trec Ad Hoc
selama 8 evaluasi pertama Trec antara tahun 1992 dan 1999. Secara total, ini koleksi pengujian terdiri dari 6 CD yang mengandung
1,89 juta dokumen (terutama, tetapi tidak eksklusif, newswire artikel) dan
penilaian relevansi untuk 450 kebutuhan informasi, yang disebut topik dan ditetapkan dalam bagian teks rinci.Para TRECs awal setiap terdiri
dari 50 kebutuhan informasi, dievaluasi lebih set berbeda tetapi tumpang tindih
dokumen.TRECs 6-8 menyediakan 150 kebutuhan informasi selama sekitar 528,000
Newswire dan artikel Informasi Broadcast Dinas Luar Negeri.Ini mungkin adalah subcollection terbaik untuk digunakan dalam pekerjaan
di masa depan, karena itu adalah terbesar dan topik yang lebih konsisten. Karena koleksi pengujian dokumen yang begitu besar, tidak ada penilaian
relevansi lengkap.Sebaliknya, penilaian relevansi NIST asesor hanya tersedia untuk dokumen yang berada di antara top kembali untuk beberapa
sistem yang masuk dalam evaluasi Trec yang kebutuhan informasinya dikembangkan
Gambar TREC
Tujuan Trec
a. untuk melihat ke dalam pencarian informasi masyarakat dengan menyediakan
infrastruktur yang dibutuhkan untuk evaluasi metodologi pencarian teks pada
teks yang sangat besar koleksi.
b. Untuk meningkatkan komunikasi antara industri akademik dan pemerintah dengan menciptakan sebuah forum terbuka untuk pertukaran ide penelitian.
Contoh TREC
2. CLEF
CLEF adalah Seri yang memiliki evaluasi-concentrated pada bahasa - bahasa Eropa dan lintas bahasa pencarian informasi. Dimana misi utamanya adalah untuk mempromosikan penelitian, inovasi dan pengembangan sistem akses informasi dengan penekanan pada multibahasa dan multimodal informasi dengan berbagai tingkat struktur.
Dalam mempromosikan
penelitian dan pengembangannya CLEF menyediakan beberapa infrastruktur :
Multibahasa
dan pengujian sistem multimodal, tuning dan evaluasi. Penyelidikan
penggunaan terstruktur, semi-terstruktur, yang sangat terstruktur, dan data
semantik diperkaya dengan akses informasi. Penciptaan
koleksi tes dapat digunakan kembali untuk pembandinga. Eksplorasi
metodologi evaluasi baru dan cara-cara inovatif untuk menggunakan data
eksperimen. Pembahasan
hasil, perbandingan pendekatan, pertukaran ide, dan transfer pengetahuan.
Inisiatif
CLEF disusun dalam dua bagian utama :
- serangkaian Evaluasi Labs, laboratorium yaitu untuk melakukan evaluasi sistem akses informasi dan lokakarya untuk membahas dan kegiatan percontohan evaluasi yang inovatif;
- Konferensi peer-review pada berbagai isu, termasuk
Ø melanjutkan penyelidikan kegiatan
Labs Evaluasi.
Ø percobaan menggunakan data
multibahasa dan multimodal, khususnya, tetapi tidak hanya, data yang dihasilkan
dari kegiatan CLEF.
Ø penelitian dalam metodologi evaluasi
dan tantangan.
Sejak tahun
2000 CLEF telah memainkan peran utama dalam penyelidikan merangsang dan
penelitian di berbagai bidang utama dalam domain pencarian informasi, menjadi
terkenal di masyarakat IR internasional. Hal ini juga mempromosikan studi dan
implementasi metodologi evaluasi yang tepat untuk beragam jenis tugas dan
media. Selama bertahun-tahun, komunitas riset yang luas, kuat, dan
multidisiplin telah dibangun, yang meliputi dan mencakup berbagai bidang
keahlian yang dibutuhkan untuk menangani penyebaran kegiatan CLEF.Hasilnya
tradisional disajikan dan dibahas pada lokakarya tahunan dalam hubungannya
dengan Konferensi Eropa untuk Perpustakaan Digital (ECDL), sekarang disebut
Teori dan Praktek di Perpustakaan Digital (TPDL).Sejak 2010,
CLEF telah mengambil bentuk suatu peristiwa independen, dibentuk oleh sebuah
konferensi peer-review diselenggarakan dengan satu set laboratorium evaluasi.
CLEF Initiative
a. CLEF 2.010
CLEF 2010 mewakili inovasi radikal dari format tradisional "klasik CLEF" Tujuan
utamanya adalah mencoba untuk memahami bagaimana untuk berinovasi CLEF
sementara masih mempertahankan inti bisnis tradisional, yaitu kegiatan
benchmarking yang dilakukan di berbagai trek dan tugas.
CLEF 2010 ini sehingga diselenggarakan sebagai acara empat hari
independen yang terdiri dari dua bagian utama: peer-review konferensi
diikuti oleh serangkaian laboratorium dan lokakarya. CLEF 2010 diselenggarakan oleh University of Padua, Italia dan sebagian didukung oleh proyek PROMISE.
b. CLEF 2.011
Menyusul keberhasilan model 2010 CLEF baru, CLEF 2011
diselenggarakan dengan cara yang sama yang terdiri dari sebuah
konferensi independen mengenai berbagai isu dalam bidang evaluasi
informasi multibahasa dan multimodal akses, dan satu set laboratorium
dan lokakarya yang dirancang untuk menguji berbagai aspek mono dan
sistem informasi lintas bahasa pengambilan. Bersama-sama, konferensi dan seri lab akan mempertahankan dan memperluas filosofi Jalur CLEF tradisional.
c. CLEF 2.012
CLEF 2012 akan diselenggarakan oleh Univesity "La Sapienza" di Roma, Italia, 17-20 September 2012
d. CLEF 2.013
CLEF
2013 adalah konferensi CLEF keempat melanjutkan kampanye CLEF populer yang
telah berjalan sejak tahun 2000 berkontribusi terhadap evaluasi sistematis
sistem akses informasi, terutama melalui eksperimentasi pada tugas bersama.
CLEF 2.013 terdiri dari sebuah
konferensi peer-review independen pada berbagai masalah di bidang evaluasi
informasi multibahasa dan multimodal akses, dan satu set laboratorium dan
workshop yang dirancang untuk menguji berbagai aspek mono dan sistem informasi
lintas bahasa pengambilan. Bersama-sama, konferensi dan seri lab akan
mempertahankan dan memperluas tradisi CLEF berbasis masyarakat evaluasi dan
diskusi tentang isu-isu evaluasi.
CLEF 2013 akan diselenggarakan oleh Technical University of Valencia, Spanyol, 23-26 September 2013
CLEF 2013 akan diselenggarakan oleh Technical University of Valencia, Spanyol, 23-26 September 2013
3. Reuters
Reuters di dirikan pada tahun 1851 oleh Paul Julius Reuter, Reuters adalah nama untuk pendirinya, Julius Reuter. Berasal dari Jerman, Reuter lahir Israel Beer Josaphat pada tahun 1816. Dia dikonversi dari Yudaisme ke Kristen dan mengadopsi nama barunya sementara di perjalanan singkat ke London pada 1840-an. Setelah bekerja sebagai penerbit di Berlin, ia meninggalkan kota selama revolusi tahun 1848 dan tiba di Paris. Di sini ia dikatakan telah bekerja untuk Charles Havas, perintis kantor berita Perancis, sebelum mendirikan usaha sendiri. Pada 1849 Reuter mulai newssheet sendiri, menerjemahkan informasi yang diambil dari surat kabar Perancis ke Jerman dan mengirim data ini untuk kertas provinsi di tanah airnya. Bisnis gagal setelah beberapa bulan. Reuter berangkat ke Jerman untuk membangun layanan di Aachen , memasok berita keuangan dan umum dari pusat-pusat utama Paris, Brussels, dan Berlin ke pedagang dan bankir di Cologne dan di tempat lain. The Reuter giat menggunakan merpati pembawa untuk menjembatani kesenjangan dalam garis telegraf kemudian ada antara Aachen dan Brussels, sehingga mencapai lompatan tujuh jam di kereta mail lokal.
Pada akhir tahun 1850 kesenjangan di garis telegraf ditutup dan Reuter pindah ke London. Dalam menanggapi peletakan kabel melintasi Selat Inggris, menghubungkan bursa saham London dan Paris, ia membuka kantor di dekat London Stock Exchange pada bulan Oktober 1851. Selain menjadi pusat keuangan dunia Victoria, London telah menjadi pusat komunikasi untuk jaringan telegraf dunia berkembang. Perdagangan bebas dan pers bebas ditambahkan ke atmosfer Reuter diperlukan untuk berhasil dalam usaha barunya. Dia telah lama terkesan dengan potensi komunikasi telegrafik dan keuntungan yang akan diperoleh dari penjualan berita dan informasi melalui media ini. Dua kali sehari, untuk pembayaran tetap panjang, Submarine nya Telegraph kantor disediakan broker London dan Paris dan pedagang dengan membuka dan menutup harga di kedua ibukota. Dia secara bertahap melebar jangkauan geografis dan pada tahun 1857 membuat kontrak dengan kantor berita baru-baru ini didirikan telegraf di Rusia.
Pada akhir tahun 1850 kesenjangan di garis telegraf ditutup dan Reuter pindah ke London. Dalam menanggapi peletakan kabel melintasi Selat Inggris, menghubungkan bursa saham London dan Paris, ia membuka kantor di dekat London Stock Exchange pada bulan Oktober 1851. Selain menjadi pusat keuangan dunia Victoria, London telah menjadi pusat komunikasi untuk jaringan telegraf dunia berkembang. Perdagangan bebas dan pers bebas ditambahkan ke atmosfer Reuter diperlukan untuk berhasil dalam usaha barunya. Dia telah lama terkesan dengan potensi komunikasi telegrafik dan keuntungan yang akan diperoleh dari penjualan berita dan informasi melalui media ini. Dua kali sehari, untuk pembayaran tetap panjang, Submarine nya Telegraph kantor disediakan broker London dan Paris dan pedagang dengan membuka dan menutup harga di kedua ibukota. Dia secara bertahap melebar jangkauan geografis dan pada tahun 1857 membuat kontrak dengan kantor berita baru-baru ini didirikan telegraf di Rusia.
Perkembangan Reuters:
1851: Julius Reuter membuka Kantor Telegraph Submarine di London.
1865: Reuter menggabungkan Perusahaan Telegram Reuter Terbatas; kantor pertama di luar Eropa dibuka di Alexandria, Mesir.
1916: Roderick Jones, direktur pengelola perusahaan, dan Mark Napier, ketua, kelompok bentuk untuk membeli seluruh kepemilikannya dari Reuters Telegraph, membentuk sebuah perusahaan, swasta baru, Reuters Terbatas.
1925: The Press Association mengakuisisi mayoritas saham di Reuters.
1941: Trust Reuter terbentuk, sebuah perusahaan patungan yang dimiliki oleh Press Association dan Asosiasi Proprietors koran tersebut.
1947: The Associated Press Australia dan New Zealand Press Association bergabung Trust Reuters.
1973: Reuter Memantau Uang Tarif layanan terbentuk, Reuters menciptakan Informasi, Diseminasi dan Retrieval Inc, anak perusahaan yang berbasis di AS.
1993: Reuters New Media Inc terbentuk.
1997: Reuters menetapkan Pusat Teknis Global di Jenewa.
2003: Reuters meluncurkan Program Fast Forward.
1865: Reuter menggabungkan Perusahaan Telegram Reuter Terbatas; kantor pertama di luar Eropa dibuka di Alexandria, Mesir.
1916: Roderick Jones, direktur pengelola perusahaan, dan Mark Napier, ketua, kelompok bentuk untuk membeli seluruh kepemilikannya dari Reuters Telegraph, membentuk sebuah perusahaan, swasta baru, Reuters Terbatas.
1925: The Press Association mengakuisisi mayoritas saham di Reuters.
1941: Trust Reuter terbentuk, sebuah perusahaan patungan yang dimiliki oleh Press Association dan Asosiasi Proprietors koran tersebut.
1947: The Associated Press Australia dan New Zealand Press Association bergabung Trust Reuters.
1973: Reuter Memantau Uang Tarif layanan terbentuk, Reuters menciptakan Informasi, Diseminasi dan Retrieval Inc, anak perusahaan yang berbasis di AS.
1993: Reuters New Media Inc terbentuk.
1997: Reuters menetapkan Pusat Teknis Global di Jenewa.
2003: Reuters meluncurkan Program Fast Forward.
Contoh Kasus:
40 Hak Paten dari China untuk Apple
Dalam sebuah laporannya, Reuters menyebutkan bahwa Apple baru saja mendapatkan 40 hak paten baru di China. Dengan didapatnya paten baru itu maka Apple kini telah mempunyai perlindungan hukum yang sah terhap kekayaan intelektual mereka untuk seluruh daratan China. Hal itu juga seperti yang diberitakan di harian China Daily pada Rabu kemarin (21 Sep).Seperti telah diketahui di seluruh dunia, produk-produk Apple seperti iPhone dan iPad adalah gadget yang paling banyak dibajak di China. Bukan hanya produk Apple yang banyak ditemukan tiruannya, China bahkan juga memiliki Apple Store palsu. Bukan satu atau dua Apple Store tiruan karean pada Agustus lalu ditemukan 22 Apple Store palsu di China.Salah Satu Apple Store palsu di China
Dalam sebuah laporannya, Reuters menyebutkan bahwa Apple baru saja mendapatkan 40 hak paten baru di China. Dengan didapatnya paten baru itu maka Apple kini telah mempunyai perlindungan hukum yang sah terhap kekayaan intelektual mereka untuk seluruh daratan China. Hal itu juga seperti yang diberitakan di harian China Daily pada Rabu kemarin (21 Sep).Seperti telah diketahui di seluruh dunia, produk-produk Apple seperti iPhone dan iPad adalah gadget yang paling banyak dibajak di China. Bukan hanya produk Apple yang banyak ditemukan tiruannya, China bahkan juga memiliki Apple Store palsu. Bukan satu atau dua Apple Store tiruan karean pada Agustus lalu ditemukan 22 Apple Store palsu di China.Salah Satu Apple Store palsu di China
Sekarang dengan telah diberikannya hak paten pada Apple atas semua ide dan kekayaan intelektual mereka diharapkan jumlah produk Apple palsu di China bisa berkurang. Di dalam paten tersebut terdapat 37 dari semua produk Apple termasuk iPhone, iPad dan MacBook Air. Selain itu paten tersebut juga memasukkan arsitektur dari tiga Apple Store di Sanghai. Namun sebagian besar dari paten itu lebih mengatur tentang hal-halam dalam iPhone seperti teknologi user interface.
MacBook Air palsu buatan China
Adanya pengakuan hak paten ini menjadi penting mengingat banyaknya kasus hukum yang mengikutsertakan Apple. Anda pasti masih ingat perseteruan hak paten yang sampai sekarang masih berlangsung antar Apple melawan Samsung dan HTC.
MacBook Air palsu buatan China
Adanya pengakuan hak paten ini menjadi penting mengingat banyaknya kasus hukum yang mengikutsertakan Apple. Anda pasti masih ingat perseteruan hak paten yang sampai sekarang masih berlangsung antar Apple melawan Samsung dan HTC.
4.CRANFIELD
Cranfield adalah koleksi uji perintis dalam memungkinkan tepat kuantitatif ukuran efektifitas pencarian informasi.routers ini dimulai di inggrispada akhir 1950-an.
Pada tahun 1957, Dr Cyril W.Cleverdon dari College of Cranfield
Aeronautics (sekarang Cranfield University) di Inggris memimpin sebuah studi yang berusaha untuk membandingkan kinerja empat sistem indeks.Cleverdon mempelajari seberapa baik sistem pengindeksan dilakukan IR menggunakan koleksi 100 sumber dokumen dipilih dari bidang aeronautika. Tiga indexers manusia yang dipilih untuk masing-masing sistem untuk setiap indeks dokumen sumber 5 kali (pengeluaran 2, 4, 8, 12, dan 16 menit perDokumen). Ini menghasilkan total 6.000 item diindeks (100 dokumen X 3 X 4 pengindeks indekssistem X 5 kali)dan pada tahun 1962 Cyril W. Cleverdon menerbitkan temuan awal dari studi Cranfield, mengembangkan sebuah model untuk evaluasi sistem IR.
Pada tahun 1970 beberapa teknik yang berbeda telah terbukti melakukan dengan baik pada kecil corpora teks seperti koleksi Cranfield (beberapa ribu dokumen).sistem pengambilan besar-besaran, seperti sistem Dialog Lockheed, mulai dipakai pada awal tahun 1970-an.
Pada tahun 1957, Dr Cyril W.Cleverdon dari College of Cranfield
Aeronautics (sekarang Cranfield University) di Inggris memimpin sebuah studi yang berusaha untuk membandingkan kinerja empat sistem indeks.Cleverdon mempelajari seberapa baik sistem pengindeksan dilakukan IR menggunakan koleksi 100 sumber dokumen dipilih dari bidang aeronautika. Tiga indexers manusia yang dipilih untuk masing-masing sistem untuk setiap indeks dokumen sumber 5 kali (pengeluaran 2, 4, 8, 12, dan 16 menit perDokumen). Ini menghasilkan total 6.000 item diindeks (100 dokumen X 3 X 4 pengindeks indekssistem X 5 kali)dan pada tahun 1962 Cyril W. Cleverdon menerbitkan temuan awal dari studi Cranfield, mengembangkan sebuah model untuk evaluasi sistem IR.
Pada tahun 1970 beberapa teknik yang berbeda telah terbukti melakukan dengan baik pada kecil corpora teks seperti koleksi Cranfield (beberapa ribu dokumen).sistem pengambilan besar-besaran, seperti sistem Dialog Lockheed, mulai dipakai pada awal tahun 1970-an.
Daftar Pustaka
http://id.wikipedia.org/wiki/Ad_hoc
http://trec.nist.gov
http://www.answers.com/topic/reuters-group-plc-adr
http://gopego.com/info/contoh-kasus-reuters
http://en.wikipedia.org/wiki/Information_retrieval
http://nlp.stanford.edu/IR-book/pdf/08eval.pdf
