Audit Comey dan McCabe: Seberapa Besar Kemungkinan Itu Suatu Kebetulan?

The New York Times telah melaporkan bahwa Internal Revenue Service memberikan salah satu jenis audit yang paling ketat kepada James B. Comey, mantan direktur FBI, dan kepada Andrew G. McCabe, mantan wakilnya.

Ini telah memicu banyak pertanyaan yang sangat masuk akal, kebanyakan dari mereka adalah varian dari: Berapa peluangnya? Seperti yang dicatat artikel itu, kemungkinan bahwa dua musuh politik tingkat tinggi Presiden Donald J. Trump diaudit secara kebetulan adalah sangat kecil.

Tapi sangat kecil bukan nol.

Jika kita ingin percaya bahwa ini adalah kebetulan, seberapa tidak mungkin kita akan mengatakannya? Di sini, kami mencoba memperkirakan probabilitas itu seserius mungkin.

Pertama, fakta: Keduanya dipilih untuk audit di bawah Program Riset Nasional (NRP), sebagian kecil dari semua audit yang dilakukan IRS setiap tahun. Audit ini meneliti sampel pengembalian untuk mengumpulkan data tentang kepatuhan pajak.

Menurut IRS, ada sekitar 5.000 audit semacam itu pada tahun 2017, 4.000 pada tahun 2018, dan 8.000 pada tahun 2019 — dipilih dari sekitar 154 juta pengembalian pajak individu setiap tahun. Audit Mr. Comey adalah untuk pengembalian pajak 2017; Mr McCabe adalah untuk 2019 kembalinya.

Banyak aspek NRP memperumit perhitungan kami, termasuk metodologi pengambilan sampel auditor IRS dan tahun audit yang berbeda itu sendiri. Kami akan kembali ke masalah ini nanti. Untuk saat ini, kami akan menganggap semua wajib pajak memiliki kesempatan yang sama untuk diaudit dan keduanya diaudit pada tahun 2017.

Jika ini problem muncul di buku teks tentang probabilitas, itu mungkin berbunyi seperti ini:

Jika ada 154 juta kelereng (perkiraan jumlah pengembalian pajak yang diajukan setiap tahun) dalam guci raksasa, dan sebagian kecil berwarna merah (yang mewakili Mr. Comey dan Mr. McCabe di antaranya), berapa peluang kalian akan menarik dua atau lebih kelereng merah jika kalian secara acak mengambil beberapa ribu dari guci (jumlah audit pada tahun itu)?

Ini mungkin terdengar rumit, tapi ini relatif dipelajari dengan baik problem, sesuatu yang banyak ditemui jurusan matematika atau statistik dalam tugas kuliah mereka. Orang-orang telah menurunkan persamaan untuk memperkirakan probabilitas ini, dengan nama seperti distribusi hipergeometrik, yang memiliki aplikasi seperti audit pemilu dan penghitungan kartu.

Kami hanya bisa enter perkiraan kami untuk jumlah kelereng total, jumlah kelereng merah dan jumlah pengambilan, dan kami akan mendapatkan probabilitas. Jika kita yakin hanya ada dua kelereng merah — yaitu, jika kita membatasi latihan menjadi hanya Mr McCabe dan Mr Comey — persamaan ini menghasilkan probabilitas kira-kira satu dalam 950 juta.

Itu adalah peluang yang jauh lebih curam daripada peluang kalian untuk memenangkan Powerball. Ini juga merupakan hasil yang hampir tidak berarti. Paling-paling, itu adalah jawaban yang benar untuk pertanyaan yang salah.

Untuk memahami mengapa perlu mengakui absurditas yang melekat dalam latihan kita: Untuk memperkirakan kemungkinan terbaik dari suatu peristiwa yang tidak mungkin, kita harus mengesampingkan fakta bahwa kita tahu bahwa itu sudah terjadi. (Kemungkinan itu terjadi adalah 100 persen.)

Jordan Ellenberg, seorang profesor di University of Wisconsin yang telah menulis buku-buku tentang matematika dan penalaran, menggambarkannya sebagai berikut: “Di beberapa alam semesta kontrafaktual, berapa probabilitas bahwa hal ini, yang telah terjadi di alam semesta kita, terjadi?”

Ini mungkin tampak aneh, tetapi masalah yang sama muncul bahkan dalam latihan probabilistik seperti basic seperti melempar koin.

Jika kalian melempar koin 20 kali berturut-turut, urutan kepala dan ekor spesifik kalian sangat jarang, sekitar satu dari sejuta, tetapi itu memang terjadi. Dan beberapa urutan membalik akan selalu terjadi. Ini adalah kebetulan yang mengejutkan hanya jika itu adalah urutan yang kalian atur sebelum membalik.

Dengan cara yang sama, tidak tepat untuk mempersempit pencarian kita hanya pada Mr. Comey dan Mr. McCabe, karena kemungkinan kita akan memeriksa probabilitas ini jika kita mengetahui bahwa dua lainnya musuh politik penting dari suatu pemerintahan diaudit alih-alih kedua orang ini.

Pertanyaan yang lebih baik adalah: Berapa kemungkinan bahwa dua orang atau lebih? Suka Mr Comey dan Mr McCabe akan diaudit selama periode ini?

Haruskah kelompok orang ini menyertakan dua pejabat tinggi FBI? Ada dua pejabat tinggi Departemen Kehakiman? Pembingkaian inilah — keputusan subjektif daripada keputusan faktual — yang paling mendorong perkiraan probabilitas apa pun, lebih dari pilihan distribusi statistik atau bobot pengambilan sampel apa pun.

Berikut adalah bagan probabilitas hasil persamaan kami pada pilihan yang berbeda untuk jumlah kelereng merah, mulai dari dua (Mr. Comey dan Mr. McCabe dan tidak ada orang lain) hingga 400 (perkiraan konservatif jumlah orang Amerika Mr. Trump dihina namanya di Twitter sejak mulai mencalonkan diri sebagai presiden).

Probabilitas meningkat secara drastis dengan pilihan siapa yang harus dianggap sebagai kelereng merah bersama Mr. Comey dan Mr. McCabe.

Intinya bukan untuk memutuskan nomor tetapi untuk menyadari bahwa pilihan ukuran kelompok kitalah yang mendorong jawaban kita. Meskipun beberapa tebakan pasti lebih baik daripada yang lain, banyak pilihan dapat dipertahankan.

Sekarang mari kita coba untuk mempersempit sesuatu dengan sentuhan yang lebih realistis, dan kembali ke beberapa hal yang kita abaikan dalam interpretasi sederhana kita tentang ini. problem.

Pertama, kedua orang itu tidak diaudit untuk tahun yang sama. Dengan memperluas cakupan kami untuk mencakup rentang tiga tahun dari 2017 hingga 2019, probabilitas yang kami hasilkan meningkat secara signifikan. Ini mudah: Jika seseorang memiliki peluang tertentu untuk diaudit pada tahun tertentu, lebih banyak tahun berarti lebih banyak peluang untuk diaudit.

Kedua, kami hanya tertarik pada probabilitas bahwa setidaknya dua orang dipilih. Kami tidak akan mempertimbangkan probabilitas bahwa orang yang sama dipilih dua kali; tampaknya tidak mungkin mengingat bahwa audit dapat berlangsung lebih dari setahun, menurut akun Mr. Comey. Perhatikan bahwa kita sedang melihat kemungkinan paling sedikit dua orang yang terpilih, bukan dua orang, karena juga akan signifikan jika tiga atau lebih individu dari suatu kelompok dipilih.

Akhirnya, IRS tidak memilih orang dengan cara yang benar-benar acak. Sebaliknya, lembaga cenderung memilih beberapa jenis pembayar pajak, termasuk yang berpenghasilan tinggi, lebih sering daripada yang lain. Untuk tahun pajak 2001, sampel NRP termasuk pengembalian dari orang-orang di sekitar persentil ke-90 pendapatan sekitar 1,7 kali tingkat yang diharapkan adalah pengembalian yang dipilih secara independen dari pendapatan. Angka itu melonjak melalui peringkat pendapatan tertinggi, sehingga orang dengan pendapatan di 0,5 persen teratas lebih dari 10 kali lebih mungkin untuk menjadi sampel dibandingkan seseorang yang lebih dekat dengan pendapatan rata-rata.

Kita mungkin dapat berasumsi bahwa setiap kelompok musuh Mr. Trump akan mendapatkan lebih dari sampel acak orang Amerika. Tetapi kami tidak dapat secara realistis memperkirakan pendapatan lengkap semua orang dalam kelompok kami setiap tahun. Kita juga tahu bahwa IRS telah mempertimbangkan faktor-faktor lain dalam pengambilan sampelnya, seperti jenis pengembalian yang diajukan wajib pajak, dan bahwa metode pengambilan sampel dapat berubah dari tahun ke tahun. Hal ini membuat kita hanya memiliki sedikit panduan tentang cara mencocokkan metode IRS. Dengan demikian, kami akan membiarkan perkiraan kami tidak tertimbang oleh pendapatan. Sebagai latihan back-of-the-amplop, jika kalian khawatir tentang bagaimana pendapatan mempengaruhi hasil ini, kalian dapat menggandakan probabilitas yang dihasilkan jika kalian berpikir anggota grup memiliki penghasilan yang sangat tinggi, dan mengalikannya dengan 10 jika kalian pikir mereka ‘luar biasa kaya.

Menggabungkan pilihan-pilihan itu, tabel di bawah ini memberikan beberapa perkiraan probabilitas tergantung pada ukuran grup yang dipertimbangkan.

Atau, jika pilihan kami tidak memuaskan, kami membuat kalkulator sederhana agar kalian dapat membuat probabilitas sendiri:

Jadi perkiraan mana yang “benar?”

Keluaran paling realistis dari persamaan ini dapat secara akurat digambarkan sebagai “sangat jarang” atau bahkan “sangat jarang”, namun tidak ada bukti kesalahan.

“Ini sedikit seperti kekuatan yang tak tertahankan dan objek yang tidak bergerak,” kata Andrew Gelman, seorang profesor statistik dan ilmu politik di Universitas Columbia, ketika diberitahu secara abstrak tentang latihan ini. “Di satu sisi, kalian mengatakan itu benar-benar acak. Di sisi lain, kalian curiga tidak.”

Tuan Gelman, seperti setiap ahli statistik lain yang berbicara dengan The Times tentang ini problemmengatakan bahwa rintangan terbesar bukanlah detail apa pun tetapi mendefinisikan pertanyaan itu sendiri.

Ketika kita mencoba menghitung peluang suatu kejadian tertentu karena kami menduga itu mungkin tidak acak, kami berakhir di posisi yang rumit untuk mencoba membayangkan bagaimana kami akan memprediksi kemungkinan peristiwa tersebut sebelum itu terjadi, kata David Spiegelhalter. Dia mengepalai Pusat Komunikasi Risiko dan Bukti Winton di Universitas Cambridge, sebuah organisasi yang didedikasikan untuk meningkatkan cara bukti kuantitatif digunakan di masyarakat.

Matematika itu mudah, katanya, tetapi merumuskan pertanyaan itu rumit, berbatasan dengan “tidak berarti”, sebagian besar karena betapa sulitnya menentukan kelompok yang kita pedulikan.

“‘Apa kemungkinan ini terjadi?’ pernyataan yang mudah dibuat,” katanya. “Ini adalah pernyataan yang akrab untuk dibuat. Tapi, sebenarnya, itu pertanyaan yang sangat sulit untuk dijawab.”

Matematika memiliki batasnya. Inti dari mencoba memperkirakan probabilitas seperti ini, kata Mr. Gelman, bukanlah untuk menaruh terlalu banyak stok dalam angka, tetapi membiarkan hasilnya mendorong kalian untuk mencari tahu lebih banyak.

Dalam hal ini, pertanyaan terbaik bukanlah pertanyaan dengan jawaban yang dapat kalian cari di buku teks statistik.

Sebaliknya, kata Mr. Gelman, pertanyaan yang harus diajukan adalah: “Apa yang terjadi?”

Matthew Cullen pelaporan kontribusi.