Bagaimana cara membuka file csv yang terlalu besar untuk excel?

File CSV adalah potongan teks yang digunakan untuk memindahkan data antara spreadsheet, database, dan bahasa pemrograman. Perangkat lunak spreadsheet, seperti Excel, dapat mengalami kesulitan membuka CSV yang sangat besar. Saya akan menjelaskan mengapa CSV besar sulit untuk dikerjakan dan menguraikan beberapa alat untuk membuka file CSV besar

Jika Anda ingin membuka file CSV besar, CSV Explorer adalah cara termudah dan tercepat untuk membuka file CSV besar

Kesulitan Membuka CSV Besar di Excel

Perangkat lunak spreadsheet, seperti Excel dan Google Sheets, bekerja dengan memuat seluruh file ke dalam memori berkecepatan tinggi (RAM) komputer. Excel terbatas untuk membuka CSV yang sesuai dengan RAM komputer Anda. Untuk sebagian besar komputer modern, itu berarti batas sekitar 60.000 hingga 200.000 baris. Google Spreadsheet berjalan di komputer Google dengan lebih banyak RAM dan seringkali dapat membuka file CSV yang sedikit lebih besar

Alat

Basis data dan bahasa pemrograman dapat membuka kumpulan data yang sangat besar dengan membawa potongan kecil file ke dalam RAM sesuai kebutuhan. Di bawah ini, saya akan menguraikan beberapa database populer dan bahasa pemrograman untuk membuka CSV besar seperti shell, database SQL, & Python

Kerang

Kerang adalah aplikasi komputer untuk menjalankan perintah perangkat lunak. Mereka bagus untuk mendapatkan sampel data dan pencarian dasar. Mereka tidak baik untuk analisis numerik

Komputer Mac, Windows, dan Linux semuanya dilengkapi dengan shell yang terpasang. Komputer Mac dilengkapi dengan aplikasi Terminal. Windows dilengkapi dengan PowerShell. Berikut adalah beberapa perintah populer untuk bekerja dengan CSV besar di shell

Windows PowerShell

# Count the number of lines in big_file.csv (3 separate commands)
# Note that we tell the PowerShell to count in chunks of 2,000 rows
$count = 0
Get-Content '.\big_file.csv' -ReadCount 2000 | foreach { $Count += $_.count }
$count
_

Terminal Mac

# Get the first 100 lines of big_file.csv and write them to a new file, sample.csv
head -100 /Users/jason/Desktop/big_file.csv > /Users/jason/Desktop/sample.csv


Database SQL

Database SQL adalah aplikasi untuk membuat kueri, menggabungkan, dan memperbarui baris data. Mereka bisa sulit diatur tetapi sangat kuat. Jika Anda berencana menggunakan CSV dalam aplikasi perangkat lunak atau menyambungkan CSV ke alat Business Intelligence, Anda harus memuat CSV ke database SQL. Banyak alat BI dapat mengimpor CSV tetapi alat sering memiliki batas ukuran

SQL adalah singkatan dari Structured Query Language dan merupakan standar untuk menanyakan data di banyak basis data. Database SQL sumber terbuka yang paling populer adalah MySQL dan PostgreSQL. Memuat CSV ke PostgreSQL atau MySQL membutuhkan 3 langkah (tidak mudah).

1. Buat dan sambungkan ke database. Instal database secara lokal (tidak disarankan) atau gunakan database cloud seperti RDS atau Compose Amazon. com
2. Buat tabel dan skema. Basis data ketat tentang tipe data dan mengharuskan Anda untuk menentukan kolom mana yang berisi teks, angka, dan tanggal
   CREATE TABLE Flights(Airline TEXT, Flight_Time INT, Departure_Date TIMESTAMP);_
3. Muat CSV. Gunakan perintah database untuk mengimpor CSV ke tabel baru Anda. COPY di PostgreSQL dan LOAD di MySQL
   COPY Flights from 'FlightData.csv' CSV HEADER;

Pastikan untuk menggunakan perintah COPY dan LOAD dan bukan # Count the number of lines in big_file.csv (3 separate commands)
# Note that we tell the PowerShell to count in chunks of 2,000 rows
$count = 0
Get-Content '.\big_file.csv' -ReadCount 2000 | foreach { $Count += $_.count }
$count
0, yang akan jauh lebih lambat pada CSV besar

akses microsoft

Microsoft Access adalah alat basis data desktop Microsoft. Muncul dengan antarmuka pengguna untuk mengimpor CSV dan menanyakannya. Anda juga dapat menulis SQL di Access dan menyambungkan Access ke Excel. Akses disertakan dalam Microsoft Office Professional Suite atau dapat diunduh di sini. Lihat dokumentasi Microsoft tentang cara mengimpor CSV ke Access

Piton

Python adalah bahasa pemrograman tujuan umum dan berisi banyak fungsi yang sama dengan SQL. Lebih mudah memuat CSV ke Python daripada ke database. Python adalah alat pilihan bagi banyak ilmuwan data dan ahli statistik. Ada beberapa alat Python untuk bekerja dengan CSV besar. modul CSV asli, Panda, dan csvkit. CSV Explorer menggunakan Python untuk mengurai CSV besar sebelum memuatnya ke database

Python sudah diinstal sebelumnya di komputer Mac, dan dapat dibuka dengan membuka Terminal dan mengetik # Count the number of lines in big_file.csv (3 separate commands)
# Note that we tell the PowerShell to count in chunks of 2,000 rows
$count = 0
Get-Content '.\big_file.csv' -ReadCount 2000 | foreach { $Count += $_.count }
$count
1. Untuk Windows, Anda dapat mengunduh Python di sini. Untuk membaca file besar baik dalam modul CSV asli atau Pandas, gunakan chunksize untuk membaca sebagian kecil file sekaligus

Bahasa pemrograman lain seperti , , dan Matlab memiliki fungsi serupa untuk membuka dan menganalisis CSV

CSV Explorer adalah alat untuk membuka, mencari, menggabungkan, dan memplot file CSV besar. Di balik layar, ia menggunakan kombinasi Python dan SQL untuk membuka CSV besar

Bagaimana cara membuka file CSV besar dan mengeditnya?

Apa cara yang lebih baik untuk membaca file CSV besar lebih besar dari 1gb?

Bagaimana cara menangani lebih dari 1048576 baris di Excel?

Bagaimana cara mengurangi ukuran file CSV?