Từ dữ liệu để có các câu trả lời?

Exploratory data analysis là quá trình khám phá bộ dữ liệu, trả lời những câu hỏi và trực quan hóa kết quả. 

EDA có các công cụ để làm sạch và củng cố dữ liệu, trực quan hóa các phân bổ và mối quan hệ giữa các biến, sử dụng regression model để dự đoán và giải thích. 

Trước hết bạn tìm hiểu qua recordlinkage

# Nhập gói recordlinkage

import recordlinkage

# Nhập gói pandas

import pandas

Thiết lập các dataframe cần sử dụng recordlinkage

df_a = pandas.DataFrame(df1)

df_b = pandas.DataFrame(df1)

indexer = recordlinkage.Index()

indexer.block('surname')

candidate_links = indexer.index(df_a, df_b)

import fuzzywozzy as fuzz

# So sánh real and reel 

fuzz.WRatio('Real', 'Reel')

Làm việc với dữ liệu thiếu là một trong những việc phổ biến nhất trong khoa học dữ liệu. Có nhiều kiểu dữ liệu thiếu và có khá nhiều cách để xử lý. 

Để kiểm tra giá trị thiếu sử dụng 

import matplotlib.pyplot as plot 

import missingno as msno

# Để kiểm tra giá trị thiếu sử dụng 

df.isna()

Tính toán số lượng giá trị thiếu bằng cột

df.isna().sum()

Trực quan hóa dữ liệu thiếu bằng 

msno.matrix(df)

plt.show()

1. Giá trị không ổn định

• Ví dụ:'co gia dinh', 'Co gia dinh','CHUA CO GIA DINH', 'chua co gia dinh'....để ý chữ in hoa và in thường hai hạng mục 'co gia dinh' và 'Co gia dinh' là giống nhau.
• Để xử lý trường hợp này df['tinh trang hon nhan'] = df['tinh trang hon nhan'].str.upper(), sau đó df[tinh trang hon nhan'].value_counts()

hay như

• khoảng trống

'co gia dinh ', ' co gia dinh'

Bài này nằm trong series làm sạch dữ liệu Python

Giá trị lặp là những giá trị lặp lại cùng thông tin trên các hàng.

Ví dụ:

Trong bài viết này mình sẽ cài Jupyter notebook trên Serverpilot, từ đó mình có thể truy cập note book này trên web riêng.

Giới thiệu

Jupyter Notebook là một ứng dụng web tương tác, mã nguồn mở, cho phép người dùng có thể viết, chạy mã của hơn 40 ngôn ngữ lập trình bao gồm Python, Julia và Scala. 

Xem qua bài này hướng dẫn cài Python và các gói đi kèm: http://ledinhtinh.com/article/huong-dan-cai-dat-va-su-dung-python-tren-windows

Vào thư mục 

C:\Users\DELL\AppData\Local\Programs\Python\Python38-32\Scripts>

Mở file local.bat sau đó dùng dòng lệnh: pip install notebook

Sau khi cài đặt thành công xong thì dùng lệnh jupyter notebook để mở notebook trên trình duyệt

Gói tweepy giải quyết tất cả các chi tiết liên quan tới Twitter API OAuth Authentication. 

# Trước hết mình nhập gói tweepy

import tweepy