Cầu hình khuyến nghị sử dụng cho phần mềm
TL;DR: Với hệ đièu hành sử dụng A 64-bit để nạp dữ liệu cho khoảng 200k URLs, thì cần 8GB of RAM còn để craw dữ liệu cho hàng triệu URLS thì cần sử dụng ổ cứng SSD và 16 GB Ram trở lên
Ổ cứng: Khuyến nghị sử dụng ổ cứng SSD thìu sẽ tốt hơn, lưu dữ liệu nhanh hơn và khuyến nghị ở mức khoảng 500Gb là ổn. Nhưng 1TB thì tốt hơn nữa để dành cho Crawls dữ liệu lớn
RAM: Mặc định phần mềm sẽ sử dụng bộ nhớ ram, để Crawls các urls vì thì thế ram rất quan trọng. Khuyến nghị Ram 8Gb trở nên và dữ liệu website lớn thì cần đến 16Gb ram ( cho khoảng 2 đến 5 triệu URL )
CPU: Tốc độ nạp dữ liệu phụ thuộc khá nhiều vào CPU. Chọn những CPU có khả năng xử lý tốt nhất có thể của bạn để phần mềm hoạt động tốt nhất