Hibernate - 批处理

考虑一种需要使用Hibernate将大量记录上传到数据库的情况.以下是使用Hibernate&minus实现此目的的代码片段;

Session session = SessionFactory.openSession();Transaction tx = session.beginTransaction();for ( int i=0; i<100000; i++ ) {   Employee employee = new Employee(.....);   session.save(employee);}tx.commit();session.close();

默认情况下，Hibernate会缓存会话级缓存中的所有持久对象，最终你的应用程序会因 OutOfMemoryException而崩溃大约第50,000排的某个地方.如果您使用Hibernate 批处理，则可以解决此问题.

要使用批处理功能，请先设置 hibernate.jdbc.batch_size 批量大小为20或50的数字，具体取决于对象大小.这将告诉hibernate容器每个X行都要作为批处理插入.要在代码中实现这一点，我们需要做一些修改，如下所示 :

Session session = SessionFactory.openSession();Transaction tx = session.beginTransaction();for ( int i=0; i<100000; i++ ) {   Employee employee = new Employee(.....);   session.save(employee);   if( i % 50 == 0 ) { // Same as the JDBC batch size      //flush a batch of inserts and release memory:      session.flush();      session.clear();   }}tx.commit();session.close();

上面的代码适用于INSERT操作，但是如果你愿意进行UPDATE操作，那么你可以使用下面的代码 :

Session session = sessionFactory.openSession();Transaction tx = session.beginTransaction();ScrollableResults employeeCursor = session.createQuery("FROM EMPLOYEE").scroll();int count = 0;while ( employeeCursor.next() ) {   Employee employee = (Employee) employeeCursor.get(0);   employee.updateEmployee();   seession.update(employee);    if ( ++count % 50 == 0 ) {      session.flush();      session.clear();   }}tx.commit();session.close();

批处理示例

让我们修改配置文件以添加 hibernate.jdbc.batch_size property :

                     org.hibernate.dialect.MySQLDialect                        com.mysql.jdbc.Driver                              jdbc:mysql://localhost/test                        root                        root123                        50                     

考虑以下POJO员工类 :

public class Employee {   private int id;   private String firstName;    private String lastName;      private int salary;     public Employee() {}      public Employee(String fname, String lname, int salary) {      this.firstName = fname;      this.lastName = lname;      this.salary = salary;   }      public int getId() {      return id;   }      public void setId( int id ) {      this.id = id;   }      public String getFirstName() {      return firstName;   }      public void setFirstName( String first_name ) {      this.firstName = first_name;   }      public String getLastName() {      return lastName;   }      public void setLastName( String last_name ) {      this.lastName = last_name;   }      public int getSalary() {      return salary;   }      public void setSalary( int salary ) {      this.salary = salary;   }}

让我们创建以下EMPLOYEE表来存储Employee对象 :

create table EMPLOYEE (   id INT NOT NULL auto_increment,   first_name VARCHAR(20) default NULL,   last_name  VARCHAR(20) default NULL,   salary     INT  default NULL,   PRIMARY KEY (id));

以下是用EMPLOYEE表映射Employee对象的映射文件 :

                         This class contains the employee detail.                                                                   

最后，我们将使用main()方法创建应用程序类来运行应用程序，我们将使用 flush()和Session语句可用的 clear()方法，以便Hibernate继续将这些记录写入数据库，而不是将它们缓存在内存中.

import java.util.*;  import org.hibernate.HibernateException; import org.hibernate.Session; import org.hibernate.Transaction;import org.hibernate.SessionFactory;import org.hibernate.cfg.Configuration;public class ManageEmployee {   private static SessionFactory factory;    public static void main(String[] args) {            try {         factory = new Configuration().configure().buildSessionFactory();      } catch (Throwable ex) {          System.err.println("Failed to create sessionFactory object." + ex);         throw new ExceptionInInitializerError(ex);       }      ManageEmployee ME = new ManageEmployee();      /* Add employee records in batches */      ME.addEmployees( );   }      /* Method to create employee records in batches */   public void addEmployees( ){      Session session = factory.openSession();      Transaction tx = null;      Integer employeeID = null;            try {         tx = session.beginTransaction();         for ( int i=0; i<100000; i++ ) {            String fname = "First Name " + i;            String lname = "Last Name " + i;            Integer salary = i;            Employee employee = new Employee(fname, lname, salary);            session.save(employee);         if( i % 50 == 0 ) {               session.flush();               session.clear();            }         }         tx.commit();      } catch (HibernateException e) {         if (tx!=null) tx.rollback();         e.printStackTrace();       } finally {         session.close();       }      return ;   }}

编译和执行

以下是编译和运行的步骤上述申请.确保在进行编译和执行之前已经适当地设置了PATH和CLASSPATH.

• 创建hibernate.cfg.xml配置文件如上所述.

• 创建如上所示的Employee.hbm.xml映射文件.

• 如上所示创建Employee.java源文件并进行编译.

• 如上所示创建ManageEmployee.java源文件并进行编译.

• 执行ManageEmployee二进制文件以运行程序，该程序将在EMPLOYEE表中创建100000条记录.